Звіт про дослідження| «Generate AI»: застосування, дослідження та нагляд працюють разом, щоб відкрити інноваційний шлях генеративного штучного інтелекту
Оригінальна назва: «Qiming Headlines | Qiming Venture Partners і Unfinished Research спільно випустили звіт «Generative AI» | The State of Generative AI 2023»
На Всесвітній конференції зі штучного інтелекту (WAIC)** у 2023 році на форумі Qiming Venture Partners «Generative AI and Large-scale Models: Change and Innovation», Qiming Venture Partners об’єдналися з Unfinished Research, щоб спільно випустити блокбастер-доповідь «Generative» AI 》| State of Generative AI 2023. **
Якщо 2022 рік називають роком генеративного штучного інтелекту, було зроблено прорив у застосуванні дифузійних моделей, народився ChatGPT і було опубліковано серію новаторських дослідницьких статей.У 2023 році велика модель буде досягнута піку, з Випуск GPT-4 як знак, генеративний штучний інтелект, увійшов у стадію інноваційного застосування в напрямку загального штучного інтелекту.
**Найважливішою особливістю цього етапу є те, що застосування, дослідження та нагляд працюють разом, щоб відкрити інноваційний шлях генеративного штучного інтелекту. **
ІННОВАЦІЙНІ ЗАСТОСУВАННЯ
Люди швидко побачили появу нової бізнес-екології з генеративного штучного інтелекту, побачили рівень за рівнем технологій, таких як обчислення, моделі та програми; побачили згенерований вміст, такий як текст, зображення, відео, коди, 3D-структури, мульти -модальність; також перегляньте відкриті дані, вертикальні дані, синтетичні дані, векторні дані для великих і малих моделей.
Генеративний штучний інтелект, здається, сприймається в Китаї з більшим ентузіазмом: уряд заохочує розвиток загального штучного інтелекту; жодна велика компанія не може його ігнорувати; багато малих і середніх підприємств, які займаються науковою роботою, вже використовували його першими. ** Перед обличчям цієї революційної технології задіяні всі підприємства. У них різний ритм і різний ступінь залученості, вони стали захисниками, новаторами та прийнятелями під хвилею нових технологій. Їхня норма прибутку постійно змінюється. **
Обчислювальна потужність наразі є найдефіцитнішим ресурсом, а також у найприбутковішому становищі. **Обчислювальна потужність є найбільшою частиною структури витрат великої моделі, і продуктивність графічного процесора фактично визначає темп розвитку цієї галузі, що розвивається. ** З розвитком обчислювальної потужності та моделей з’являється більше стартапів. Вони виграли дивіденди часу, але вони також стикаються з конкуренцією та можливим гігантським розгромом. Можна сказати, що це блакитний океан стартапів, а під каналом є ще й приховані рифи.
**Конкуренція сприяє інноваціям. **На відміну від швидкої появи стартапів у напрямку інструментів продуктивності у 2022 році, у 2023 році більша частка нових компаній зосереджуватиметься на інноваціях базових технологій; великомасштабні стартапи також почали диференціюватись, і на підйомі загальні великомасштабні стартапи У той же час почали з’являтися багато вертикальних великих компаній у певних напрямках, таких як медичне обслуговування, електронна комерція, наукові дослідження, промисловість, автономне водіння та робототехніка. **
Frontier Research
2022 і 2023 роки — це два роки, коли технологія генеративного штучного інтелекту зробить прорив.Ми відсортували документи та виявили, що помітною особливістю в галузі генеративного штучного інтелекту є тісна інтеграція дослідницьких та інноваційних процесів, багато з яких реалізуються в рамках підприємств. , швидко розгортати варіанти використання та продукти. **Ця інтеграція досліджень і підприємництва, стартапів і венчурного капіталу відіграла важливу роль, і інвестиції в дослідження та таланти американських технологічних гігантів і великих компаній штучного інтелекту, включаючи дослідження деяких базових технологій, перевершили університети. років та інші науково-дослідні установи.
**Межі штучного інтелекту просуваються в майбутнє. **Хоча з технічних звітів GPT-4 до дослідницьких статей Microsoft було показано, що він має здатність опрацьовувати текст, здатність до математичних міркувань, близьку до людських, і має знання в багатьох професійних галузях. «Ми вважаємо, що його можна розумно вважати ранньою (хоча й досі неповною) версією системи штучного загального інтелекту (AGI).» занадто багато. Такі як калібрування впевненості, довготривала пам’ять, безперервне навчання, персоналізація, планування та стрибок концепції, прозорість, когнітивні помилки та ірраціональність тощо. **
**Найважливішим напрямком досліджень за останні шість місяців є розшифровка та розуміння таємничої та захоплюючої «появи» інтелекту у великих моделях. **Великим моделям не тільки потрібно перевершити здатність передбачати наступне слово, але також потрібен багатший і складніший глибокий механізм «повільного мислення», щоб контролювати механізм «швидкого мислення» для передбачення наступного слова.
**Найкраще передове дослідження має бути спрямоване на вивчення та вирішення проблем, що виникають під час застосування широкомасштабних технологій. **Дослідження того, як зменшити галюцинації, налаштувати велику модель для точнішого виведення реального вмісту та тренувати сильнішу здатність міркувати; як інтенсивніше тренувати модель, знизити поріг, запустити нові продукти та дозволити більшій кількості людей з усіх верств суспільства життя та споживачі. Як взаємодіяти з реальним фізичним світом, як людина; як стати помічником людини в складній роботі, проектувати та допомагати проводити наукові експерименти; як впливати на працевлаштування та приймати політичні відповіді; як створити штучний інтелект безпечний і правдоподібний.
Регламент| Безпека| Політика| Талант
Регуляторна реакція уряду на генеративний штучний інтелект є досить своєчасною, і в різних країнах з’явилися різні характеристики. **Швидко запроваджуючи регулятивні заходи щодо генеративного штучного інтелекту та шукаючи думки, Китай також заохочує розвиток загального штучного інтелекту. Пекін, Шанхай і Шеньчжень є найамбітнішими першими ешелонами, і всі вони запропонували більш амбітні дослідження штучного інтелекту, інноваційно-промислові цілі. ** ЄС продовжує лідирувати в регулюванні та законодавстві, оскільки він був піонером GDPR 5 років тому. Сполучені Штати більше стурбовані лідируючою позицією технології штучного інтелекту, і формують нормативну базу за принципом управління ризиками.
** У довгостроковій перспективі талант матиме більше впливу на майбутнє штучного інтелекту, ніж обчислювальна потужність. **Кількість статей, опублікованих китайськими дослідниками, перевищила кількість американських, але Сполучені Штати все ще мають явну перевагу на вершині піраміди, чи то дослідження, чи підприємництво. У всьому світі центр досліджень та інновацій у сфері штучного інтелекту зміщується з університетів на підприємства. У трійку американських установ із найбільшою кількістю найкращих науковців є Google, Microsoft і Meta, які разом набирають 30% найкращих науковців Сполучених Штатів. . У Китаї все ще домінують університети, і лише Alibaba входить до десятки найкращих.
Міністерство науки і технологій запропонувало, щоб підприємства зі штучного інтелекту погоджувалися на перевірку науково-технологічної етики; суб’єкт перевірки повинен створити комітет з науково-технологічної етики (нагляду). Американські компанії штучного інтелекту почали створювати відповідальні та надійні відділи штучного інтелекту раніше. З минулого року по цей рік було внесено деякі корективи, що відображає те, що коли генеративний штучний інтелект зазнає змін, підприємства прагнуть використовувати кращі технології та рішення для розгортання нові технології безпечно та відповідально.
Десять перспектив
Велика мовна модель
У 2024 році Китай матиме багатомовну модель загального призначення, порівнянну з GPT-4;
Довгий контекст призведе до наступного прориву в технології LLM;
Перш ніж з’явиться перспективніша модель великої мови, для досягнення кращих результатів у вертикальному полі співіснуватимуть наступні три методи:
i) Не змінюючи розподіл даних, використовуйте більш загальні дані для загального попереднього навчання великомасштабної моделі та не вводьте спеціально галузеві дані,
ii) Використовуйте специфічні для галузі дані для точного налаштування (Fine-Tuning) загальної великої моделі,
iii) Використовуйте набори даних із більшою часткою галузевих даних для попереднього навчання вертикальної моделі.
Мультимодальна модель
4 Поточна модель діаграми Вінсена CLIP + Diffusion є перехідним станом, і інтегрована структура моделі з’явиться протягом наступних 2 років;
Модель Text-to-Image наступного покоління матиме кращу керованість.Вона поєднуватиме можливості основної моделі та зовнішнього методу керування, а дизайн моделі буде зосереджений на поєднанні з методом керування;
До 2025 року в режимах відео та 3D з’являться важливі моделі, що значно покращить ефект генерації;
Втілений інтелект (Embodied AI), представлений PALM-E, продемонстрував великий потенціал у напрямку сприйняття, розуміння та прийняття рішень роботами, але існують великі проблеми в поточному навчанні та надійності;
У короткостроковій перспективі Transformer стає основною мережевою структурою багатьох модальностей, але загальний метод стиснення всього цифрового світу ще не з’явився Transformer — це не кінець технології штучного інтелекту.
Можливість для бізнесу
Протягом 3 років основною рушійною силою підривних додатків штучного інтелекту стане інноваційна модель, що лежить в основі, обидва не можуть бути розділені, а роль моделі буде більшою, ніж роль дизайну продукту;
Поточний генеративний ринок штучного інтелекту знаходиться на ранній стадії технологічного домінування, і є можливості для компаній-платформ, ринкова вартість яких становить сотні мільярдів доларів.
Прочитайте оригінальний текст
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Звіт про дослідження| «Generate AI»: застосування, дослідження та нагляд працюють разом, щоб відкрити інноваційний шлях генеративного штучного інтелекту
Джерело: Qiming Venture Partners
Оригінальна назва: «Qiming Headlines | Qiming Venture Partners і Unfinished Research спільно випустили звіт «Generative AI» | The State of Generative AI 2023»
На Всесвітній конференції зі штучного інтелекту (WAIC)** у 2023 році на форумі Qiming Venture Partners «Generative AI and Large-scale Models: Change and Innovation», Qiming Venture Partners об’єдналися з Unfinished Research, щоб спільно випустити блокбастер-доповідь «Generative» AI 》| State of Generative AI 2023. **
**Найважливішою особливістю цього етапу є те, що застосування, дослідження та нагляд працюють разом, щоб відкрити інноваційний шлях генеративного штучного інтелекту. **
ІННОВАЦІЙНІ ЗАСТОСУВАННЯ
Люди швидко побачили появу нової бізнес-екології з генеративного штучного інтелекту, побачили рівень за рівнем технологій, таких як обчислення, моделі та програми; побачили згенерований вміст, такий як текст, зображення, відео, коди, 3D-структури, мульти -модальність; також перегляньте відкриті дані, вертикальні дані, синтетичні дані, векторні дані для великих і малих моделей.
Генеративний штучний інтелект, здається, сприймається в Китаї з більшим ентузіазмом: уряд заохочує розвиток загального штучного інтелекту; жодна велика компанія не може його ігнорувати; багато малих і середніх підприємств, які займаються науковою роботою, вже використовували його першими. ** Перед обличчям цієї революційної технології задіяні всі підприємства. У них різний ритм і різний ступінь залученості, вони стали захисниками, новаторами та прийнятелями під хвилею нових технологій. Їхня норма прибутку постійно змінюється. **
Обчислювальна потужність наразі є найдефіцитнішим ресурсом, а також у найприбутковішому становищі. **Обчислювальна потужність є найбільшою частиною структури витрат великої моделі, і продуктивність графічного процесора фактично визначає темп розвитку цієї галузі, що розвивається. ** З розвитком обчислювальної потужності та моделей з’являється більше стартапів. Вони виграли дивіденди часу, але вони також стикаються з конкуренцією та можливим гігантським розгромом. Можна сказати, що це блакитний океан стартапів, а під каналом є ще й приховані рифи.
**Конкуренція сприяє інноваціям. **На відміну від швидкої появи стартапів у напрямку інструментів продуктивності у 2022 році, у 2023 році більша частка нових компаній зосереджуватиметься на інноваціях базових технологій; великомасштабні стартапи також почали диференціюватись, і на підйомі загальні великомасштабні стартапи У той же час почали з’являтися багато вертикальних великих компаній у певних напрямках, таких як медичне обслуговування, електронна комерція, наукові дослідження, промисловість, автономне водіння та робототехніка. **
Frontier Research
2022 і 2023 роки — це два роки, коли технологія генеративного штучного інтелекту зробить прорив.Ми відсортували документи та виявили, що помітною особливістю в галузі генеративного штучного інтелекту є тісна інтеграція дослідницьких та інноваційних процесів, багато з яких реалізуються в рамках підприємств. , швидко розгортати варіанти використання та продукти. **Ця інтеграція досліджень і підприємництва, стартапів і венчурного капіталу відіграла важливу роль, і інвестиції в дослідження та таланти американських технологічних гігантів і великих компаній штучного інтелекту, включаючи дослідження деяких базових технологій, перевершили університети. років та інші науково-дослідні установи.
**Межі штучного інтелекту просуваються в майбутнє. **Хоча з технічних звітів GPT-4 до дослідницьких статей Microsoft було показано, що він має здатність опрацьовувати текст, здатність до математичних міркувань, близьку до людських, і має знання в багатьох професійних галузях. «Ми вважаємо, що його можна розумно вважати ранньою (хоча й досі неповною) версією системи штучного загального інтелекту (AGI).» занадто багато. Такі як калібрування впевненості, довготривала пам’ять, безперервне навчання, персоналізація, планування та стрибок концепції, прозорість, когнітивні помилки та ірраціональність тощо. **
**Найважливішим напрямком досліджень за останні шість місяців є розшифровка та розуміння таємничої та захоплюючої «появи» інтелекту у великих моделях. **Великим моделям не тільки потрібно перевершити здатність передбачати наступне слово, але також потрібен багатший і складніший глибокий механізм «повільного мислення», щоб контролювати механізм «швидкого мислення» для передбачення наступного слова.
**Найкраще передове дослідження має бути спрямоване на вивчення та вирішення проблем, що виникають під час застосування широкомасштабних технологій. **Дослідження того, як зменшити галюцинації, налаштувати велику модель для точнішого виведення реального вмісту та тренувати сильнішу здатність міркувати; як інтенсивніше тренувати модель, знизити поріг, запустити нові продукти та дозволити більшій кількості людей з усіх верств суспільства життя та споживачі. Як взаємодіяти з реальним фізичним світом, як людина; як стати помічником людини в складній роботі, проектувати та допомагати проводити наукові експерименти; як впливати на працевлаштування та приймати політичні відповіді; як створити штучний інтелект безпечний і правдоподібний.
Регламент| Безпека| Політика| Талант
Регуляторна реакція уряду на генеративний штучний інтелект є досить своєчасною, і в різних країнах з’явилися різні характеристики. **Швидко запроваджуючи регулятивні заходи щодо генеративного штучного інтелекту та шукаючи думки, Китай також заохочує розвиток загального штучного інтелекту. Пекін, Шанхай і Шеньчжень є найамбітнішими першими ешелонами, і всі вони запропонували більш амбітні дослідження штучного інтелекту, інноваційно-промислові цілі. ** ЄС продовжує лідирувати в регулюванні та законодавстві, оскільки він був піонером GDPR 5 років тому. Сполучені Штати більше стурбовані лідируючою позицією технології штучного інтелекту, і формують нормативну базу за принципом управління ризиками.
** У довгостроковій перспективі талант матиме більше впливу на майбутнє штучного інтелекту, ніж обчислювальна потужність. **Кількість статей, опублікованих китайськими дослідниками, перевищила кількість американських, але Сполучені Штати все ще мають явну перевагу на вершині піраміди, чи то дослідження, чи підприємництво. У всьому світі центр досліджень та інновацій у сфері штучного інтелекту зміщується з університетів на підприємства. У трійку американських установ із найбільшою кількістю найкращих науковців є Google, Microsoft і Meta, які разом набирають 30% найкращих науковців Сполучених Штатів. . У Китаї все ще домінують університети, і лише Alibaba входить до десятки найкращих.
Міністерство науки і технологій запропонувало, щоб підприємства зі штучного інтелекту погоджувалися на перевірку науково-технологічної етики; суб’єкт перевірки повинен створити комітет з науково-технологічної етики (нагляду). Американські компанії штучного інтелекту почали створювати відповідальні та надійні відділи штучного інтелекту раніше. З минулого року по цей рік було внесено деякі корективи, що відображає те, що коли генеративний штучний інтелект зазнає змін, підприємства прагнуть використовувати кращі технології та рішення для розгортання нові технології безпечно та відповідально.
Десять перспектив
Велика мовна модель
У 2024 році Китай матиме багатомовну модель загального призначення, порівнянну з GPT-4;
Довгий контекст призведе до наступного прориву в технології LLM;
Перш ніж з’явиться перспективніша модель великої мови, для досягнення кращих результатів у вертикальному полі співіснуватимуть наступні три методи:
i) Не змінюючи розподіл даних, використовуйте більш загальні дані для загального попереднього навчання великомасштабної моделі та не вводьте спеціально галузеві дані,
ii) Використовуйте специфічні для галузі дані для точного налаштування (Fine-Tuning) загальної великої моделі,
iii) Використовуйте набори даних із більшою часткою галузевих даних для попереднього навчання вертикальної моделі.
Мультимодальна модель
4 Поточна модель діаграми Вінсена CLIP + Diffusion є перехідним станом, і інтегрована структура моделі з’явиться протягом наступних 2 років;
Модель Text-to-Image наступного покоління матиме кращу керованість.Вона поєднуватиме можливості основної моделі та зовнішнього методу керування, а дизайн моделі буде зосереджений на поєднанні з методом керування;
До 2025 року в режимах відео та 3D з’являться важливі моделі, що значно покращить ефект генерації;
Втілений інтелект (Embodied AI), представлений PALM-E, продемонстрував великий потенціал у напрямку сприйняття, розуміння та прийняття рішень роботами, але існують великі проблеми в поточному навчанні та надійності;
У короткостроковій перспективі Transformer стає основною мережевою структурою багатьох модальностей, але загальний метод стиснення всього цифрового світу ще не з’явився Transformer — це не кінець технології штучного інтелекту.
Можливість для бізнесу
Протягом 3 років основною рушійною силою підривних додатків штучного інтелекту стане інноваційна модель, що лежить в основі, обидва не можуть бути розділені, а роль моделі буде більшою, ніж роль дизайну продукту;
Поточний генеративний ринок штучного інтелекту знаходиться на ранній стадії технологічного домінування, і є можливості для компаній-платформ, ринкова вартість яких становить сотні мільярдів доларів.
Прочитайте оригінальний текст