У той час, коли генеративний штучний інтелект стає все більш перспективним і широко розповсюдженим, його ширше впровадження вимагає зробити його більшим, кращим і сильнішим на стороні терміналу.
Джерело зображення: створено Unbounded AI
Сьогодні минуло майже 10 місяців з моменту випуску OpenAI ChatGPT. Хвиля генеративного штучного інтелекту, викликана ним, змусила звичайних людей відчути чарівність штучного інтелекту «ближче». Незалежно від того, чи це пошукова система в режимі реального часу в стилі чату, яка працює на великих моделях, чи інструмент для малювання, який генерує зображення шляхом введення тексту, генеративний ШІ повільно увійшов і непомітно змінив повсякденну роботу, розваги та творчі звички людей.
Разом із великими моделями та генеративним штучним інтелектом виробники мобільних телефонів і чіпів з великою помпою здійснюють «революцію на стороні пристроїв». У травні цього року Google випустив велику мовну модель PaLM 2, включаючи полегшену версію Gecko, яка може працювати на мобільних пристроях. Також у травні Qualcomm випустила білу книгу «Гібридний штучний інтелект — це майбутнє штучного інтелекту». У серпні компанія Xiaomi Lei Jun оголосила про повну підтримку великих моделей і спочатку успішно перевірила велику модель на 1,3 мільярда параметрів на мобільному телефоні.Xiao Ai також отримав оновлені можливості великих моделей.
Ми не можемо не запитати, чому великі виробники поспішають розміщувати великі загальні та генеративні моделі ШІ в терміналах, особливо в мобільних телефонах? Ми знаємо, що розумні термінальні продукти, такі як смартфони, ПК, XR та автомобілі, найближчі до звичайних людей, особливо мобільні телефони, і ми витрачаємо на них усе більше часу. У квітні 2023 року дослідницька організація Electronics Hub опублікувала звіт, згідно з яким користувачі в деяких країнах дивляться на екрани мобільних телефонів більше 7 годин на день. Мобільні телефони поступово перетворюються на ядро розумного життя, готуючи «вогнище» для розвитку генеративного ШІ на стороні терміналу.
Однак нинішній перехід генеративних великих моделей штучного інтелекту на бік терміналів не відбувся миттєво.
Тенденція до термінального та хмарного генеративного штучного інтелекту, що йдуть рука об руку, стає дедалі помітнішою
Ми знаємо, що параметри великих генеративних моделей штучного інтелекту часто обчислюються мільярдами, сотнями або навіть сотнями мільярдів, що висуває надзвичайно високі вимоги до інфраструктури з точки зору оптимізації навчання моделі та висновків щодо виконання. На початку лише хмара могла забезпечити таку величезну обчислювальну потужність ШІ, тому виробники часто вирішували розгортати та запускати власні великі моделі в хмарі.
Візьмемо ChatGPT як приклад: його навчання та робота вимагають великого обсягу зберігання даних і обчислювальних ресурсів, а масові запити користувачів породжують високі витрати на обчислювальну потужність, що вимагає потужної платформи хмарних сервісів. Користувачі можуть отримати доступ до ChatGPT та інших генеративних продуктів ШІ (таких як CodeX) через хмарний сервіс Microsoft Azure OpenAI. Amazon, ще один великий постачальник хмарних послуг, також запустив подібну генеративну службу хмарного хостингу AI.Користувачі можуть отримати доступ до попередньо навчених базових моделей від стартапів, таких як AI21Labs, Anthropic і Stability AI через API.
Очевидно, що платформи хмарних сервісів прискорили цю хвилю генеративної технології штучного інтелекту, яка охопила світ, надаючи великим виробникам моделей підтримку обчислювальної потужності, необхідної для навчання моделі та висновків. Однак хмарний висновок великої моделі потребує великих витрат, а зі збільшенням кількості користувачів і запитів на використання вартість стає все вищою і вищою. Як наслідок, перед лицем постійно зростаючих операційних витрат виробникам потрібно знайти інший вихід за межі хмари.
З плином часу, з одного боку, технології стиснення великих моделей (такі як квантування, скорочення мережі та дистиляція знань) стають все більш поширеними та ефективними.З іншого боку, розумні термінальні пристрої, такі як мобільні телефони, ПК, XR , а в автомобілях є ШІ Обчислювальна потужність продовжує зростати, а технічні умови для розгортання генеративного ШІ на терміналах швидко розвиваються. Тенденція до того, що термінали та хмари йдуть рука об руку, стає все більш очевидною.
Великі технологічні компанії уважно вловили ці зміни та зробили низку спроб розгорнути великі генеративні моделі ШІ на смартфонах та інших терміналах. Наприклад, запуск версій ChatGPT для iOS і Android дозволяє звичайним користувачам насолоджуватися генеративними розмовами в чаті, просто взявши в руки свій мобільний телефон. У майбутньому буде більше важливих моментів, як цей.
Крім того, порівняно з хмарою розгортання та запуск генеративного ШІ на стороні терміналу також має переваги у вартості, безпеці та конфіденційності та надійній роботі.
По-перше, це економічна перевага. Раніше ЗМІ повідомляли, що OpenAI витрачав приблизно 700 000 доларів США на день лише для забезпечення роботи ChatGPT, що означає, що на ChatGPT було витрачено майже 200 мільйонів доларів США. Така висока вартість є занадто високою навіть для OpenAI, що ускладнює беззбитковість, не кажучи вже про отримання прибутку. Інша сторона терміналу. Вартість значно зменшена. Розгортання стисненої полегшеної моделі потребує лише оплати апаратного забезпечення, без урахування інших питань, таких як пропускна здатність, споживання енергії та передача мережі.
По-друге, запуск генеративного ШІ на стороні терміналу може захистити особисті дані з більшою впевненістю, на відміну від потенційного ризику витоку інформації в хмарі. Це не безпідставно. У квітні цього року було виявлено, що співробітники відділу напівпровідників завантажували дані в хмару під час використання ChatGPT, що призвело до витоку конфіденційних даних, і згодом оголосили про заборону. Робота терміналу не вимагає завантаження тексту, зображень, відео та іншої інформації в хмару, що дозволяє уникнути цього ризику та гарантує, що конфіденційність не витікає, а безпека підвищується.
Низька затримка також є головною перевагою терміналу. Хмарі потрібно передати дані в хмару для обробки, перш ніж результати можна буде повернути. Під час процесу передача по мережі неминуче спричинить затримки. Стороні терміналу не потрібно завантажувати інформацію на хмарний сервер або центр обробки даних, швидкість відповіді покращується, а затримка зменшується. У той же час локальна робота більш надійна і іноді може працювати в автономному режимі, що певною мірою зменшує залежність від хмарних служб і мережевих підключень.
Термінал також має більш багаті сценарії застосування та ситуаційну інформацію, ніж хмара, що забезпечує більш персоналізовану взаємодію та досвід. Користувачі можуть точно налаштовувати та налаштовувати параметри та функції моделі для різних сценаріїв застосування або різних потреб в одному сценарії, надаючи їм повну гнучкість.
Завдяки цим перевагам шлях до розгортання генеративного штучного інтелекту на стороні терміналів стає дедалі зрозумілішим, і він все частіше займає таке ж важливе місце, як хмара. Як сказав глобальний віце-президент Qualcomm Хоу Мінцзюань на офлайн-прес-конференції білої книги «Гібридний ШІ — це майбутнє ШІ», «ШІ на стороні терміналу є ключем до реалізації гібридної архітектури ШІ та розширення генеративного ШІ на більш широкий діапазон світ».
Хоу Мінджуань
Qualcomm так сказала і так зробила. Під час цієї революції на стороні терміналів, пов’язаної з генеративним штучним інтелектом, Qualcomm взяла на себе лідерство в трубі та стала одним із основних промоутерів революції на стороні терміналів, а також сформувала гібридний шлях розробки ШІ, у якому хмара та термінали працюють разом у макет. Цей вибір маршруту ще більше відображає передбачливість і лідерство Qualcomm у розробці ШІ на стороні терміналу та можливостей генеративної технології ШІ.
Створіть генеративний ШІ на стороні терміналу на крок вперед
Так званий гібридний штучний інтелект в основному працює двома способами: по-перше, у деяких сценаріях обчислення в основному зосереджені на терміналі та переносять завдання в хмару, коли це необхідно. По-друге, у сценарії, орієнтованому на хмару, термінали розподіляють частину робочого навантаження хмари, коли це можливо на основі їхніх власних можливостей. Хмара та термінал виконують власні функції та допомагають один одному.
Порівняно з хмарою найбільша перевага гібридного штучного інтелекту полягає в більш ефективному розподілі та координації робочих навантажень штучного інтелекту в різних сценаріях і в різні періоди часу, покращенні ефективності використання ресурсів і зниженні операційних витрат.
У схемі гібридного штучного інтелекту Qualcomm, незалежно від того, чи він орієнтований на термінал, заснований на сприйнятті терміналом, чи на спільній обробці терміналу та хмари, підкреслюється, що можливості штучного інтелекту на стороні терміналу є ключовими для розширення можливостей гібридного штучного інтелекту та надання можливості генеративному штучному інтелекту досягти глобального масштабу. . Спеціально для генеративного штучного інтелекту гібридний штучний інтелект означає повне використання обчислювальної потужності терміналу для підтримки генеративних програм штучного інтелекту, як і ChatGPT на мобільних телефонах.
Однак успішне розгортання та запуск великих генеративних моделей AI на терміналах легше сказати, ніж зробити.Обов’язковою умовою для впровадження є потужні можливості AI на стороні терміналу. Як провідний виробник чіпів, Qualcomm завжди був лідером у сфері штучного інтелекту на стороні терміналів. Вона сформувала повну оптимізацію штучного інтелекту від чіпів до програмного забезпечення, алгоритмів і екосистеми, щоб ні програмне, ні апаратне забезпечення не перешкоджали, а з боку терміналу Можна досягти прискорення логічного висновку ШІ.
Повна оптимізація штучного інтелекту Qualcomm
Перш за все, на рівні апаратного чіпа, від попередньої флагманської платформи Snapdragon 888 і першого покоління Snapdragon 8 до висококласного другого покоління Snapdragon 7 і флагманського другого покоління Snapdragon 8, випущених минулого року, можливості ШІ продовжуються. розвиватися. З удосконаленням можливості штучного інтелекту на стороні терміналу будуть відповідно покращені. Серед них важливу роль відіграє постійно оновлювана система штучного інтелекту Qualcomm (наразі восьме покоління), процесор Hexagon, графічний процесор Qualcomm Adreno та центральний процесор Qualcomm Kryo розроблені для ефективного запуску додатків штучного інтелекту на стороні терміналу та оптимізації роботи користувачів ШІ терміналів через гетерогенні методи обчислення досвід.
Очікується, що обчислювальні потужності AI третього покоління Snapdragon 8, який буде випущено в жовтні цього року, будуть ще більше покращені.
На додаток до безперервного апаратного прискорення, найбільша проблема для ШІ на стороні терміналу полягає в програмному забезпеченні.Воно має забезпечити можливість запуску різних моделей нейронної обробки, а обчислення мають бути швидкими та достатньо ефективними. Стек програмного забезпечення Qualcomm AI допомагає розробникам створювати, оптимізувати та розгортати програми AI на апаратному забезпеченні більш ефективно, досягаючи ефекту одноразової розробки та багаторазового розгортання програм. Як ви можете бачити на малюнку нижче, цей стек програмного забезпечення покращує ефективність розробки на багатьох рівнях, включаючи підтримувані структури AI, набори програмного забезпечення для розробки висновків, бібліотеки та служби розробника, системне програмне забезпечення та операційні системи.
Стек програмного забезпечення Qualcomm AI
Крім того, з точки зору розробки алгоритмів і моделей, компанія прагне підвищити ефективність без шкоди для точності.У зв’язку з цим існують алгоритми, засновані на моделі Q-SRNet, рішеннях квантування INT4 тощо. Наприклад, Snapdragon 8 Gen2 вперше підтримує точний формат штучного інтелекту INT4, що забезпечує 60% підвищення енергоефективності та 90% покращення продуктивності штучного інтелекту порівняно з INT8.
Qualcomm також продовжує докладати зусиль на екологічному рівні, і її технічні переваги в мобільних телефонах можна поширити на інші термінали, такі як автомобілі, ПК, XR та Інтернет речей. У той же час, базуючись на IP та технологіях, поширених у різних сферах, Qualcomm здатна здійснювати поглиблену співпрацю в багатьох екосистемах, таких як сфера ПК і Microsoft, сфера XR і Meta, і швидко досягти масштабного розширення через добре екологічне співробітництво.
Можна сказати, що потужні та комплексні можливості штучного інтелекту на стороні терміналу Qualcomm, особливо архітектура апаратного прискорення штучного інтелекту та стек програмного забезпечення, які можуть впоратися з потенційними змінами в архітектурі генеративної моделі ШІ, проклали шлях у міркуваннях ШІ на стороні терміналу та заклав міцну основу для поширення генеративного штучного інтелекту на термінали.Технічна основа дозволяє запускати програми генеративного штучного інтелекту на термінальних пристроях, таких як мобільні телефони. У той же час Qualcomm також дивиться у майбутнє з точки зору дослідження генеративного ШІ.
Від ранніх досліджень методу стиснення генеративних моделей штучного інтелекту, використання VAE для створення відео- та голосових кодеків для керування розміром моделі нижче 100 мільйонів параметрів, до використання генеративного штучного інтелекту для заміни моделей каналів у бездротовій сфері для підвищення ефективності мобільного зв’язку, Компанія Qualcomm завжди була націлена на розвиток генеративного ШІ.
Звичайно, результати також дуже значні.За останні шість місяців новини про те, що Qualcomm використовує великі генеративні моделі штучного інтелекту на мобільних телефонах, викликали бурхливі дискусії, зокрема про запуск графічної моделі Вінсента з 1 мільярдом параметрів Stable Diffusion і 1,5 мільярда параметрів. генерація зображення Модель зображення ControlNet Зачекайте. На додаток до демонстрації можливостей малювання ШІ на мобільних пристроях, Qualcomm також продовжує досліджувати розширення можливостей генеративного ШІ в інших технічних напрямках, таких як цифрові люди.
*ControlNet на мобільному телефоні завершує візуалізацію протягом 12 секунд. *
У майбутньому, ґрунтуючись на накопиченому Qualcomm досвіді роботи з мобільними телефонами та подальшому вдосконаленні обчислювальної потужності чіпа SoC, термінальна робота моделей з більшою кількістю параметрів не за горами. Зіад Асгар, старший віце-президент із управління продуктами та керівник відділу штучного інтелекту Qualcomm, сказав в інтерв’ю, що генеративні моделі штучного інтелекту, які можуть підтримувати 10 мільярдів параметрів, будуть запускатися на мобільних телефонах цього року. Крім того, він співпрацюватиме з Meta, щоб запустити мобільну версію Llama 2 наступного року. Це робить майбутнє генеративного ШІ більш перспективним.
На нашу думку, найбільше значення штучного інтелекту на стороні терміналу полягає в тому, щоб відображати великі моделі генеративного штучного інтелекту в руках кожного, що є більш корисним для широкомасштабного розширення та популяризації генеративного штучного інтелекту, а також може створити переваги для бізнесу. Візьмемо як приклад генеративне штучне малювання, якщо це може бути схоже на камеру Miaoya, яка деякий час тому стала популярною в WeChat Moments, запуск генеративного штучного інтелекту на мобільних телефонах спричинить незмірний трафік.
Однак схема генеративного штучного інтелекту Qualcomm безперечно призначена не для тимчасового ефекту трафіку, а для використання мобільних телефонів, мобільних ПК, переносних пристроїв XR, розумних домівок, автомобілів та інших можливих носіїв програм генеративного штучного інтелекту, щоб бути ближчими до користувачів. людям швидко та зручно насолоджуватися новим досвідом ШІ. Як сказано на обкладинці білого документа, «робити штучний інтелект доступним». Qualcomm робить це вже недалеко.
Висновок
Після ChatGPT генеративний ШІ став нестримною тенденцією розвитку. Зважаючи на велику зручність, яку він принесе в наше життя, вкрай важливо прискорити популяризацію генеративного ШІ. На щастя, Qualcomm заклала основу. Ми дізналися, що Qualcomm бере активну участь у сфері ШІ вже понад 15 років, особливо у сфері мобільних комп’ютерів, і сформувала глибоке технічне лідерство. Зараз у світі існують мільярди інтелектуальних термінальних пристроїв, оснащених платформами Snapdragon і Qualcomm, які підвищують можливості проб і помилок на стороні терміналів і потенціал генеративних додатків ШІ на неперевершену висоту.
У той же час, розширюючи та поглиблюючи можливості штучного інтелекту на стороні терміналу та розширюючи генеративний штучний інтелект до більшої кількості полів і сценаріїв, це може не тільки надати звичайним користувачам більш різноманітний, веселий і зручний досвід штучного інтелекту, але також може створити більше ринкові можливості для своїх партнерів по екосистемі розумних терміналів і справді розблокувати його цінність.
Для Qualcomm генеративний ШІ на стороні терміналу має далекосяжне значення. На форумі «Тенденції розвитку цифрової торгівлі та Frontier Summit» Китайської ярмарки послуг Менг Пу, голова Qualcomm China, виступив із основною промовою, підкресливши тісну співпрацю з глобальною екосистемою для спільного вивчення таких технологій, як 5G, штучний інтелект та Інтернет. Абсолютно нові мобільні програми та досвід. Будучи генеративною технологією штучного інтелекту, яка зараз знаходиться на передовій, її потужність, кількість і складність значною мірою визначатимуть, чи можна їх успішно реалізувати.
Робота генеративного штучного інтелекту на стороні терміналів є обов’язковою, і екологічні та орієнтовані на користувачів компанії, такі як Qualcomm, також виділятимуться своєю силою.
Довідкове посилання:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Ця революція на стороні терміналів, яка є ближчою до користувачів, є ключем до демократизації генеративного ШІ.
Перше джерело: Heart of the Machine
Сьогодні минуло майже 10 місяців з моменту випуску OpenAI ChatGPT. Хвиля генеративного штучного інтелекту, викликана ним, змусила звичайних людей відчути чарівність штучного інтелекту «ближче». Незалежно від того, чи це пошукова система в режимі реального часу в стилі чату, яка працює на великих моделях, чи інструмент для малювання, який генерує зображення шляхом введення тексту, генеративний ШІ повільно увійшов і непомітно змінив повсякденну роботу, розваги та творчі звички людей.
Разом із великими моделями та генеративним штучним інтелектом виробники мобільних телефонів і чіпів з великою помпою здійснюють «революцію на стороні пристроїв». У травні цього року Google випустив велику мовну модель PaLM 2, включаючи полегшену версію Gecko, яка може працювати на мобільних пристроях. Також у травні Qualcomm випустила білу книгу «Гібридний штучний інтелект — це майбутнє штучного інтелекту». У серпні компанія Xiaomi Lei Jun оголосила про повну підтримку великих моделей і спочатку успішно перевірила велику модель на 1,3 мільярда параметрів на мобільному телефоні.Xiao Ai також отримав оновлені можливості великих моделей.
Ми не можемо не запитати, чому великі виробники поспішають розміщувати великі загальні та генеративні моделі ШІ в терміналах, особливо в мобільних телефонах? Ми знаємо, що розумні термінальні продукти, такі як смартфони, ПК, XR та автомобілі, найближчі до звичайних людей, особливо мобільні телефони, і ми витрачаємо на них усе більше часу. У квітні 2023 року дослідницька організація Electronics Hub опублікувала звіт, згідно з яким користувачі в деяких країнах дивляться на екрани мобільних телефонів більше 7 годин на день. Мобільні телефони поступово перетворюються на ядро розумного життя, готуючи «вогнище» для розвитку генеративного ШІ на стороні терміналу.
Однак нинішній перехід генеративних великих моделей штучного інтелекту на бік терміналів не відбувся миттєво.
Тенденція до термінального та хмарного генеративного штучного інтелекту, що йдуть рука об руку, стає дедалі помітнішою
Ми знаємо, що параметри великих генеративних моделей штучного інтелекту часто обчислюються мільярдами, сотнями або навіть сотнями мільярдів, що висуває надзвичайно високі вимоги до інфраструктури з точки зору оптимізації навчання моделі та висновків щодо виконання. На початку лише хмара могла забезпечити таку величезну обчислювальну потужність ШІ, тому виробники часто вирішували розгортати та запускати власні великі моделі в хмарі.
Візьмемо ChatGPT як приклад: його навчання та робота вимагають великого обсягу зберігання даних і обчислювальних ресурсів, а масові запити користувачів породжують високі витрати на обчислювальну потужність, що вимагає потужної платформи хмарних сервісів. Користувачі можуть отримати доступ до ChatGPT та інших генеративних продуктів ШІ (таких як CodeX) через хмарний сервіс Microsoft Azure OpenAI. Amazon, ще один великий постачальник хмарних послуг, також запустив подібну генеративну службу хмарного хостингу AI.Користувачі можуть отримати доступ до попередньо навчених базових моделей від стартапів, таких як AI21Labs, Anthropic і Stability AI через API.
Очевидно, що платформи хмарних сервісів прискорили цю хвилю генеративної технології штучного інтелекту, яка охопила світ, надаючи великим виробникам моделей підтримку обчислювальної потужності, необхідної для навчання моделі та висновків. Однак хмарний висновок великої моделі потребує великих витрат, а зі збільшенням кількості користувачів і запитів на використання вартість стає все вищою і вищою. Як наслідок, перед лицем постійно зростаючих операційних витрат виробникам потрібно знайти інший вихід за межі хмари.
З плином часу, з одного боку, технології стиснення великих моделей (такі як квантування, скорочення мережі та дистиляція знань) стають все більш поширеними та ефективними.З іншого боку, розумні термінальні пристрої, такі як мобільні телефони, ПК, XR , а в автомобілях є ШІ Обчислювальна потужність продовжує зростати, а технічні умови для розгортання генеративного ШІ на терміналах швидко розвиваються. Тенденція до того, що термінали та хмари йдуть рука об руку, стає все більш очевидною.
Крім того, порівняно з хмарою розгортання та запуск генеративного ШІ на стороні терміналу також має переваги у вартості, безпеці та конфіденційності та надійній роботі.
По-перше, це економічна перевага. Раніше ЗМІ повідомляли, що OpenAI витрачав приблизно 700 000 доларів США на день лише для забезпечення роботи ChatGPT, що означає, що на ChatGPT було витрачено майже 200 мільйонів доларів США. Така висока вартість є занадто високою навіть для OpenAI, що ускладнює беззбитковість, не кажучи вже про отримання прибутку. Інша сторона терміналу. Вартість значно зменшена. Розгортання стисненої полегшеної моделі потребує лише оплати апаратного забезпечення, без урахування інших питань, таких як пропускна здатність, споживання енергії та передача мережі.
По-друге, запуск генеративного ШІ на стороні терміналу може захистити особисті дані з більшою впевненістю, на відміну від потенційного ризику витоку інформації в хмарі. Це не безпідставно. У квітні цього року було виявлено, що співробітники відділу напівпровідників завантажували дані в хмару під час використання ChatGPT, що призвело до витоку конфіденційних даних, і згодом оголосили про заборону. Робота терміналу не вимагає завантаження тексту, зображень, відео та іншої інформації в хмару, що дозволяє уникнути цього ризику та гарантує, що конфіденційність не витікає, а безпека підвищується.
Низька затримка також є головною перевагою терміналу. Хмарі потрібно передати дані в хмару для обробки, перш ніж результати можна буде повернути. Під час процесу передача по мережі неминуче спричинить затримки. Стороні терміналу не потрібно завантажувати інформацію на хмарний сервер або центр обробки даних, швидкість відповіді покращується, а затримка зменшується. У той же час локальна робота більш надійна і іноді може працювати в автономному режимі, що певною мірою зменшує залежність від хмарних служб і мережевих підключень.
Термінал також має більш багаті сценарії застосування та ситуаційну інформацію, ніж хмара, що забезпечує більш персоналізовану взаємодію та досвід. Користувачі можуть точно налаштовувати та налаштовувати параметри та функції моделі для різних сценаріїв застосування або різних потреб в одному сценарії, надаючи їм повну гнучкість.
Завдяки цим перевагам шлях до розгортання генеративного штучного інтелекту на стороні терміналів стає дедалі зрозумілішим, і він все частіше займає таке ж важливе місце, як хмара. Як сказав глобальний віце-президент Qualcomm Хоу Мінцзюань на офлайн-прес-конференції білої книги «Гібридний ШІ — це майбутнє ШІ», «ШІ на стороні терміналу є ключем до реалізації гібридної архітектури ШІ та розширення генеративного ШІ на більш широкий діапазон світ».
Qualcomm так сказала і так зробила. Під час цієї революції на стороні терміналів, пов’язаної з генеративним штучним інтелектом, Qualcomm взяла на себе лідерство в трубі та стала одним із основних промоутерів революції на стороні терміналів, а також сформувала гібридний шлях розробки ШІ, у якому хмара та термінали працюють разом у макет. Цей вибір маршруту ще більше відображає передбачливість і лідерство Qualcomm у розробці ШІ на стороні терміналу та можливостей генеративної технології ШІ.
Створіть генеративний ШІ на стороні терміналу на крок вперед
Так званий гібридний штучний інтелект в основному працює двома способами: по-перше, у деяких сценаріях обчислення в основному зосереджені на терміналі та переносять завдання в хмару, коли це необхідно. По-друге, у сценарії, орієнтованому на хмару, термінали розподіляють частину робочого навантаження хмари, коли це можливо на основі їхніх власних можливостей. Хмара та термінал виконують власні функції та допомагають один одному.
Порівняно з хмарою найбільша перевага гібридного штучного інтелекту полягає в більш ефективному розподілі та координації робочих навантажень штучного інтелекту в різних сценаріях і в різні періоди часу, покращенні ефективності використання ресурсів і зниженні операційних витрат.
У схемі гібридного штучного інтелекту Qualcomm, незалежно від того, чи він орієнтований на термінал, заснований на сприйнятті терміналом, чи на спільній обробці терміналу та хмари, підкреслюється, що можливості штучного інтелекту на стороні терміналу є ключовими для розширення можливостей гібридного штучного інтелекту та надання можливості генеративному штучному інтелекту досягти глобального масштабу. . Спеціально для генеративного штучного інтелекту гібридний штучний інтелект означає повне використання обчислювальної потужності терміналу для підтримки генеративних програм штучного інтелекту, як і ChatGPT на мобільних телефонах.
Однак успішне розгортання та запуск великих генеративних моделей AI на терміналах легше сказати, ніж зробити.Обов’язковою умовою для впровадження є потужні можливості AI на стороні терміналу. Як провідний виробник чіпів, Qualcomm завжди був лідером у сфері штучного інтелекту на стороні терміналів. Вона сформувала повну оптимізацію штучного інтелекту від чіпів до програмного забезпечення, алгоритмів і екосистеми, щоб ні програмне, ні апаратне забезпечення не перешкоджали, а з боку терміналу Можна досягти прискорення логічного висновку ШІ.
Перш за все, на рівні апаратного чіпа, від попередньої флагманської платформи Snapdragon 888 і першого покоління Snapdragon 8 до висококласного другого покоління Snapdragon 7 і флагманського другого покоління Snapdragon 8, випущених минулого року, можливості ШІ продовжуються. розвиватися. З удосконаленням можливості штучного інтелекту на стороні терміналу будуть відповідно покращені. Серед них важливу роль відіграє постійно оновлювана система штучного інтелекту Qualcomm (наразі восьме покоління), процесор Hexagon, графічний процесор Qualcomm Adreno та центральний процесор Qualcomm Kryo розроблені для ефективного запуску додатків штучного інтелекту на стороні терміналу та оптимізації роботи користувачів ШІ терміналів через гетерогенні методи обчислення досвід.
Очікується, що обчислювальні потужності AI третього покоління Snapdragon 8, який буде випущено в жовтні цього року, будуть ще більше покращені.
На додаток до безперервного апаратного прискорення, найбільша проблема для ШІ на стороні терміналу полягає в програмному забезпеченні.Воно має забезпечити можливість запуску різних моделей нейронної обробки, а обчислення мають бути швидкими та достатньо ефективними. Стек програмного забезпечення Qualcomm AI допомагає розробникам створювати, оптимізувати та розгортати програми AI на апаратному забезпеченні більш ефективно, досягаючи ефекту одноразової розробки та багаторазового розгортання програм. Як ви можете бачити на малюнку нижче, цей стек програмного забезпечення покращує ефективність розробки на багатьох рівнях, включаючи підтримувані структури AI, набори програмного забезпечення для розробки висновків, бібліотеки та служби розробника, системне програмне забезпечення та операційні системи.
Крім того, з точки зору розробки алгоритмів і моделей, компанія прагне підвищити ефективність без шкоди для точності.У зв’язку з цим існують алгоритми, засновані на моделі Q-SRNet, рішеннях квантування INT4 тощо. Наприклад, Snapdragon 8 Gen2 вперше підтримує точний формат штучного інтелекту INT4, що забезпечує 60% підвищення енергоефективності та 90% покращення продуктивності штучного інтелекту порівняно з INT8.
Qualcomm також продовжує докладати зусиль на екологічному рівні, і її технічні переваги в мобільних телефонах можна поширити на інші термінали, такі як автомобілі, ПК, XR та Інтернет речей. У той же час, базуючись на IP та технологіях, поширених у різних сферах, Qualcomm здатна здійснювати поглиблену співпрацю в багатьох екосистемах, таких як сфера ПК і Microsoft, сфера XR і Meta, і швидко досягти масштабного розширення через добре екологічне співробітництво.
Можна сказати, що потужні та комплексні можливості штучного інтелекту на стороні терміналу Qualcomm, особливо архітектура апаратного прискорення штучного інтелекту та стек програмного забезпечення, які можуть впоратися з потенційними змінами в архітектурі генеративної моделі ШІ, проклали шлях у міркуваннях ШІ на стороні терміналу та заклав міцну основу для поширення генеративного штучного інтелекту на термінали.Технічна основа дозволяє запускати програми генеративного штучного інтелекту на термінальних пристроях, таких як мобільні телефони. У той же час Qualcomm також дивиться у майбутнє з точки зору дослідження генеративного ШІ.
Від ранніх досліджень методу стиснення генеративних моделей штучного інтелекту, використання VAE для створення відео- та голосових кодеків для керування розміром моделі нижче 100 мільйонів параметрів, до використання генеративного штучного інтелекту для заміни моделей каналів у бездротовій сфері для підвищення ефективності мобільного зв’язку, Компанія Qualcomm завжди була націлена на розвиток генеративного ШІ.
Звичайно, результати також дуже значні.За останні шість місяців новини про те, що Qualcomm використовує великі генеративні моделі штучного інтелекту на мобільних телефонах, викликали бурхливі дискусії, зокрема про запуск графічної моделі Вінсента з 1 мільярдом параметрів Stable Diffusion і 1,5 мільярда параметрів. генерація зображення Модель зображення ControlNet Зачекайте. На додаток до демонстрації можливостей малювання ШІ на мобільних пристроях, Qualcomm також продовжує досліджувати розширення можливостей генеративного ШІ в інших технічних напрямках, таких як цифрові люди.
У майбутньому, ґрунтуючись на накопиченому Qualcomm досвіді роботи з мобільними телефонами та подальшому вдосконаленні обчислювальної потужності чіпа SoC, термінальна робота моделей з більшою кількістю параметрів не за горами. Зіад Асгар, старший віце-президент із управління продуктами та керівник відділу штучного інтелекту Qualcomm, сказав в інтерв’ю, що генеративні моделі штучного інтелекту, які можуть підтримувати 10 мільярдів параметрів, будуть запускатися на мобільних телефонах цього року. Крім того, він співпрацюватиме з Meta, щоб запустити мобільну версію Llama 2 наступного року. Це робить майбутнє генеративного ШІ більш перспективним.
На нашу думку, найбільше значення штучного інтелекту на стороні терміналу полягає в тому, щоб відображати великі моделі генеративного штучного інтелекту в руках кожного, що є більш корисним для широкомасштабного розширення та популяризації генеративного штучного інтелекту, а також може створити переваги для бізнесу. Візьмемо як приклад генеративне штучне малювання, якщо це може бути схоже на камеру Miaoya, яка деякий час тому стала популярною в WeChat Moments, запуск генеративного штучного інтелекту на мобільних телефонах спричинить незмірний трафік.
Однак схема генеративного штучного інтелекту Qualcomm безперечно призначена не для тимчасового ефекту трафіку, а для використання мобільних телефонів, мобільних ПК, переносних пристроїв XR, розумних домівок, автомобілів та інших можливих носіїв програм генеративного штучного інтелекту, щоб бути ближчими до користувачів. людям швидко та зручно насолоджуватися новим досвідом ШІ. Як сказано на обкладинці білого документа, «робити штучний інтелект доступним». Qualcomm робить це вже недалеко.
Висновок
Після ChatGPT генеративний ШІ став нестримною тенденцією розвитку. Зважаючи на велику зручність, яку він принесе в наше життя, вкрай важливо прискорити популяризацію генеративного ШІ. На щастя, Qualcomm заклала основу. Ми дізналися, що Qualcomm бере активну участь у сфері ШІ вже понад 15 років, особливо у сфері мобільних комп’ютерів, і сформувала глибоке технічне лідерство. Зараз у світі існують мільярди інтелектуальних термінальних пристроїв, оснащених платформами Snapdragon і Qualcomm, які підвищують можливості проб і помилок на стороні терміналів і потенціал генеративних додатків ШІ на неперевершену висоту.
У той же час, розширюючи та поглиблюючи можливості штучного інтелекту на стороні терміналу та розширюючи генеративний штучний інтелект до більшої кількості полів і сценаріїв, це може не тільки надати звичайним користувачам більш різноманітний, веселий і зручний досвід штучного інтелекту, але також може створити більше ринкові можливості для своїх партнерів по екосистемі розумних терміналів і справді розблокувати його цінність.
Для Qualcomm генеративний ШІ на стороні терміналу має далекосяжне значення. На форумі «Тенденції розвитку цифрової торгівлі та Frontier Summit» Китайської ярмарки послуг Менг Пу, голова Qualcomm China, виступив із основною промовою, підкресливши тісну співпрацю з глобальною екосистемою для спільного вивчення таких технологій, як 5G, штучний інтелект та Інтернет. Абсолютно нові мобільні програми та досвід. Будучи генеративною технологією штучного інтелекту, яка зараз знаходиться на передовій, її потужність, кількість і складність значною мірою визначатимуть, чи можна їх успішно реалізувати.
Робота генеративного штучного інтелекту на стороні терміналів є обов’язковою, і екологічні та орієнтовані на користувачів компанії, такі як Qualcomm, також виділятимуться своєю силою.
Довідкове посилання: