Üretken yapay zekanın giderek daha umut verici hale geldiği ve geniş çapta takip edildiği bir zamanda, daha geniş çapta uygulanması, onu terminal tarafında daha büyük, daha iyi ve daha güçlü hale getirmeyi gerektiriyor.
Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur
Bugün, OpenAI'nin ChatGPT'yi yayınlamasının üzerinden yaklaşık 10 ay geçti ve bunun tetiklediği üretken yapay zeka dalgası, sıradan insanların yapay zekanın cazibesini "daha yakından" hissetmesini sağladı. İster büyük modellerle desteklenen sohbet tarzı gerçek zamanlı bir arama motoru olsun, ister metin girerek resimler oluşturan bir boyama aracı olsun, üretken yapay zeka yavaş yavaş insanların günlük çalışmalarına, eğlencelerine ve yaratıcı alışkanlıklarına girdi ve ustaca değiştirdi.
Büyük modeller ve üretken yapay zekanın yanı sıra, cep telefonu ve çip üreticileri büyük bir tantanayla "cihaz tarafında bir devrim" gerçekleştiriyor. Bu yılın mayıs ayında Google, mobil cihazlarda çalışabilen hafif bir Gecko sürümü de dahil olmak üzere geniş dil modeli PaLM 2'yi piyasaya sürdü. Yine Mayıs ayında Qualcomm, "Hibrit Yapay Zeka Yapay Zekanın Geleceğidir" adlı teknik incelemeyi yayınladı. Ağustos ayında Xiaomi Lei Jun, büyük modelleri tamamen benimsediğini duyurdu ve başlangıçta cep telefonunda 1,3 milyar parametreli büyük modeli başarıyla çalıştırdı.Xiao Ai ayrıca büyük model yeteneklerinde de bir yükseltme aldı.
Büyük üreticilerin büyük genel ve üretken yapay zeka modellerini terminallere, özellikle de cep telefonlarına koymak için neden acele ettiğini sormadan edemiyoruz. Akıllı telefonlar, PC'ler, XR ve arabalar gibi akıllı terminal ürünlerinin, başta cep telefonları olmak üzere sıradan insanlara en yakın ürünler olduğunu biliyor ve bunlara her geçen gün daha fazla vakit ayırıyoruz. Nisan 2023'te pazar araştırma kuruluşu Electronics Hub, bazı ülkelerdeki kullanıcıların günde 7 saatten fazla cep telefonu ekranlarına baktığını gösteren bir rapor yayınladı. Cep telefonları yavaş yavaş akıllı yaşamın çekirdeğine dönüşüyor ve terminal tarafındaki üretken yapay zekanın gelişimi için bir "yatak" hazırlıyor.
Bununla birlikte, üretken yapay zeka büyük modellerinin terminal tarafına mevcut eğilimi bir gecede gerçekleşmedi. Dağıtım yöntemi, buluttan terminal-bulut işbirliğine doğru bir dönüşüm geçiriyor.
Terminal ve bulut tabanlı üretken yapay zekanın el ele gitmesi eğilimi giderek daha belirgin hale geliyor
Büyük üretken yapay zeka modellerinin parametrelerinin genellikle milyarlarca, yüzler ve hatta yüz milyarlarca olduğunu biliyoruz; bu da model eğitimi optimizasyonu ve yürütme çıkarımı açısından altyapıya son derece yüksek gereksinimler getiriyor. Başlangıçta, bu kadar büyük yapay zeka bilgi işlem gücünü yalnızca bulut sağlayabilirdi, bu nedenle üreticiler genellikle kendi büyük modellerini bulutta dağıtmayı ve çalıştırmayı tercih ediyordu.
Örnek olarak ChatGPT'yi ele alırsak, eğitimi ve işletimi büyük miktarda veri depolama ve bilgi işlem kaynağı gerektirir ve büyük kullanıcı talepleri, güçlü bir bulut hizmeti platformu gerektiren yüksek bilgi işlem gücü maliyetleri oluşturur. Kullanıcılar, Microsoft Azure OpenAI bulut hizmeti aracılığıyla ChatGPT'ye ve diğer üretken AI ürünlerine (CodeX gibi) erişebilir. Bir başka büyük bulut hizmet sağlayıcısı olan Amazon da benzer bir üretken yapay zeka bulut barındırma hizmetini başlattı.Kullanıcılar, API'ler aracılığıyla AI21Labs, Anthropic ve Stability AI gibi startup'ların önceden eğitilmiş temel modellerine erişebilirler.
Açıkçası, bulut hizmeti platformları, dünyayı kasıp kavuran bu üretken yapay zeka teknolojisi dalgasını hızlandırdı ve büyük model üreticilerine model eğitimi ve çıkarım için gerekli bilgi işlem gücü desteğini sağladı. Ancak büyük model bulut çıkarımı yüksek maliyetler gerektirir ve artan kullanıcı sayısı ve kullanım talepleri ile birlikte maliyet de giderek artmaktadır. Sonuç olarak sürekli artan işletme maliyetleri karşısında üreticilerin bulut dışında başka bir yol bulması gerekiyor.
Zaman geçtikçe, bir yandan büyük model sıkıştırma teknolojileri (kuantalama, ağ budama ve bilgi damıtma gibi) giderek daha yaygın ve etkili hale gelirken, diğer yandan cep telefonları, PC'ler, XR gibi akıllı terminal cihazları da yaygınlaşıyor. ve otomobiller yapay zekaya sahip Bilgi işlem gücü artmaya devam ediyor ve üretken yapay zekanın terminallere dağıtılmasına yönelik teknik koşullar hızla olgunlaşıyor. Terminaller ve bulutların el ele gitme eğilimi giderek daha belirgin hale geliyor.
Büyük teknoloji şirketleri bu değişiklikleri büyük bir dikkatle yakaladı ve büyük üretken yapay zeka modellerini akıllı telefonlara ve diğer terminallere dağıtmak için bir dizi girişimde bulundu. Örneğin, ChatGPT iOS ve Android sürümlerinin piyasaya sürülmesi, sıradan kullanıcıların yalnızca cep telefonlarını ellerine alarak üretken sohbet konuşmaları deneyimlemelerine olanak tanıyor.Gelecekte bunun gibi daha önemli anlar olacak.
Ek olarak, bulutla karşılaştırıldığında üretken yapay zekanın terminal tarafında dağıtılması ve çalıştırılmasının maliyet, güvenlik, gizlilik ve güvenilir operasyon açısından da avantajları vardır.
Birincisi maliyet avantajıdır. Daha önce medya, OpenAI'nin ChatGPT'yi çalışır durumda tutmak için günde yaklaşık 700.000 ABD doları harcadığını bildirmişti; bu da ChatGPT'ye yaklaşık 200 milyon ABD dolarının harcanmış olabileceği anlamına geliyor. Bu kadar yüksek bir maliyet, OpenAI'nin bile kaldıramayacağı kadar yüksek, bu da bırakın kar etmeyi, başabaş noktasını bile zorlaştırıyor. Terminal tarafı farklıdır.Maliyet büyük ölçüde azalır.Sıkıştırılmış hafif model dağıtımının, bant genişliği, enerji tüketimi ve ağ iletimi gibi diğer konuları dikkate almadan yalnızca donanım maliyetini ödemesi gerekir.
İkinci olarak, üretken yapay zekanın terminal tarafında çalıştırılması, buluttaki potansiyel bilgi sızıntısı riskinden farklı olarak özel verileri daha büyük bir güvenle koruyabilir. Bu asılsız değil.Bu yılın nisan ayında, yarı iletken departmanındaki çalışanların ChatGPT kullanırken buluta veri yüklediği, bunun sonucunda gizli verilerin sızdırıldığı ortaya çıktı ve ardından yasağı duyurdu. Terminal işlemi metin, resim, video ve diğer bilgilerin buluta yüklenmesini gerektirmez, bu da bu riski ortadan kaldırır ve gizliliğin sızdırılmamasını ve güvenliğin artırılmasını sağlar.
Düşük gecikme süresi de terminal tarafında büyük bir avantajdır. Sonuçların geri döndürülebilmesi için bulutun verileri işlenmek üzere buluta iletmesi gerekir.İşlem sırasında ağ iletimi kaçınılmaz olarak gecikmelere neden olacaktır. Terminal tarafının bulut sunucusuna veya veri merkezine bilgi yüklemesine gerek kalmaz, yanıt hızı artar ve gecikme azalır. Aynı zamanda yerel operasyon daha güvenilirdir ve bazen çevrimdışı çalıştırılabilir, bu da bulut hizmetlerine ve ağ bağlantılarına olan bağımlılığı bir ölçüde azaltır.
Terminal tarafında ayrıca buluttan daha zengin uygulama senaryoları ve durumsal bilgiler bulunur ve bu da daha kişiselleştirilmiş etkileşim ve deneyim sağlar. Kullanıcılar, farklı uygulama senaryoları veya aynı senaryodaki farklı ihtiyaçlar için model parametrelerine ve işlevlerine ince ayar yapabilir ve özelleştirebilir; bu da onlara tam esneklik sağlar.
Bu avantajlarla birlikte, üretken yapay zekanın terminal tarafında konuşlandırılmasının yolu giderek daha net hale geliyor ve giderek bulut kadar önemli bir konuma yerleştiriliyor. Qualcomm Küresel Başkan Yardımcısı Hou Mingjuan'ın "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" adlı teknik incelemenin çevrimdışı basın toplantısında söylediği gibi, "Terminal tarafındaki yapay zeka, hibrit yapay zeka mimarisini gerçekleştirmenin ve üretken yapay zekayı daha geniş bir yelpazeye yaymanın anahtarıdır." dünya."
Hou Mingjuan
Qualcomm öyle dedi ve yaptı. Üretken yapay zekayla ilgili bu terminal tarafındaki devrimde Qualcomm, kornayı çalmada liderliği ele geçirdi ve terminal tarafındaki yapay zeka devriminin temel destekçilerinden biri haline geldi ve bulut ile terminallerin birlikte çalıştığı hibrit bir yapay zeka geliştirme rotası oluşturdu. tasarım. Bu rota seçimi, Qualcomm'un terminal tarafı yapay zeka ve üretken yapay zeka teknolojisi yetenekleri konusundaki öngörüsünü ve liderliğini daha da yansıtıyor.
Terminal tarafındaki üretken yapay zekayı bir adım öne çıkarın
Hibrit yapay zeka olarak adlandırılan yapay zeka temel olarak iki şekilde çalışır: Birincisi, bazı senaryolarda bilgi işlem esas olarak terminale odaklanır ve gerektiğinde görevleri buluta aktarır. İkincisi, bulut merkezli bir senaryoda, terminaller mümkün olduğunda bulutun iş yükünün bir kısmını kendi yeteneklerine göre paylaşırlar. Bulut ve terminalin her biri kendi işlevlerini yerine getirir ve birbirlerine yardımcı olur.
Yalnızca bulutla karşılaştırıldığında hibrit yapay zekanın en büyük faydası, yapay zeka iş yüklerini farklı senaryolarda ve zamanlarda daha verimli bir şekilde tahsis etmek ve koordine etmek, kaynak kullanım verimliliğini artırmak ve işletme maliyetlerini azaltmaktır.
Qualcomm'un hibrit yapay zeka düzeninde, ister terminal merkezli, ister terminal algısına dayalı olsun, isterse terminal ve bulut işbirliğine dayalı işleme olsun, terminal tarafındaki yapay zeka yeteneklerinin, hibrit yapay zekayı güçlendirmenin ve üretken yapay zekanın küresel ölçekte genişlemeye ulaşmasını sağlamanın anahtarı olduğu vurgulanıyor . . Özellikle üretken yapay zeka için hibrit yapay zeka, tıpkı cep telefonlarındaki ChatGPT gibi, üretken yapay zeka uygulamalarını desteklemek için terminal tarafındaki bilgi işlem gücünden tam olarak yararlanmak anlamına gelir.
Bununla birlikte, büyük üretken yapay zeka modellerini terminallerde başarılı bir şekilde dağıtmak ve çalıştırmak, söylenenden daha kolaydır.Uygulamanın ön koşulu, terminal tarafında güçlü yapay zeka yetenekleridir. Yukarı yönde bir çip üreticisi olarak Qualcomm, terminal tarafı yapay zeka alanında her zaman lider olmuştur. Çiplerden yazılıma, algoritmalara ve ekosisteme kadar tam kapsamlı bir yapay zeka optimizasyonu oluşturmuştur, böylece ne yazılım ne de donanım engellenmez ve terminal tarafı yapay zeka tarafından engellenmez. Yapay zeka çıkarım hızlandırması elde edilebilir.
Qualcomm tam yığın yapay zeka optimizasyonu
Her şeyden önce, donanım çipi düzeyinde, daha önceki amiral gemisi platformu Snapdragon 888 ve birinci nesil Snapdragon 8'den, geçtiğimiz yıl piyasaya sürülen üst düzey ikinci nesil Snapdragon 7 ve amiral gemisi ikinci nesil Snapdragon 8'e kadar yapay zeka yetenekleri devam ediyor Geliştirmeyle birlikte terminal tarafındaki yapay zeka yetenekleri de buna göre geliştirilecek. Bunlar arasında, sürekli olarak güncellenen Qualcomm AI Motoru (şu anda sekizinci nesil) önemli bir rol oynamaktadır.Hexagon işlemcisi, Qualcomm Adreno GPU ve Qualcomm Kryo CPU, terminal tarafında AI uygulamalarını verimli bir şekilde çalıştırmak ve terminal tarafındaki AI kullanıcılarını optimize etmek için tasarlanmıştır. heterojen hesaplama yöntemleri aracılığıyla deneyim.
Bu yılın ekim ayında piyasaya sürülecek üçüncü nesil Snapdragon 8'in yapay zeka hesaplama gücünün daha da geliştirilmesi bekleniyor.Ne tür terminal tarafı yapay zeka işlevlerini destekleyebileceği konusunda daha da heyecanlıyız.
Sürekli donanım hızlandırmanın yanı sıra, terminal tarafındaki yapay zeka için en büyük zorluk yazılımda yatmaktadır: Çeşitli sinirsel işleme modellerinin çalıştırılabilmesini ve hesaplamaların yeterince hızlı ve verimli olmasını sağlamalıdır. Qualcomm AI yazılım yığını, geliştiricilerin donanım üzerinde AI uygulamalarını daha verimli bir şekilde oluşturmasına, optimize etmesine ve dağıtmasına yardımcı olarak tek seferlik geliştirme ve uygulamaların çoklu dağıtımı etkisini elde etmesine yardımcı olur. Aşağıdaki şekilde görebileceğiniz gibi, bu yazılım yığını, desteklenen yapay zeka çerçeveleri, çıkarım yazılımı geliştirme kitleri, geliştirici kitaplıkları ve hizmetleri, sistem yazılımı ve işletim sistemleri dahil olmak üzere birden fazla düzeyde geliştirme verimliliğini artırır.
Qualcomm AI yazılım yığını
Ayrıca algoritma ve model geliştirme açısından doğruluktan ödün vermeden verimliliği artırmayı taahhüt etmektedir.Bu konuda Q-SRNet modelini temel alan algoritmalar, INT4 nicemleme çözümleri vb. bulunmaktadır. Örneğin, Snapdragon 8 Gen2, ilk kez INT4 AI hassas formatını destekliyor ve bu da INT8'e kıyasla enerji verimliliğinde %60, yapay zeka çıkarım performansında ise %90 iyileşme sağlıyor.
Qualcomm ayrıca ekolojik düzeyde çaba göstermeye devam ediyor ve cep telefonlarındaki teknik avantajları otomobiller, PC'ler, XR ve Nesnelerin İnterneti gibi diğer terminallere genişletilebilir. Aynı zamanda Qualcomm, çeşitli alanlara dağıtılan IP ve teknolojiye dayanarak, PC alanı ve Microsoft, XR alanı ve Meta gibi birden fazla ekosistem arasında derinlemesine iş birliği yürütebiliyor ve hızlı bir şekilde büyük ölçekli genişlemeyi gerçekleştirebiliyor. iyi ekolojik işbirliği.
Qualcomm'un güçlü ve kapsamlı terminal tarafı yapay zeka yeteneklerinin, özellikle üretken yapay zeka modeli mimarisindeki potansiyel değişikliklerle başa çıkabilen yapay zeka donanım hızlandırma mimarisi ve yazılım yığınının, terminal tarafı yapay zeka akıl yürütme ve geliştirme konusunda yol gösterdiği söylenebilir. Üretken yapay zekanın terminallere yayılması için sağlam bir temel attı.Teknik temel, üretken yapay zeka uygulamalarının cep telefonları gibi terminal cihazlarda çalışmasını mümkün kılıyor. Qualcomm aynı zamanda üretken yapay zekayı keşfetme konusunda da ileriye dönük bir yaklaşım sergiliyor.
Üretken yapay zeka modellerinin sıkıştırma yöntemine ilişkin ilk araştırmalardan, 100 milyon parametrenin altındaki model boyutunu kontrol etmek amacıyla video ve ses codec'leri oluşturmak için VAE'nin kullanılmasından, cep telefonu iletişim verimliliğini artırmak için kablosuz alandaki kanal modellerinin yerine üretken yapay zekanın kullanılmasına kadar, Qualcomm her zaman üretken yapay zekayı geliştirmeyi hedefledi.
Elbette sonuçlar da çok önemli.Son altı ayda Qualcomm'un cep telefonlarında büyük üretken yapay zeka modelleri çalıştırdığına dair haberler, 1 milyar parametreli Vincent grafik modeli Stable Diffusion ve 1,5 milyar parametreli Vincent grafik modelinin çalıştırılması da dahil olmak üzere hararetli tartışmaları tetikledi. görüntü oluşturma görüntü modeli ControlNet.Bekle. Qualcomm, mobil cihazlarda yapay zeka boyama yeteneklerini göstermenin yanı sıra, üretken yapay zeka yeteneklerinin dijital insanlar gibi diğer teknik yönlere genişletilmesini de araştırıyor.
*Cep telefonundaki ControlNet, oluşturmayı 12 saniye içinde tamamlar. *
Gelecekte, Qualcomm'un birikmiş cep telefonu işletim deneyimine ve SoC çip hesaplama gücünün daha da geliştirilmesine dayanarak, daha fazla parametre modelinin terminal işletimi çok yakında. Qualcomm ürün yönetiminden sorumlu kıdemli başkan yardımcısı ve yapay zeka başkanı Ziad Asghar, bir röportajda 10 milyar parametreyi destekleyebilen üretken yapay zeka modellerinin bu yıl cep telefonlarında çalıştırılacağını söyledi. Ayrıca gelecek yıl Llama 2'nin mobil versiyonunun piyasaya sürülmesi için Meta ile iş birliği yapacak. Bunlar, üretken yapay zekanın geleceğini daha umut verici hale getiriyor.
Bize göre, terminal tarafındaki yapay zekanın en büyük önemi, büyük üretken yapay zeka modellerini herkesin elinde sergilemesidir; bu, üretken yapay zekanın büyük ölçekli genişlemesi ve yaygınlaşması için daha faydalıdır ve aynı zamanda iş faydaları da yaratabilir. Üretken yapay zeka resmini örnek alırsak, bir süre önce WeChat Moments'ta popüler hale gelen Miaoya Kamera gibi olabilirse, üretken yapay zekanın cep telefonlarında çalıştırılması ölçülemez trafik etkileri yaratacaktır.
Bununla birlikte, Qualcomm'un üretken yapay zeka düzeni kesinlikle geçici trafik etkisi için değil, cep telefonları, mobil bilgisayarlar, XR giyilebilir cihazlar, akıllı evler, arabalar ve üretken yapay zeka uygulamalarının diğer olası taşıyıcılarının yardımıyla daha yakın bir şekilde kullanılmaktadır. daha fazla kişinin yeni yapay zeka deneyiminden hızlı ve rahat bir şekilde yararlanmasına olanak tanıyor. Teknik incelemenin kapağında da belirtildiği gibi, "Yapay Zekayı ulaşılabilir kılmak." Qualcomm bunu artık çok uzakta yapmıyor.
Çözüm
ChatGPT'den bu yana üretken yapay zeka durdurulamaz bir gelişme trendi haline geldi. Hayatımıza getireceği büyük kolaylıklar göz önüne alındığında, üretken yapay zekanın yaygınlaşmasının hızlandırılması şart.Neyse ki Qualcomm bunun temelini attı. Qualcomm'un 15 yılı aşkın bir süredir özellikle mobil bilgi işlem alanında yapay zeka alanında derin bir şekilde yer aldığını ve derin bir teknik liderlik oluşturduğunu öğrendik. Şu anda dünya çapında Snapdragon ve Qualcomm platformlarıyla donatılmış milyarlarca akıllı terminal cihazı bulunuyor ve bu cihazlar, terminal tarafındaki yapay zeka deneme yanılma yeteneklerini ve üretken yapay zeka uygulama potansiyelini benzersiz boyutlara taşıyor.
Aynı zamanda, terminal tarafında yapay zekanın güçlendirilmesini daha geniş ve derin hale getirerek ve üretken yapay zekayı daha fazla alana ve senaryoya genişleterek, sıradan kullanıcılara yalnızca daha çeşitli, eğlenceli ve kullanışlı bir yapay zeka deneyimi sunmakla kalmaz, aynı zamanda daha fazlasını da yaratabilir. akıllı terminal ekosistemi ortakları için pazar fırsatları yaratacak ve değerini gerçekten açığa çıkaracak.
Qualcomm için terminal tarafındaki üretken yapay zekanın geniş kapsamlı bir önemi var. Çin Hizmet Ticaret Fuarı Dijital Ticaret Geliştirme Trendleri ve Sınır Zirvesi Forumu'nda Qualcomm Çin Başkanı Meng Pu, 5G, yapay zeka ve İnternet gibi teknolojileri ortaklaşa keşfetmek için küresel ekosistemle yakın iş birliğini vurgulayan bir açılış konuşması yaptı. Yepyeni mobil uygulamalar ve deneyimler. Şu anda ön planda olan üretken bir yapay zeka teknolojisi olarak gücü, miktarı ve zorluğu, bunların başarılı bir şekilde gerçekleştirilip gerçekleştirilemeyeceğini büyük ölçüde belirleyecektir.
Üretken yapay zekanın terminal tarafında çalışması zorunludur ve Qualcomm gibi ekolojik ve kullanıcıyı etkinleştiren şirketler de güçleriyle öne çıkacak.
Referans bağlantısı:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Kullanıcılara daha yakın olan bu terminal tarafındaki devrim, üretken yapay zekayı demokratikleştirmenin anahtarıdır.
Orijinal kaynak: Heart of the Machine
Bugün, OpenAI'nin ChatGPT'yi yayınlamasının üzerinden yaklaşık 10 ay geçti ve bunun tetiklediği üretken yapay zeka dalgası, sıradan insanların yapay zekanın cazibesini "daha yakından" hissetmesini sağladı. İster büyük modellerle desteklenen sohbet tarzı gerçek zamanlı bir arama motoru olsun, ister metin girerek resimler oluşturan bir boyama aracı olsun, üretken yapay zeka yavaş yavaş insanların günlük çalışmalarına, eğlencelerine ve yaratıcı alışkanlıklarına girdi ve ustaca değiştirdi.
Büyük modeller ve üretken yapay zekanın yanı sıra, cep telefonu ve çip üreticileri büyük bir tantanayla "cihaz tarafında bir devrim" gerçekleştiriyor. Bu yılın mayıs ayında Google, mobil cihazlarda çalışabilen hafif bir Gecko sürümü de dahil olmak üzere geniş dil modeli PaLM 2'yi piyasaya sürdü. Yine Mayıs ayında Qualcomm, "Hibrit Yapay Zeka Yapay Zekanın Geleceğidir" adlı teknik incelemeyi yayınladı. Ağustos ayında Xiaomi Lei Jun, büyük modelleri tamamen benimsediğini duyurdu ve başlangıçta cep telefonunda 1,3 milyar parametreli büyük modeli başarıyla çalıştırdı.Xiao Ai ayrıca büyük model yeteneklerinde de bir yükseltme aldı.
Büyük üreticilerin büyük genel ve üretken yapay zeka modellerini terminallere, özellikle de cep telefonlarına koymak için neden acele ettiğini sormadan edemiyoruz. Akıllı telefonlar, PC'ler, XR ve arabalar gibi akıllı terminal ürünlerinin, başta cep telefonları olmak üzere sıradan insanlara en yakın ürünler olduğunu biliyor ve bunlara her geçen gün daha fazla vakit ayırıyoruz. Nisan 2023'te pazar araştırma kuruluşu Electronics Hub, bazı ülkelerdeki kullanıcıların günde 7 saatten fazla cep telefonu ekranlarına baktığını gösteren bir rapor yayınladı. Cep telefonları yavaş yavaş akıllı yaşamın çekirdeğine dönüşüyor ve terminal tarafındaki üretken yapay zekanın gelişimi için bir "yatak" hazırlıyor.
Bununla birlikte, üretken yapay zeka büyük modellerinin terminal tarafına mevcut eğilimi bir gecede gerçekleşmedi. Dağıtım yöntemi, buluttan terminal-bulut işbirliğine doğru bir dönüşüm geçiriyor.
Terminal ve bulut tabanlı üretken yapay zekanın el ele gitmesi eğilimi giderek daha belirgin hale geliyor
Büyük üretken yapay zeka modellerinin parametrelerinin genellikle milyarlarca, yüzler ve hatta yüz milyarlarca olduğunu biliyoruz; bu da model eğitimi optimizasyonu ve yürütme çıkarımı açısından altyapıya son derece yüksek gereksinimler getiriyor. Başlangıçta, bu kadar büyük yapay zeka bilgi işlem gücünü yalnızca bulut sağlayabilirdi, bu nedenle üreticiler genellikle kendi büyük modellerini bulutta dağıtmayı ve çalıştırmayı tercih ediyordu.
Örnek olarak ChatGPT'yi ele alırsak, eğitimi ve işletimi büyük miktarda veri depolama ve bilgi işlem kaynağı gerektirir ve büyük kullanıcı talepleri, güçlü bir bulut hizmeti platformu gerektiren yüksek bilgi işlem gücü maliyetleri oluşturur. Kullanıcılar, Microsoft Azure OpenAI bulut hizmeti aracılığıyla ChatGPT'ye ve diğer üretken AI ürünlerine (CodeX gibi) erişebilir. Bir başka büyük bulut hizmet sağlayıcısı olan Amazon da benzer bir üretken yapay zeka bulut barındırma hizmetini başlattı.Kullanıcılar, API'ler aracılığıyla AI21Labs, Anthropic ve Stability AI gibi startup'ların önceden eğitilmiş temel modellerine erişebilirler.
Açıkçası, bulut hizmeti platformları, dünyayı kasıp kavuran bu üretken yapay zeka teknolojisi dalgasını hızlandırdı ve büyük model üreticilerine model eğitimi ve çıkarım için gerekli bilgi işlem gücü desteğini sağladı. Ancak büyük model bulut çıkarımı yüksek maliyetler gerektirir ve artan kullanıcı sayısı ve kullanım talepleri ile birlikte maliyet de giderek artmaktadır. Sonuç olarak sürekli artan işletme maliyetleri karşısında üreticilerin bulut dışında başka bir yol bulması gerekiyor.
Zaman geçtikçe, bir yandan büyük model sıkıştırma teknolojileri (kuantalama, ağ budama ve bilgi damıtma gibi) giderek daha yaygın ve etkili hale gelirken, diğer yandan cep telefonları, PC'ler, XR gibi akıllı terminal cihazları da yaygınlaşıyor. ve otomobiller yapay zekaya sahip Bilgi işlem gücü artmaya devam ediyor ve üretken yapay zekanın terminallere dağıtılmasına yönelik teknik koşullar hızla olgunlaşıyor. Terminaller ve bulutların el ele gitme eğilimi giderek daha belirgin hale geliyor.
Ek olarak, bulutla karşılaştırıldığında üretken yapay zekanın terminal tarafında dağıtılması ve çalıştırılmasının maliyet, güvenlik, gizlilik ve güvenilir operasyon açısından da avantajları vardır.
Birincisi maliyet avantajıdır. Daha önce medya, OpenAI'nin ChatGPT'yi çalışır durumda tutmak için günde yaklaşık 700.000 ABD doları harcadığını bildirmişti; bu da ChatGPT'ye yaklaşık 200 milyon ABD dolarının harcanmış olabileceği anlamına geliyor. Bu kadar yüksek bir maliyet, OpenAI'nin bile kaldıramayacağı kadar yüksek, bu da bırakın kar etmeyi, başabaş noktasını bile zorlaştırıyor. Terminal tarafı farklıdır.Maliyet büyük ölçüde azalır.Sıkıştırılmış hafif model dağıtımının, bant genişliği, enerji tüketimi ve ağ iletimi gibi diğer konuları dikkate almadan yalnızca donanım maliyetini ödemesi gerekir.
İkinci olarak, üretken yapay zekanın terminal tarafında çalıştırılması, buluttaki potansiyel bilgi sızıntısı riskinden farklı olarak özel verileri daha büyük bir güvenle koruyabilir. Bu asılsız değil.Bu yılın nisan ayında, yarı iletken departmanındaki çalışanların ChatGPT kullanırken buluta veri yüklediği, bunun sonucunda gizli verilerin sızdırıldığı ortaya çıktı ve ardından yasağı duyurdu. Terminal işlemi metin, resim, video ve diğer bilgilerin buluta yüklenmesini gerektirmez, bu da bu riski ortadan kaldırır ve gizliliğin sızdırılmamasını ve güvenliğin artırılmasını sağlar.
Düşük gecikme süresi de terminal tarafında büyük bir avantajdır. Sonuçların geri döndürülebilmesi için bulutun verileri işlenmek üzere buluta iletmesi gerekir.İşlem sırasında ağ iletimi kaçınılmaz olarak gecikmelere neden olacaktır. Terminal tarafının bulut sunucusuna veya veri merkezine bilgi yüklemesine gerek kalmaz, yanıt hızı artar ve gecikme azalır. Aynı zamanda yerel operasyon daha güvenilirdir ve bazen çevrimdışı çalıştırılabilir, bu da bulut hizmetlerine ve ağ bağlantılarına olan bağımlılığı bir ölçüde azaltır.
Terminal tarafında ayrıca buluttan daha zengin uygulama senaryoları ve durumsal bilgiler bulunur ve bu da daha kişiselleştirilmiş etkileşim ve deneyim sağlar. Kullanıcılar, farklı uygulama senaryoları veya aynı senaryodaki farklı ihtiyaçlar için model parametrelerine ve işlevlerine ince ayar yapabilir ve özelleştirebilir; bu da onlara tam esneklik sağlar.
Bu avantajlarla birlikte, üretken yapay zekanın terminal tarafında konuşlandırılmasının yolu giderek daha net hale geliyor ve giderek bulut kadar önemli bir konuma yerleştiriliyor. Qualcomm Küresel Başkan Yardımcısı Hou Mingjuan'ın "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" adlı teknik incelemenin çevrimdışı basın toplantısında söylediği gibi, "Terminal tarafındaki yapay zeka, hibrit yapay zeka mimarisini gerçekleştirmenin ve üretken yapay zekayı daha geniş bir yelpazeye yaymanın anahtarıdır." dünya."
Qualcomm öyle dedi ve yaptı. Üretken yapay zekayla ilgili bu terminal tarafındaki devrimde Qualcomm, kornayı çalmada liderliği ele geçirdi ve terminal tarafındaki yapay zeka devriminin temel destekçilerinden biri haline geldi ve bulut ile terminallerin birlikte çalıştığı hibrit bir yapay zeka geliştirme rotası oluşturdu. tasarım. Bu rota seçimi, Qualcomm'un terminal tarafı yapay zeka ve üretken yapay zeka teknolojisi yetenekleri konusundaki öngörüsünü ve liderliğini daha da yansıtıyor.
Terminal tarafındaki üretken yapay zekayı bir adım öne çıkarın
Hibrit yapay zeka olarak adlandırılan yapay zeka temel olarak iki şekilde çalışır: Birincisi, bazı senaryolarda bilgi işlem esas olarak terminale odaklanır ve gerektiğinde görevleri buluta aktarır. İkincisi, bulut merkezli bir senaryoda, terminaller mümkün olduğunda bulutun iş yükünün bir kısmını kendi yeteneklerine göre paylaşırlar. Bulut ve terminalin her biri kendi işlevlerini yerine getirir ve birbirlerine yardımcı olur.
Yalnızca bulutla karşılaştırıldığında hibrit yapay zekanın en büyük faydası, yapay zeka iş yüklerini farklı senaryolarda ve zamanlarda daha verimli bir şekilde tahsis etmek ve koordine etmek, kaynak kullanım verimliliğini artırmak ve işletme maliyetlerini azaltmaktır.
Qualcomm'un hibrit yapay zeka düzeninde, ister terminal merkezli, ister terminal algısına dayalı olsun, isterse terminal ve bulut işbirliğine dayalı işleme olsun, terminal tarafındaki yapay zeka yeteneklerinin, hibrit yapay zekayı güçlendirmenin ve üretken yapay zekanın küresel ölçekte genişlemeye ulaşmasını sağlamanın anahtarı olduğu vurgulanıyor . . Özellikle üretken yapay zeka için hibrit yapay zeka, tıpkı cep telefonlarındaki ChatGPT gibi, üretken yapay zeka uygulamalarını desteklemek için terminal tarafındaki bilgi işlem gücünden tam olarak yararlanmak anlamına gelir.
Bununla birlikte, büyük üretken yapay zeka modellerini terminallerde başarılı bir şekilde dağıtmak ve çalıştırmak, söylenenden daha kolaydır.Uygulamanın ön koşulu, terminal tarafında güçlü yapay zeka yetenekleridir. Yukarı yönde bir çip üreticisi olarak Qualcomm, terminal tarafı yapay zeka alanında her zaman lider olmuştur. Çiplerden yazılıma, algoritmalara ve ekosisteme kadar tam kapsamlı bir yapay zeka optimizasyonu oluşturmuştur, böylece ne yazılım ne de donanım engellenmez ve terminal tarafı yapay zeka tarafından engellenmez. Yapay zeka çıkarım hızlandırması elde edilebilir.
Her şeyden önce, donanım çipi düzeyinde, daha önceki amiral gemisi platformu Snapdragon 888 ve birinci nesil Snapdragon 8'den, geçtiğimiz yıl piyasaya sürülen üst düzey ikinci nesil Snapdragon 7 ve amiral gemisi ikinci nesil Snapdragon 8'e kadar yapay zeka yetenekleri devam ediyor Geliştirmeyle birlikte terminal tarafındaki yapay zeka yetenekleri de buna göre geliştirilecek. Bunlar arasında, sürekli olarak güncellenen Qualcomm AI Motoru (şu anda sekizinci nesil) önemli bir rol oynamaktadır.Hexagon işlemcisi, Qualcomm Adreno GPU ve Qualcomm Kryo CPU, terminal tarafında AI uygulamalarını verimli bir şekilde çalıştırmak ve terminal tarafındaki AI kullanıcılarını optimize etmek için tasarlanmıştır. heterojen hesaplama yöntemleri aracılığıyla deneyim.
Bu yılın ekim ayında piyasaya sürülecek üçüncü nesil Snapdragon 8'in yapay zeka hesaplama gücünün daha da geliştirilmesi bekleniyor.Ne tür terminal tarafı yapay zeka işlevlerini destekleyebileceği konusunda daha da heyecanlıyız.
Sürekli donanım hızlandırmanın yanı sıra, terminal tarafındaki yapay zeka için en büyük zorluk yazılımda yatmaktadır: Çeşitli sinirsel işleme modellerinin çalıştırılabilmesini ve hesaplamaların yeterince hızlı ve verimli olmasını sağlamalıdır. Qualcomm AI yazılım yığını, geliştiricilerin donanım üzerinde AI uygulamalarını daha verimli bir şekilde oluşturmasına, optimize etmesine ve dağıtmasına yardımcı olarak tek seferlik geliştirme ve uygulamaların çoklu dağıtımı etkisini elde etmesine yardımcı olur. Aşağıdaki şekilde görebileceğiniz gibi, bu yazılım yığını, desteklenen yapay zeka çerçeveleri, çıkarım yazılımı geliştirme kitleri, geliştirici kitaplıkları ve hizmetleri, sistem yazılımı ve işletim sistemleri dahil olmak üzere birden fazla düzeyde geliştirme verimliliğini artırır.
Ayrıca algoritma ve model geliştirme açısından doğruluktan ödün vermeden verimliliği artırmayı taahhüt etmektedir.Bu konuda Q-SRNet modelini temel alan algoritmalar, INT4 nicemleme çözümleri vb. bulunmaktadır. Örneğin, Snapdragon 8 Gen2, ilk kez INT4 AI hassas formatını destekliyor ve bu da INT8'e kıyasla enerji verimliliğinde %60, yapay zeka çıkarım performansında ise %90 iyileşme sağlıyor.
Qualcomm ayrıca ekolojik düzeyde çaba göstermeye devam ediyor ve cep telefonlarındaki teknik avantajları otomobiller, PC'ler, XR ve Nesnelerin İnterneti gibi diğer terminallere genişletilebilir. Aynı zamanda Qualcomm, çeşitli alanlara dağıtılan IP ve teknolojiye dayanarak, PC alanı ve Microsoft, XR alanı ve Meta gibi birden fazla ekosistem arasında derinlemesine iş birliği yürütebiliyor ve hızlı bir şekilde büyük ölçekli genişlemeyi gerçekleştirebiliyor. iyi ekolojik işbirliği.
Qualcomm'un güçlü ve kapsamlı terminal tarafı yapay zeka yeteneklerinin, özellikle üretken yapay zeka modeli mimarisindeki potansiyel değişikliklerle başa çıkabilen yapay zeka donanım hızlandırma mimarisi ve yazılım yığınının, terminal tarafı yapay zeka akıl yürütme ve geliştirme konusunda yol gösterdiği söylenebilir. Üretken yapay zekanın terminallere yayılması için sağlam bir temel attı.Teknik temel, üretken yapay zeka uygulamalarının cep telefonları gibi terminal cihazlarda çalışmasını mümkün kılıyor. Qualcomm aynı zamanda üretken yapay zekayı keşfetme konusunda da ileriye dönük bir yaklaşım sergiliyor.
Üretken yapay zeka modellerinin sıkıştırma yöntemine ilişkin ilk araştırmalardan, 100 milyon parametrenin altındaki model boyutunu kontrol etmek amacıyla video ve ses codec'leri oluşturmak için VAE'nin kullanılmasından, cep telefonu iletişim verimliliğini artırmak için kablosuz alandaki kanal modellerinin yerine üretken yapay zekanın kullanılmasına kadar, Qualcomm her zaman üretken yapay zekayı geliştirmeyi hedefledi.
Elbette sonuçlar da çok önemli.Son altı ayda Qualcomm'un cep telefonlarında büyük üretken yapay zeka modelleri çalıştırdığına dair haberler, 1 milyar parametreli Vincent grafik modeli Stable Diffusion ve 1,5 milyar parametreli Vincent grafik modelinin çalıştırılması da dahil olmak üzere hararetli tartışmaları tetikledi. görüntü oluşturma görüntü modeli ControlNet.Bekle. Qualcomm, mobil cihazlarda yapay zeka boyama yeteneklerini göstermenin yanı sıra, üretken yapay zeka yeteneklerinin dijital insanlar gibi diğer teknik yönlere genişletilmesini de araştırıyor.
Gelecekte, Qualcomm'un birikmiş cep telefonu işletim deneyimine ve SoC çip hesaplama gücünün daha da geliştirilmesine dayanarak, daha fazla parametre modelinin terminal işletimi çok yakında. Qualcomm ürün yönetiminden sorumlu kıdemli başkan yardımcısı ve yapay zeka başkanı Ziad Asghar, bir röportajda 10 milyar parametreyi destekleyebilen üretken yapay zeka modellerinin bu yıl cep telefonlarında çalıştırılacağını söyledi. Ayrıca gelecek yıl Llama 2'nin mobil versiyonunun piyasaya sürülmesi için Meta ile iş birliği yapacak. Bunlar, üretken yapay zekanın geleceğini daha umut verici hale getiriyor.
Bize göre, terminal tarafındaki yapay zekanın en büyük önemi, büyük üretken yapay zeka modellerini herkesin elinde sergilemesidir; bu, üretken yapay zekanın büyük ölçekli genişlemesi ve yaygınlaşması için daha faydalıdır ve aynı zamanda iş faydaları da yaratabilir. Üretken yapay zeka resmini örnek alırsak, bir süre önce WeChat Moments'ta popüler hale gelen Miaoya Kamera gibi olabilirse, üretken yapay zekanın cep telefonlarında çalıştırılması ölçülemez trafik etkileri yaratacaktır.
Bununla birlikte, Qualcomm'un üretken yapay zeka düzeni kesinlikle geçici trafik etkisi için değil, cep telefonları, mobil bilgisayarlar, XR giyilebilir cihazlar, akıllı evler, arabalar ve üretken yapay zeka uygulamalarının diğer olası taşıyıcılarının yardımıyla daha yakın bir şekilde kullanılmaktadır. daha fazla kişinin yeni yapay zeka deneyiminden hızlı ve rahat bir şekilde yararlanmasına olanak tanıyor. Teknik incelemenin kapağında da belirtildiği gibi, "Yapay Zekayı ulaşılabilir kılmak." Qualcomm bunu artık çok uzakta yapmıyor.
Çözüm
ChatGPT'den bu yana üretken yapay zeka durdurulamaz bir gelişme trendi haline geldi. Hayatımıza getireceği büyük kolaylıklar göz önüne alındığında, üretken yapay zekanın yaygınlaşmasının hızlandırılması şart.Neyse ki Qualcomm bunun temelini attı. Qualcomm'un 15 yılı aşkın bir süredir özellikle mobil bilgi işlem alanında yapay zeka alanında derin bir şekilde yer aldığını ve derin bir teknik liderlik oluşturduğunu öğrendik. Şu anda dünya çapında Snapdragon ve Qualcomm platformlarıyla donatılmış milyarlarca akıllı terminal cihazı bulunuyor ve bu cihazlar, terminal tarafındaki yapay zeka deneme yanılma yeteneklerini ve üretken yapay zeka uygulama potansiyelini benzersiz boyutlara taşıyor.
Aynı zamanda, terminal tarafında yapay zekanın güçlendirilmesini daha geniş ve derin hale getirerek ve üretken yapay zekayı daha fazla alana ve senaryoya genişleterek, sıradan kullanıcılara yalnızca daha çeşitli, eğlenceli ve kullanışlı bir yapay zeka deneyimi sunmakla kalmaz, aynı zamanda daha fazlasını da yaratabilir. akıllı terminal ekosistemi ortakları için pazar fırsatları yaratacak ve değerini gerçekten açığa çıkaracak.
Qualcomm için terminal tarafındaki üretken yapay zekanın geniş kapsamlı bir önemi var. Çin Hizmet Ticaret Fuarı Dijital Ticaret Geliştirme Trendleri ve Sınır Zirvesi Forumu'nda Qualcomm Çin Başkanı Meng Pu, 5G, yapay zeka ve İnternet gibi teknolojileri ortaklaşa keşfetmek için küresel ekosistemle yakın iş birliğini vurgulayan bir açılış konuşması yaptı. Yepyeni mobil uygulamalar ve deneyimler. Şu anda ön planda olan üretken bir yapay zeka teknolojisi olarak gücü, miktarı ve zorluğu, bunların başarılı bir şekilde gerçekleştirilip gerçekleştirilemeyeceğini büyük ölçüde belirleyecektir.
Üretken yapay zekanın terminal tarafında çalışması zorunludur ve Qualcomm gibi ekolojik ve kullanıcıyı etkinleştiren şirketler de güçleriyle öne çıkacak.
Referans bağlantısı: