zkSNARKs aracılığıyla makine öğrenimi (ML) modeli çıkarımının kanıtlanması, bu on yılda akıllı sözleşmelerdeki en önemli gelişmelerden biri olmayı vaat ediyor. Bu gelişme, heyecan verici derecede geniş bir tasarım alanı açarak uygulamaların ve altyapının daha karmaşık ve akıllı sistemlere dönüşmesine olanak tanır.
Makine öğrenimi yetenekleri eklendiğinde, akıllı sözleşmeler daha otonom ve dinamik hale gelebilir ve statik kurallar yerine gerçek zamanlı zincir üstü verilere dayalı kararlar almalarına olanak tanır. Akıllı sözleşmeler esnek olacak ve sözleşme ilk oluşturulduğunda beklenmeyenler de dahil olmak üzere çeşitli senaryoları barındırabilecek. Kısacası makine öğrenimi yetenekleri, zincire koyduğumuz herhangi bir akıllı sözleşmenin otomasyonunu, doğruluğunu, verimliliğini ve esnekliğini artıracaktır.
Makine öğrenimi, web3 dışındaki çoğu uygulamada yaygın olarak kullanılmaktadır ve akıllı sözleşmelerdeki uygulaması neredeyse sıfırdır. Bunun başlıca nedeni, bu modelleri zincir üzerinde çalıştırmanın yüksek hesaplama maliyetidir. Örneğin FastBERT, doğrudan EVM üzerinde çalıştırılamayan yaklaşık 1800 MFLOPS (milyon kayan nokta işlemi) kullanan, hesaplama açısından optimize edilmiş bir dil modelidir.
ML modelinin zincire uygulanması, temel olarak akıl yürütme aşamasına odaklanır: modeli gerçek dünya verilerini tahmin etmek için uygulama. Makine öğrenimi ölçeğinde akıllı sözleşmelere sahip olmak için, sözleşmelerin bu tür tahminleri alabilmesi gerekir, ancak daha önce de belirttiğimiz gibi, modelleri doğrudan EVM üzerinde çalıştırmak mümkün değildir. zkSNARK'lar bize bir çözüm sunuyor: Herkes zincir dışında bir model çalıştırabilir ve beklenen modelin belirli bir sonuç ürettiğine dair kısa ve öz ve doğrulanabilir bir kanıt oluşturabilir. Bu kanıt, zincir üzerinde yayınlanabilir ve zekalarını geliştirmek için akıllı sözleşmeler tarafından alınabilir.
Bu yazıda şunları yapacağız:
Zincir üstü makine öğrenimi için potansiyel uygulamaları ve kullanım durumlarını görün
zkML'nin kalbinde yer alan gelişmekte olan projeleri ve altyapıyı keşfedin
Mevcut uygulamaların bazı zorluklarını ve zkML'nin geleceğinin nasıl görünebileceğini tartışın
Makine Öğrenimine (ML) Giriş
Makine öğrenimi (ML), bilgisayarların verilerden öğrenmesini ve tahminler veya kararlar almasını sağlayan algoritmalar ve istatistiksel modeller geliştirmeye odaklanan yapay zekanın (AI) bir alt alanıdır. Makine öğrenimi modellerinin tipik olarak üç ana bileşeni vardır:
Eğitim verileri: Tahminler yapmak veya yeni verileri sınıflandırmak üzere bir makine öğrenimi algoritmasını eğitmek için kullanılan bir dizi girdi verisi. Eğitim verileri, resimler, metin, ses, sayısal veriler veya bunların kombinasyonları gibi birçok biçimde olabilir.
Model Mimarisi: Bir makine öğrenimi modelinin genel yapısı veya tasarımı. Hiyerarşiyi, aktivasyon fonksiyonlarını ve düğümler veya nöronlar arasındaki bağlantıların tipini ve sayısını tanımlar. Mimari seçimi, belirli soruna ve kullanılan verilere bağlıdır.
Model parametreleri: Modelin tahmin yapmak için eğitim sırasında öğrendiği değerler veya ağırlıklar. Bu değerler, tahmin edilen ve gerçek sonuçlar arasındaki hatayı en aza indirmek için bir optimizasyon algoritması tarafından yinelemeli olarak ayarlanır.
Modelin oluşturulması ve devreye alınması iki aşamaya ayrılmıştır:
Eğitim aşaması: Eğitim aşamasında, model etiketli bir veri kümesine maruz bırakılır ve tahmin edilen sonuçlar ile gerçek sonuçlar arasındaki hatayı en aza indirmek için parametrelerini ayarlar. Eğitim süreci genellikle birden fazla yineleme veya döngü içerir ve modelin doğruluğu ayrı bir doğrulama setinde değerlendirilir.
Çıkarım aşaması: Çıkarım aşaması, yeni görünmeyen veriler üzerinde tahminler yapmak için eğitilmiş makine öğrenimi modelinin kullanıldığı aşamadır. Bir model girdi verilerini alır ve bir sınıflandırma veya regresyon tahmini gibi bir çıktı oluşturmak için öğrenilen parametreleri uygular.
Şu anda zkML, temel olarak doğrulama devrelerindeki eğitimin hesaplama karmaşıklığı nedeniyle, eğitim aşamasından ziyade makine öğrenimi modellerinin çıkarım aşamasına odaklanmaktadır. Ancak, zkML'nin çıkarıma odaklanması bir sınırlama değildir: bazı çok ilginç kullanım durumlarını ve uygulamaları tahmin ediyoruz.
Doğrulanmış çıkarım senaryoları
Muhakemeyi doğrulamak için dört olası senaryo vardır:
Özel girdi, genel model. Model Tüketiciler (MC), girdilerini Model Sağlayıcılardan (MP) gizli tutmak isteyebilir. Örneğin, bir MC, kredi verenlere kişisel finansal bilgilerini ifşa etmeden bir kredi puanlama modelinin sonuçlarını onaylamak isteyebilir. Bu, bir ön taahhüt şeması kullanılarak ve modeli yerel olarak çalıştırarak yapılabilir.
Kamu girişi, özel model. Hizmet olarak ML ile ilgili yaygın bir sorun, bir MP'nin IP'sini korumak için parametrelerini veya ağırlıklarını gizlemek isteyebilmesi, bir MC'nin ise oluşturulan çıkarımların gerçekten de rakip bir ortamda belirtilen modelden olduğunu doğrulamak istemesidir. şu şekilde: MC'ye bir çıkarım sağlarken , MP'nin paradan tasarruf etmek için daha hafif bir model çalıştırma teşviki vardır. Zincir üstü model ağırlıklarının vaadini kullanan MC'ler, özel modelleri istedikleri zaman denetleyebilir.
Özel giriş, özel model. Bu, çıkarım için kullanılan veriler çok hassas veya gizli olduğunda ve IP'yi korumak için modelin kendisi gizlendiğinde ortaya çıkar. Bunun bir örneği, özel hasta bilgilerini kullanarak sağlık hizmeti modellerinin denetlenmesini içerebilir. Bu senaryoya hizmet etmek için çok taraflı hesaplama (MPC) veya FHE kullanan zk veya değişkenlerdeki kompozisyon teknikleri kullanılabilir.
Kamu girdisi, genel model. Modelin tüm yönleri halka açık hale getirilebilse de, zkML farklı bir kullanım durumunu ele alır: zincir dışı hesaplamaları zincir üstü ortamlara sıkıştırmak ve doğrulamak. Daha büyük modeller için, modeli kendiniz yeniden çalıştırmaktansa, çıkarımın özlü zk'sini doğrulamak daha uygun maliyetlidir.
Doğrulanmış makine öğrenimi muhakemesi, akıllı sözleşmeler için yeni tasarım alanları açar. Bazı kripto-yerel uygulamalar şunları içerir:
1、DeFi
Doğrulanabilir zincir dışı makine öğrenimi oracle'ları. Üretken yapay zekanın sürekli olarak benimsenmesi, sektörü içeriği için imza şemaları uygulamaya yönlendirebilir (örneğin, makaleleri veya resimleri imzalayan haber yayınları). İmzalanmış veriler, sıfır bilgi kanıtları için hazırdır ve verileri birleştirilebilir ve güvenilir hale getirir. Makine öğrenimi modelleri, tahminler ve sınıflandırmalar yapmak için (örneğin, seçim sonuçlarını veya hava olaylarını sınıflandırmak) bu imzalı verileri zincir dışında işleyebilir. Bu zincir dışı makine öğrenimi oracle'ları, akıl yürütmeyi doğrulayarak ve zincir üzerinde kanıtlar yayınlayarak gerçek dünya tahmin pazarlarını, sigorta protokolü sözleşmelerini vb. güvenle çözebilir.
Makine öğrenimi parametrelerine dayalı DeFi uygulamaları. DeFi'nin birçok yönü daha otomatik hale getirilebilir. Örneğin, borç verme protokolleri, parametreleri gerçek zamanlı olarak güncellemek için makine öğrenimi modellerini kullanabilir. Şu anda, borç verme protokolleri, teminat faktörlerini, kredi-değer oranlarını, tasfiye eşiklerini vb. belirlemek için çoğunlukla kuruluşlar tarafından yürütülen zincir dışı modellere dayanmaktadır, ancak daha iyi bir seçenek, herkesin çalıştırabileceği, topluluk tarafından eğitilmiş bir açık kaynak modeli olabilir. ve doğrulayın.
Otomatik ticaret stratejileri. Bir finansal model stratejisinin getiri özelliklerini göstermenin yaygın bir yolu, milletvekillerinin yatırımcılara çeşitli geriye dönük test verileri sağlamasıdır. Ancak, bir ticaret gerçekleştirirken stratejistin modeli izlediğini doğrulamanın bir yolu yoktur - yatırımcı, stratejistin gerçekten de modeli izlediğine güvenmelidir. zkML, MP'nin belirli pozisyonlara dağıtıldığında finansal model muhakemesi kanıtları sağlayabileceği bir çözüm sunar. Bu, özellikle DeFi tarafından yönetilen kasalar için yararlı olabilir.
2. Güvenlik
Akıllı sözleşmeler için dolandırıcılık izleme. Yavaş insan yönetiminin veya merkezi aktörlerin sözleşmeleri askıya alma yeteneğini kontrol etmesine izin vermek yerine, olası kötü niyetli davranışları tespit etmek ve sözleşmeleri askıya almak için makine öğrenimi modelleri kullanılabilir.
3. Geleneksel Makine Öğrenimi
Merkezi olmayan, güvenilir bir Kaggle uygulaması. MC'lerin veya diğer ilgili tarafların, MP'lerin model ağırlıklarını ifşa etmesini gerektirmeden modellerin doğruluğunu doğrulamasına izin veren bir protokol veya pazar oluşturulabilir. Bu, model satmak, model doğruluğu etrafında yarışmalar düzenlemek vb. için kullanışlıdır.
Üretken yapay zeka için merkezi olmayan bir hızlı pazar yeri. Üretken yapay zeka için komut istemi oluşturma, karmaşık bir zanaat haline geldi ve optimum çıktı üreten bilgi istemleri genellikle birden fazla değiştiriciye sahip. Harici taraflar, içerik oluşturuculardan bu karmaşık ipuçlarını satın almaya istekli olabilir. zkML burada iki şekilde kullanılabilir: 1) ipucunun çıktısını doğrulamak, potansiyel alıcılara ipucunun gerçekten de istenen görüntüyü yarattığından emin olmak için;
Bahşiş sahibinin, satın alma işleminden sonra bahşişin sahipliğini elinde tutmasına izin verirken, alıcı için belirsiz kalarak, ancak yine de bunun için doğrulanmış görüntüler oluşturuyor.
4. Kimlik
Özel anahtarları, gizliliği koruyan biyometrik kimlik doğrulamayla değiştirin. Özel anahtar yönetimi, web3 kullanıcı deneyimindeki en büyük engellerden biri olmaya devam ediyor. Yüz tanıma veya diğer benzersiz faktörler yoluyla özel anahtarları soyutlamak, zkML için olası bir çözümdür.
Adil airdrop'lar ve katkıda bulunan ödülleri. Makine öğrenimi modelleri, airdrop tahsislerini veya birden çok faktöre dayalı katkı ödüllerini belirlemek için ayrıntılı kullanıcı kişilikleri oluşturmak için kullanılabilir. Bu, kimlik çözümleriyle birleştirildiğinde özellikle yararlı olabilir. Bu durumda bir olasılık, kullanıcıların atamaları hakkında akıl yürütmeleri için uygulamadaki katılımlarının yanı sıra yönetişim forumu gönderileri gibi daha üst düzey etkileşimi değerlendiren bir açık kaynak modeli çalıştırmalarını sağlamaktır. Bu kanıt daha sonra ilgili belirteç tahsisi için sözleşmeye sağlanır.
5. Web3 Sosyal
web3 sosyal medya için filtreleme. Web3 sosyal uygulamalarının merkezi olmayan yapısı, spam ve kötü amaçlı içerikte artışa yol açacaktır. İdeal olarak, bir sosyal medya platformu, topluluk fikir birliğine dayalı açık kaynaklı bir makine öğrenimi modeli kullanabilir ve gönderileri filtrelemeyi seçtiğinde modelin mantığının kanıtlarını yayınlayabilir. Örnek olay: Twitter algoritmasında zkML analizi.
Reklam/Öneri. Bir sosyal medya kullanıcısı olarak, kişiselleştirilmiş reklamlar görmeye istekli olabilirim, ancak tercihlerimi ve ilgi alanlarımı reklamcılardan gizli tutmak isterim. İlgi alanlarımla ilgili yerel olarak bir model çalıştırmayı seçebilir, bana içerik sağlamak için onu bir medya uygulamasına besleyebilirim. Bu durumda, reklamverenler bunun gerçekleşmesi için son kullanıcılara ödeme yapmaya istekli olabilir, ancak bu modeller şu anda üretimde olan hedefli reklamcılık modellerinden çok daha az karmaşık olabilir.
6. Yaratıcı Ekonomi/Oyunlar
Oyun içi ekonomi yeniden dengeleniyor. Belirteç verme, tedarik etme, yakma, oylama eşikleri vb. ML modelleri kullanılarak dinamik olarak ayarlanabilir. Muhtemel bir model, belirli bir yeniden dengeleme eşiğine ulaşıldığında ve gerekçenin kanıtlandığı doğrulandığında oyun içi ekonomiyi yeniden dengeleyen bir teşvik sözleşmesidir.
Zincir üstü oyunların yeni türleri. İşbirlikçi insanlara karşı AI oyunları ve diğer yenilikçi on-chain oyunları, güvenilir olmayan AI modelinin oynanamaz bir karakter gibi davrandığı yerlerde yaratılabilir. NPC tarafından gerçekleştirilen her eylem, herkesin doğru modelin çalıştırıldığını doğrulayabileceği bir kanıtla birlikte zincirde yayınlanır. Modulus Labs'ın Leela vs. the World'ünde doğrulayıcı, hareketi Magnus Carlson'ın değil, belirtilen 1900 ELO yapay zekasının seçtiğinden emin olmak istiyor. Başka bir örnek, Super Smash Brothers'a benzer bir AI dövüş oyunu olan AI Arena'dır. Yüksek riskli bir rekabet ortamında oyuncular, eğittikleri modellerin müdahale etmediğinden veya hile yapmadığından emin olmak ister.
Gelişmekte olan projeler ve altyapı
zkML ekosistemi genel olarak dört ana kategoriye ayrılabilir:
Model-Proof Derleyici: Mevcut formatlardaki (ör. Pytorch, ONNX, vb.) modelleri doğrulanabilir hesaplama devrelerinde derlemek için altyapı.
Genelleştirilmiş İspat Sistemi: Rastgele hesaplama yörüngelerini doğrulamak için bir ispat sistemi oluşturun.
zkML'ye özgü ispat sistemi: ML modellerinin hesaplamalı yörüngesini doğrulamak için özel olarak oluşturulmuş bir ispat sistemi.
Uygulamalar: Benzersiz zkML kullanım durumları üzerinde çalışan projeler.
01 Modelden Kanıta Derleyiciler
zkML ekosisteminde, dikkatlerin çoğu modelden kanıta derleyiciler oluşturmaya yöneliktir. Tipik olarak, bu derleyiciler gelişmiş makine öğrenimi modellerini Pytorch, Tensorflow, vb. kullanarak zk devrelerine dönüştürür.
EZKL, zk-SNARK'larda derin öğrenme modellerinin çıkarımı için bir kitaplık ve komut satırı aracıdır. EZKL'yi kullanarak, Pytorch veya TensorFlow'da bir hesaplama grafiği tanımlayabilir, JSON dosyalarındaki bazı örnek girişlerle birlikte bir ONNX dosyası olarak dışa aktarabilir, ardından zkSNARK devreleri oluşturmak için EZKL'yi bu dosyalara yönlendirebilirsiniz. En son performans iyileştirmeleri ile EZKL, artık ~6 saniyede ve 1,1 GB RAM'de MNIST boyutlu bir modeli kanıtlayabilir. Bugüne kadar EZKL, çeşitli hackathon projeleri için altyapı olarak kullanılan, dikkate değer erken kabul gördü.
Cathie So'nun circomlib-ml kitaplığı, Circom için çeşitli ML devre şablonları içerir. Devreler, en yaygın makine öğrenimi işlevlerinden bazılarını içerir. Cathie tarafından geliştirilen Keras 2c ircom, temel alınan circomlib-ml kitaplığını kullanarak Keras modellerini Circom devrelerine dönüştüren bir Python aracıdır.
LinearA, zkML için iki çerçeve geliştirmiştir: Tachikoma ve Uchikoma. Tachikoma, sinir ağını yalnızca tamsayı forma dönüştürmek ve hesaplamalı yörüngeler oluşturmak için kullanılır. Uchikoma, TVM'nin ara temsilini kayan nokta işlemlerini desteklemeyen programlama dillerine dönüştüren bir araçtır. LinearA, Circom'u etki alanı aritmetiği ile ve Solidity'yi işaretli ve işaretsiz tamsayı aritmetiği ile desteklemeyi planlıyor.
Daniel Kang'ın zkml'si, "Scaling up Trustless DNN Inference with Zero-Knowledge Proofs" makalesindeki çalışması üzerine inşa edilen makine öğrenimi modellerinin yürütme kanıtları için bir çerçevedir. Yazma sırasında, yaklaşık 5 GB bellekte ve yaklaşık 16 saniyelik çalışma süresinde bir MNIST devresini kanıtlayabildi.
Daha genelleştirilmiş modelden kanıta derleyiciler açısından Nil Foundation ve Risc Zero var. Nil Vakfı'nın zkLLVM'si, C++, Rust ve Java/Type gibi popüler programlama dillerinde yazılmış hesaplama modellerini doğrulayabilen LLVM tabanlı bir devre derleyicisidir. Burada belirtilen diğer modelden kanıta derleyicilerle karşılaştırıldığında, genel amaçlı bir altyapıdır, ancak yine de zkML gibi karmaşık hesaplamalar için uygundur. Bu, kanıt pazarlarıyla birleştirildiğinde özellikle güçlü olabilir.
Risc Zero, açık kaynaklı RISC-V komut setini hedefleyen genel amaçlı bir zkVM oluşturur, böylece C++ ve Rust gibi mevcut olgun dillerin yanı sıra LLVM araç zincirini destekler. Bu, ana bilgisayar ve konuk zkVM kodu arasında, Nvidia'nın CUDA C++ araç zincirine benzer, ancak GPU yerine ZKP motorunu kullanan sorunsuz entegrasyona izin verir. Nil'e benzer şekilde, bir makine öğrenimi modelinin hesaplamalı yörüngesini doğrulamak için Risc Zero'yu kullanın.
02 Genelleştirilmiş ispat sistemi
Kanıt sistemindeki iyileştirmeler, özellikle özel kapıların ve arama tablolarının tanıtılması olmak üzere, zkML'yi hayata geçirmenin arkasındaki ana itici güçtü. Bunun başlıca nedeni, ML'nin doğrusal olmama durumuna güvenmesidir. Kısacası, bir sinir ağındaki doğrusal bir dönüşümün çıktısına uygulanan aktivasyon fonksiyonları (ReLU, sigmoid ve tanh gibi) aracılığıyla doğrusal olmama sağlanır. Bu doğrusal olmama durumlarının, matematiksel işlem kapılarının kısıtlamaları nedeniyle zk devrelerinde uygulanması zordur. Bit düzeyinde çarpanlara ayırma ve arama tabloları, doğrusal olmayan olası sonuçları arama tablosuna önceden hesaplayarak bu konuda yardımcı olabilir; bu, zk'de hesaplama açısından ilginç bir şekilde daha verimlidir.
Bu nedenle, Plonkish ispat sistemi, zkML için en popüler arka uç olma eğilimindedir. Halo 2 ve Plonky 2 ve bunların tablo aritmetik şemaları, sinir ağı doğrusal olmama durumlarını arama parametreleriyle iyi bir şekilde ele alır. Ek olarak, ilki, geliştirici araçları ve esnekliğinden oluşan canlı bir ekosisteme sahiptir ve bu da onu EZKL dahil birçok proje için fiili bir arka uç haline getirir.
Diğer ispat sistemlerinin de avantajları vardır. R 1 CS'ye dayalı kanıtlama sistemleri, küçük kanıt boyutuyla tanınan Groth 16'yı ve son derece büyük devreleri ve doğrusal zamanlı doğrulayıcıları işlemesiyle tanınan Gemini'yi içerir. Winterfell kanıtlayıcı/doğrulayıcı kitaplığı gibi STARK tabanlı sistemler, Giza'nın araçları aracılığıyla Kahire programlarının girdi izlerini alırken ve çıktının doğruluğunu doğrulamak için STARK kanıtları oluşturmak üzere Winterfell'i kullanırken özellikle yararlıdır.
03 zkML'ye özel ispat sistemi
Gelişmiş makine öğrenimi modellerinin karmaşık, devre dostu olmayan işlemlerinin üstesinden gelebilecek verimli kanıtlama sistemlerinin tasarlanmasında bazı ilerlemeler kaydedilmiştir. GKR'nin ispat sistemine dayalı zkCNN ve kombinatoryal tekniklere dayalı Zator gibi sistemler, Modulus Labs'ın kıyaslama raporlarında yansıtıldığı gibi, evrensel ispat sistemlerinden daha iyi performans gösterme eğilimindedir.
zkCNN, evrişimli sinir ağlarının doğruluğunu sıfır bilgi kanıtları kullanarak kanıtlamak için kullanılan bir yöntemdir. Asimptotik hesaplama sonuçlarından daha hızlı, doğrusal ispat süresiyle hızlı Fourier dönüşümlerini ve evrişimlerini kanıtlamak için sumcheck protokolünü kullanır. Doğrulama evrişim katmanları, ReLU etkinleştirme işlevleri ve maksimum havuzlama dahil olmak üzere çeşitli etkileşimli iyileştirme ve genelleştirme kanıtları sunulmuştur. Modulus Labs'ın kıyaslama raporuna göre zkCNN, kanıt oluşturma hızı ve RAM tüketimi açısından diğer genel amaçlı kanıt sistemlerinden daha iyi performans göstermesi açısından özellikle ilgi çekicidir.
Zator, derin sinir ağlarını doğrulamak için özyinelemeli SNARK'ların kullanımını keşfetmeyi amaçlayan bir projedir. Daha derin modellerin doğrulanmasındaki mevcut bir sınırlama, tüm hesaplama yörüngelerini tek bir devreye sığdırmaktır. Zator, N adımlı tekrarlanan hesaplamaları kademeli olarak doğrulayabilen, katman katman doğrulamak için özyinelemeli SNARK kullanmayı önerdi. N hesaplama örneğini tek bir adımda doğrulanabilecek tek bir örneğe indirgemek için Nova'yı kullandılar. Zator, bu yaklaşımı kullanarak, mevcut üretim yapay zeka modellerinin çoğu kadar derin olan 512 katmanlı bir ağı SNARK haline getirmeyi başardı. Zator'un kanıt oluşturma ve doğrulama süreleri, ana akım kullanım durumları için hala çok uzun, ancak bunların birleştirilmiş teknikleri hala çok ilgi çekici.
Uygulamalar
zkML'nin ilk günleri göz önüne alındığında, odak noktası büyük ölçüde yukarıda bahsedilen altyapı olmuştur. Ancak, şu anda uygulama geliştirmeye adanmış birkaç proje var.
Modulus Labs, hem örnek uygulamalar hem de ilgili araştırmalar üzerinde çalışan, zkML alanındaki en çeşitli projelerden biridir. Uygulamalı tarafta, Modulus Labs, zincir üstü bir ticaret botu olan RockyBot ve insanların kanıtlanmış bir zincir üstü Leela satranç motoruna karşı oynadığı bir masa oyunu olan Leela vs. the World ile zkML için kullanım durumlarını gösterdi. Ekip ayrıca araştırma yaptı ve farklı model boyutlarında çeşitli ispat sistemlerinin hızını ve verimliliğini kıyaslayan The Cost of Intelligence'ı yazdı.
Worldcoin, gizliliği koruyan bir insan kimliği kanıtlama protokolü oluşturmak için zkML'yi uygulamaya çalışıyor. Worldcoin, özel donanım kullanarak yüksek çözünürlüklü iris taramasını gerçekleştirir ve bunu bir Semaphore uygulamasına bağlar. Bu sistem daha sonra üyelik kanıtı ve oylama gibi yararlı işlemleri gerçekleştirmek için kullanılabilir. Şu anda kamera imzalı iris taramalarını doğrulamak için güvenilir bir çalışma zamanı ortamı ve güvenli bir yerleşim bölgesi kullanıyorlar, ancak nihai hedefleri, kriptografik düzeyde güvenlik güvencesi sağlamak için sinir ağlarının doğru muhakemesini doğrulamak için sıfır bilgi kanıtları kullanmak.
Giza, AI modellerini zincir üzerinde dağıtmak için tamamen güvenilir olmayan bir yaklaşım benimseyen bir protokoldür. Makine öğrenme modellerini temsil etmek için ONNX formatını, bu modelleri Kahire program formatına dönüştürmek için Giza Transpiler'ı, modelleri doğrulanabilir ve deterministik bir şekilde yürütmek için ONNX Cairo Runtime'ı ve zincir üstü dağıtım için Giza Modeli akıllı sözleşmesini kullanır. modeli yürütmek için teknoloji yığını. Giza, modelden kanıta bir derleyici olarak da sınıflandırılabilse de, ML modelleri için bir pazar olarak konumlandırılmaları şu anda en ilginç uygulamalardan biridir.
Gensyn, makine öğrenimi modellerini eğitmek için dağıtılmış bir donanım sağlayıcıları ağıdır. Spesifik olarak, dağıtılmış GPU ağlarının tam ölçekli modeller için eğitim hizmeti sunmasını sağlamak için model kontrol noktasını kullanan ve gradyan inişine dayalı olasılıklı bir denetim sistemi geliştiriyorlar. Buradaki zkML uygulamaları, kullanım durumlarına çok özel olsa da - bir düğüm indirip modelin bir parçasını eğittiğinde, model güncellemeleri konusunda dürüst olduklarından emin olmak istiyorlar - bu, zk ve ML gücünü birleştirmenin gücünü gösteriyor.
ZKaptcha, web3'teki bot sorununa odaklanır ve akıllı sözleşmeler için doğrulama kodu hizmetleri sağlar. Mevcut uygulamaları, son kullanıcıların, zincir üzerindeki doğrulayıcıları tarafından doğrulanan ve birkaç satır kod içeren akıllı sözleşmelerle erişilen captcha'ları tamamlayarak insan işinin kanıtlarını oluşturmasını sağlıyor. Bugün, esas olarak yalnızca zk'ye güveniyorlar, ancak gelecekte, mevcut web2 captcha hizmetlerine benzer şekilde, kullanıcının insan olup olmadığını belirlemek için fare hareketi gibi davranışları analiz ederek zkML'yi uygulamayı planlıyorlar.
zkML pazarının ilk günleri göz önüne alındığında, birçok uygulama zaten hackathon düzeyinde denenmiştir. Projeler arasında, makine öğrenimi çıktısını doğrulamak için ZK ispatlarını kullanan zincir üzerinde bir yapay zeka yarışması olan AI Coliseum, halo 2 devreleriyle bir görüntü sınıflandırma modelinin çıktısını doğrulamak için EZKL kitaplığını kullanan bir fotoğraf çöpçü avı olan Hunter z Hunter ve zk Bölüm 9 yer alıyor. , Yapay zeka görüntü oluşturma modellerini, yapay zeka sanatını yayınlamak ve doğrulamak için devrelere dönüştürür.
zkML zorlukları
Geliştirme ve optimizasyondaki hızlı ilerlemeye rağmen, zkML alanı hala bazı temel zorluklarla karşı karşıyadır. Bu zorluklar, aşağıdakiler de dahil olmak üzere teknik ve pratik yönleri içerir:
Minimum hassasiyet kaybıyla niceleme
Devre boyutu, özellikle ağ birden çok katmandan oluştuğunda
Matris çarpımının verimli kanıtı
Saldırıya karşı
Niceleme, kayan noktalı sayıları sabit noktalı sayılar olarak temsil etme işlemidir. Çoğu makine öğrenme modeli, model parametrelerini ve aktivasyon fonksiyonlarını temsil etmek için kayan noktalı sayıları kullanır. Zk devreleri için etki alanı aritmetiği ile uğraşırken, sabit noktalı sayılar gerekir. Nicelemenin bir makine öğrenimi modelinin doğruluğu üzerindeki etkisi, kullanılan kesinlik düzeyine bağlıdır. Genel olarak, daha düşük kesinlik (yani daha az bit) kullanmak, yuvarlama ve yaklaşıklık hatalarına yol açabileceğinden daha az doğrulukla sonuçlanabilir. Bununla birlikte, nicelemenin doğruluk üzerindeki etkisini en aza indirmek için nicelemeden sonra modelde ince ayar yapmak ve niceleme farkında eğitim gibi teknikleri kullanmak gibi kullanılabilecek çeşitli teknikler vardır. Ek olarak, zkSummit 9'daki bir hackathon projesi olan Zero Gravity, ağırlıksız sinir ağları gibi uç cihazlar için geliştirilen alternatif sinir ağı mimarilerinin devrelerdeki niceleme sorunlarından kaçınmak için kullanılabileceğini gösterdi.
Kuantizasyonun yanı sıra, donanım başka bir önemli zorluktur. Bir makine öğrenimi modeli bir devre tarafından doğru bir şekilde temsil edildiğinde, zk'nin basitliği nedeniyle mantığını doğrulamak için kanıtlar ucuz ve hızlı hale gelir. Model boyutu büyüdükçe RAM tüketimi ve kanıt oluşturma süresi hızla arttığından, buradaki zorluk doğrulayıcıda değil, kanıtlayıcıdadır. Belirli ispat sistemleri (summcheck protokolünü ve hiyerarşik aritmetik devreleri kullanan GKR tabanlı sistemler gibi) veya birleşik teknikler (Plonky 2'yi Groth 16, Plonky 2 ile birleştirmek gibi) prova süresi açısından verimlidir, ancak büyük modeller Poor ve Groth için etkilidir 16, karmaşık modellerin karmaşıklığında ispat boyutunun büyümesine yol açmaz) bu sorunların üstesinden gelmek için daha uygundur, ancak ödünleşimleri yönetmek, zkML projelerinde temel bir zorluktur.
Saldırılarla mücadele konusunda daha yapılacak çok iş var. İlk olarak, eğer güvene dayalı olmayan bir protokol veya DAO bir modeli uygulamayı seçerse, eğitim aşamasında hala ters saldırı riski vardır (ör. muhakeme). Eğitim aşamasında birleşik öğrenme teknikleri ve zkML, bu saldırı yüzeyini en aza indirmenin bir yolu olabilir.
Diğer bir temel zorluk, model gizliliği koruduğunda model hırsızlığı saldırıları riskidir. Yeterince girdi-çıktı çifti verildiğinde bir modelin ağırlıklarını karartmak mümkün olsa da, ağırlıkları geriye doğru çıkarmak teorik olarak hala mümkündür. Bu çoğunlukla küçük ölçekli modeller için bir risktir, ancak yine de riskler vardır.
Akıllı sözleşmelerin genişletilebilirliği
Bu modelleri zk kısıtlamaları dahilinde çalışacak şekilde optimize etmede bazı zorluklar olsa da, üstel bir oranda iyileştirmeler yapılıyor ve bazıları, daha fazla donanım ivmesi ile yakında daha geniş makine öğrenimi alanıyla çalışabileceğimizi düşünüyor. aynı seviye Bu iyileştirmelerin hızını vurgulamak için zkML, 0x PARC'ın 2021'de doğrulanabilir bir devrede küçük ölçekli bir MNIST görüntü sınıflandırma modelinin nasıl gerçekleştirileceğini göstermesinden, bir yıldan kısa bir süre sonra Daniel Kang'ın aynısını ImageNet ölçekli bir model için yapmasına geçti. kağıtlar. Nisan 2022'de bu ImageNet ölçekli modelin doğruluğu %79'dan %92'ye yükseldi ve GPT-2 gibi büyük modellerin, mevcut ispat süresi daha uzun olmasına rağmen yakın gelecekte mümkün olması bekleniyor.
ZkML'yi, blok zincirlerinin ve akıllı sözleşmelerin yeteneklerini genişletmek, onları daha esnek, uyarlanabilir ve akıllı hale getirmek için tasarlanmış, zengin ve büyüyen bir ekosistem olarak görüyoruz.
zkML, geliştirmenin ilk aşamalarında olmasına rağmen şimdiden umut verici sonuçlar vermeye başladı. Teknoloji gelişip olgunlaştıkça, zincir üzerinde daha yenilikçi zkML kullanım durumları görmeyi bekleyebiliriz.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
ZKML yolunun derinlemesine analizi: akıllı sözleşmelerin zekasında bir sonraki adım
zkSNARKs aracılığıyla makine öğrenimi (ML) modeli çıkarımının kanıtlanması, bu on yılda akıllı sözleşmelerdeki en önemli gelişmelerden biri olmayı vaat ediyor. Bu gelişme, heyecan verici derecede geniş bir tasarım alanı açarak uygulamaların ve altyapının daha karmaşık ve akıllı sistemlere dönüşmesine olanak tanır.
Makine öğrenimi yetenekleri eklendiğinde, akıllı sözleşmeler daha otonom ve dinamik hale gelebilir ve statik kurallar yerine gerçek zamanlı zincir üstü verilere dayalı kararlar almalarına olanak tanır. Akıllı sözleşmeler esnek olacak ve sözleşme ilk oluşturulduğunda beklenmeyenler de dahil olmak üzere çeşitli senaryoları barındırabilecek. Kısacası makine öğrenimi yetenekleri, zincire koyduğumuz herhangi bir akıllı sözleşmenin otomasyonunu, doğruluğunu, verimliliğini ve esnekliğini artıracaktır.
Makine öğrenimi, web3 dışındaki çoğu uygulamada yaygın olarak kullanılmaktadır ve akıllı sözleşmelerdeki uygulaması neredeyse sıfırdır. Bunun başlıca nedeni, bu modelleri zincir üzerinde çalıştırmanın yüksek hesaplama maliyetidir. Örneğin FastBERT, doğrudan EVM üzerinde çalıştırılamayan yaklaşık 1800 MFLOPS (milyon kayan nokta işlemi) kullanan, hesaplama açısından optimize edilmiş bir dil modelidir.
ML modelinin zincire uygulanması, temel olarak akıl yürütme aşamasına odaklanır: modeli gerçek dünya verilerini tahmin etmek için uygulama. Makine öğrenimi ölçeğinde akıllı sözleşmelere sahip olmak için, sözleşmelerin bu tür tahminleri alabilmesi gerekir, ancak daha önce de belirttiğimiz gibi, modelleri doğrudan EVM üzerinde çalıştırmak mümkün değildir. zkSNARK'lar bize bir çözüm sunuyor: Herkes zincir dışında bir model çalıştırabilir ve beklenen modelin belirli bir sonuç ürettiğine dair kısa ve öz ve doğrulanabilir bir kanıt oluşturabilir. Bu kanıt, zincir üzerinde yayınlanabilir ve zekalarını geliştirmek için akıllı sözleşmeler tarafından alınabilir.
Bu yazıda şunları yapacağız:
Makine Öğrenimine (ML) Giriş
Makine öğrenimi (ML), bilgisayarların verilerden öğrenmesini ve tahminler veya kararlar almasını sağlayan algoritmalar ve istatistiksel modeller geliştirmeye odaklanan yapay zekanın (AI) bir alt alanıdır. Makine öğrenimi modellerinin tipik olarak üç ana bileşeni vardır:
Modelin oluşturulması ve devreye alınması iki aşamaya ayrılmıştır:
Şu anda zkML, temel olarak doğrulama devrelerindeki eğitimin hesaplama karmaşıklığı nedeniyle, eğitim aşamasından ziyade makine öğrenimi modellerinin çıkarım aşamasına odaklanmaktadır. Ancak, zkML'nin çıkarıma odaklanması bir sınırlama değildir: bazı çok ilginç kullanım durumlarını ve uygulamaları tahmin ediyoruz.
Doğrulanmış çıkarım senaryoları
Muhakemeyi doğrulamak için dört olası senaryo vardır:
Doğrulanmış makine öğrenimi muhakemesi, akıllı sözleşmeler için yeni tasarım alanları açar. Bazı kripto-yerel uygulamalar şunları içerir:
1、DeFi
Doğrulanabilir zincir dışı makine öğrenimi oracle'ları. Üretken yapay zekanın sürekli olarak benimsenmesi, sektörü içeriği için imza şemaları uygulamaya yönlendirebilir (örneğin, makaleleri veya resimleri imzalayan haber yayınları). İmzalanmış veriler, sıfır bilgi kanıtları için hazırdır ve verileri birleştirilebilir ve güvenilir hale getirir. Makine öğrenimi modelleri, tahminler ve sınıflandırmalar yapmak için (örneğin, seçim sonuçlarını veya hava olaylarını sınıflandırmak) bu imzalı verileri zincir dışında işleyebilir. Bu zincir dışı makine öğrenimi oracle'ları, akıl yürütmeyi doğrulayarak ve zincir üzerinde kanıtlar yayınlayarak gerçek dünya tahmin pazarlarını, sigorta protokolü sözleşmelerini vb. güvenle çözebilir.
Makine öğrenimi parametrelerine dayalı DeFi uygulamaları. DeFi'nin birçok yönü daha otomatik hale getirilebilir. Örneğin, borç verme protokolleri, parametreleri gerçek zamanlı olarak güncellemek için makine öğrenimi modellerini kullanabilir. Şu anda, borç verme protokolleri, teminat faktörlerini, kredi-değer oranlarını, tasfiye eşiklerini vb. belirlemek için çoğunlukla kuruluşlar tarafından yürütülen zincir dışı modellere dayanmaktadır, ancak daha iyi bir seçenek, herkesin çalıştırabileceği, topluluk tarafından eğitilmiş bir açık kaynak modeli olabilir. ve doğrulayın.
Otomatik ticaret stratejileri. Bir finansal model stratejisinin getiri özelliklerini göstermenin yaygın bir yolu, milletvekillerinin yatırımcılara çeşitli geriye dönük test verileri sağlamasıdır. Ancak, bir ticaret gerçekleştirirken stratejistin modeli izlediğini doğrulamanın bir yolu yoktur - yatırımcı, stratejistin gerçekten de modeli izlediğine güvenmelidir. zkML, MP'nin belirli pozisyonlara dağıtıldığında finansal model muhakemesi kanıtları sağlayabileceği bir çözüm sunar. Bu, özellikle DeFi tarafından yönetilen kasalar için yararlı olabilir.
2. Güvenlik
Akıllı sözleşmeler için dolandırıcılık izleme. Yavaş insan yönetiminin veya merkezi aktörlerin sözleşmeleri askıya alma yeteneğini kontrol etmesine izin vermek yerine, olası kötü niyetli davranışları tespit etmek ve sözleşmeleri askıya almak için makine öğrenimi modelleri kullanılabilir.
3. Geleneksel Makine Öğrenimi
Merkezi olmayan, güvenilir bir Kaggle uygulaması. MC'lerin veya diğer ilgili tarafların, MP'lerin model ağırlıklarını ifşa etmesini gerektirmeden modellerin doğruluğunu doğrulamasına izin veren bir protokol veya pazar oluşturulabilir. Bu, model satmak, model doğruluğu etrafında yarışmalar düzenlemek vb. için kullanışlıdır.
Üretken yapay zeka için merkezi olmayan bir hızlı pazar yeri. Üretken yapay zeka için komut istemi oluşturma, karmaşık bir zanaat haline geldi ve optimum çıktı üreten bilgi istemleri genellikle birden fazla değiştiriciye sahip. Harici taraflar, içerik oluşturuculardan bu karmaşık ipuçlarını satın almaya istekli olabilir. zkML burada iki şekilde kullanılabilir: 1) ipucunun çıktısını doğrulamak, potansiyel alıcılara ipucunun gerçekten de istenen görüntüyü yarattığından emin olmak için;
4. Kimlik
Özel anahtarları, gizliliği koruyan biyometrik kimlik doğrulamayla değiştirin. Özel anahtar yönetimi, web3 kullanıcı deneyimindeki en büyük engellerden biri olmaya devam ediyor. Yüz tanıma veya diğer benzersiz faktörler yoluyla özel anahtarları soyutlamak, zkML için olası bir çözümdür.
Adil airdrop'lar ve katkıda bulunan ödülleri. Makine öğrenimi modelleri, airdrop tahsislerini veya birden çok faktöre dayalı katkı ödüllerini belirlemek için ayrıntılı kullanıcı kişilikleri oluşturmak için kullanılabilir. Bu, kimlik çözümleriyle birleştirildiğinde özellikle yararlı olabilir. Bu durumda bir olasılık, kullanıcıların atamaları hakkında akıl yürütmeleri için uygulamadaki katılımlarının yanı sıra yönetişim forumu gönderileri gibi daha üst düzey etkileşimi değerlendiren bir açık kaynak modeli çalıştırmalarını sağlamaktır. Bu kanıt daha sonra ilgili belirteç tahsisi için sözleşmeye sağlanır.
5. Web3 Sosyal
web3 sosyal medya için filtreleme. Web3 sosyal uygulamalarının merkezi olmayan yapısı, spam ve kötü amaçlı içerikte artışa yol açacaktır. İdeal olarak, bir sosyal medya platformu, topluluk fikir birliğine dayalı açık kaynaklı bir makine öğrenimi modeli kullanabilir ve gönderileri filtrelemeyi seçtiğinde modelin mantığının kanıtlarını yayınlayabilir. Örnek olay: Twitter algoritmasında zkML analizi.
Reklam/Öneri. Bir sosyal medya kullanıcısı olarak, kişiselleştirilmiş reklamlar görmeye istekli olabilirim, ancak tercihlerimi ve ilgi alanlarımı reklamcılardan gizli tutmak isterim. İlgi alanlarımla ilgili yerel olarak bir model çalıştırmayı seçebilir, bana içerik sağlamak için onu bir medya uygulamasına besleyebilirim. Bu durumda, reklamverenler bunun gerçekleşmesi için son kullanıcılara ödeme yapmaya istekli olabilir, ancak bu modeller şu anda üretimde olan hedefli reklamcılık modellerinden çok daha az karmaşık olabilir.
6. Yaratıcı Ekonomi/Oyunlar
Oyun içi ekonomi yeniden dengeleniyor. Belirteç verme, tedarik etme, yakma, oylama eşikleri vb. ML modelleri kullanılarak dinamik olarak ayarlanabilir. Muhtemel bir model, belirli bir yeniden dengeleme eşiğine ulaşıldığında ve gerekçenin kanıtlandığı doğrulandığında oyun içi ekonomiyi yeniden dengeleyen bir teşvik sözleşmesidir.
Zincir üstü oyunların yeni türleri. İşbirlikçi insanlara karşı AI oyunları ve diğer yenilikçi on-chain oyunları, güvenilir olmayan AI modelinin oynanamaz bir karakter gibi davrandığı yerlerde yaratılabilir. NPC tarafından gerçekleştirilen her eylem, herkesin doğru modelin çalıştırıldığını doğrulayabileceği bir kanıtla birlikte zincirde yayınlanır. Modulus Labs'ın Leela vs. the World'ünde doğrulayıcı, hareketi Magnus Carlson'ın değil, belirtilen 1900 ELO yapay zekasının seçtiğinden emin olmak istiyor. Başka bir örnek, Super Smash Brothers'a benzer bir AI dövüş oyunu olan AI Arena'dır. Yüksek riskli bir rekabet ortamında oyuncular, eğittikleri modellerin müdahale etmediğinden veya hile yapmadığından emin olmak ister.
Gelişmekte olan projeler ve altyapı
zkML ekosistemi genel olarak dört ana kategoriye ayrılabilir:
01 Modelden Kanıta Derleyiciler
zkML ekosisteminde, dikkatlerin çoğu modelden kanıta derleyiciler oluşturmaya yöneliktir. Tipik olarak, bu derleyiciler gelişmiş makine öğrenimi modellerini Pytorch, Tensorflow, vb. kullanarak zk devrelerine dönüştürür.
EZKL, zk-SNARK'larda derin öğrenme modellerinin çıkarımı için bir kitaplık ve komut satırı aracıdır. EZKL'yi kullanarak, Pytorch veya TensorFlow'da bir hesaplama grafiği tanımlayabilir, JSON dosyalarındaki bazı örnek girişlerle birlikte bir ONNX dosyası olarak dışa aktarabilir, ardından zkSNARK devreleri oluşturmak için EZKL'yi bu dosyalara yönlendirebilirsiniz. En son performans iyileştirmeleri ile EZKL, artık ~6 saniyede ve 1,1 GB RAM'de MNIST boyutlu bir modeli kanıtlayabilir. Bugüne kadar EZKL, çeşitli hackathon projeleri için altyapı olarak kullanılan, dikkate değer erken kabul gördü.
Cathie So'nun circomlib-ml kitaplığı, Circom için çeşitli ML devre şablonları içerir. Devreler, en yaygın makine öğrenimi işlevlerinden bazılarını içerir. Cathie tarafından geliştirilen Keras 2c ircom, temel alınan circomlib-ml kitaplığını kullanarak Keras modellerini Circom devrelerine dönüştüren bir Python aracıdır.
LinearA, zkML için iki çerçeve geliştirmiştir: Tachikoma ve Uchikoma. Tachikoma, sinir ağını yalnızca tamsayı forma dönüştürmek ve hesaplamalı yörüngeler oluşturmak için kullanılır. Uchikoma, TVM'nin ara temsilini kayan nokta işlemlerini desteklemeyen programlama dillerine dönüştüren bir araçtır. LinearA, Circom'u etki alanı aritmetiği ile ve Solidity'yi işaretli ve işaretsiz tamsayı aritmetiği ile desteklemeyi planlıyor.
Daniel Kang'ın zkml'si, "Scaling up Trustless DNN Inference with Zero-Knowledge Proofs" makalesindeki çalışması üzerine inşa edilen makine öğrenimi modellerinin yürütme kanıtları için bir çerçevedir. Yazma sırasında, yaklaşık 5 GB bellekte ve yaklaşık 16 saniyelik çalışma süresinde bir MNIST devresini kanıtlayabildi.
Daha genelleştirilmiş modelden kanıta derleyiciler açısından Nil Foundation ve Risc Zero var. Nil Vakfı'nın zkLLVM'si, C++, Rust ve Java/Type gibi popüler programlama dillerinde yazılmış hesaplama modellerini doğrulayabilen LLVM tabanlı bir devre derleyicisidir. Burada belirtilen diğer modelden kanıta derleyicilerle karşılaştırıldığında, genel amaçlı bir altyapıdır, ancak yine de zkML gibi karmaşık hesaplamalar için uygundur. Bu, kanıt pazarlarıyla birleştirildiğinde özellikle güçlü olabilir.
Risc Zero, açık kaynaklı RISC-V komut setini hedefleyen genel amaçlı bir zkVM oluşturur, böylece C++ ve Rust gibi mevcut olgun dillerin yanı sıra LLVM araç zincirini destekler. Bu, ana bilgisayar ve konuk zkVM kodu arasında, Nvidia'nın CUDA C++ araç zincirine benzer, ancak GPU yerine ZKP motorunu kullanan sorunsuz entegrasyona izin verir. Nil'e benzer şekilde, bir makine öğrenimi modelinin hesaplamalı yörüngesini doğrulamak için Risc Zero'yu kullanın.
02 Genelleştirilmiş ispat sistemi
Kanıt sistemindeki iyileştirmeler, özellikle özel kapıların ve arama tablolarının tanıtılması olmak üzere, zkML'yi hayata geçirmenin arkasındaki ana itici güçtü. Bunun başlıca nedeni, ML'nin doğrusal olmama durumuna güvenmesidir. Kısacası, bir sinir ağındaki doğrusal bir dönüşümün çıktısına uygulanan aktivasyon fonksiyonları (ReLU, sigmoid ve tanh gibi) aracılığıyla doğrusal olmama sağlanır. Bu doğrusal olmama durumlarının, matematiksel işlem kapılarının kısıtlamaları nedeniyle zk devrelerinde uygulanması zordur. Bit düzeyinde çarpanlara ayırma ve arama tabloları, doğrusal olmayan olası sonuçları arama tablosuna önceden hesaplayarak bu konuda yardımcı olabilir; bu, zk'de hesaplama açısından ilginç bir şekilde daha verimlidir.
Bu nedenle, Plonkish ispat sistemi, zkML için en popüler arka uç olma eğilimindedir. Halo 2 ve Plonky 2 ve bunların tablo aritmetik şemaları, sinir ağı doğrusal olmama durumlarını arama parametreleriyle iyi bir şekilde ele alır. Ek olarak, ilki, geliştirici araçları ve esnekliğinden oluşan canlı bir ekosisteme sahiptir ve bu da onu EZKL dahil birçok proje için fiili bir arka uç haline getirir.
Diğer ispat sistemlerinin de avantajları vardır. R 1 CS'ye dayalı kanıtlama sistemleri, küçük kanıt boyutuyla tanınan Groth 16'yı ve son derece büyük devreleri ve doğrusal zamanlı doğrulayıcıları işlemesiyle tanınan Gemini'yi içerir. Winterfell kanıtlayıcı/doğrulayıcı kitaplığı gibi STARK tabanlı sistemler, Giza'nın araçları aracılığıyla Kahire programlarının girdi izlerini alırken ve çıktının doğruluğunu doğrulamak için STARK kanıtları oluşturmak üzere Winterfell'i kullanırken özellikle yararlıdır.
03 zkML'ye özel ispat sistemi
Gelişmiş makine öğrenimi modellerinin karmaşık, devre dostu olmayan işlemlerinin üstesinden gelebilecek verimli kanıtlama sistemlerinin tasarlanmasında bazı ilerlemeler kaydedilmiştir. GKR'nin ispat sistemine dayalı zkCNN ve kombinatoryal tekniklere dayalı Zator gibi sistemler, Modulus Labs'ın kıyaslama raporlarında yansıtıldığı gibi, evrensel ispat sistemlerinden daha iyi performans gösterme eğilimindedir.
zkCNN, evrişimli sinir ağlarının doğruluğunu sıfır bilgi kanıtları kullanarak kanıtlamak için kullanılan bir yöntemdir. Asimptotik hesaplama sonuçlarından daha hızlı, doğrusal ispat süresiyle hızlı Fourier dönüşümlerini ve evrişimlerini kanıtlamak için sumcheck protokolünü kullanır. Doğrulama evrişim katmanları, ReLU etkinleştirme işlevleri ve maksimum havuzlama dahil olmak üzere çeşitli etkileşimli iyileştirme ve genelleştirme kanıtları sunulmuştur. Modulus Labs'ın kıyaslama raporuna göre zkCNN, kanıt oluşturma hızı ve RAM tüketimi açısından diğer genel amaçlı kanıt sistemlerinden daha iyi performans göstermesi açısından özellikle ilgi çekicidir.
Zator, derin sinir ağlarını doğrulamak için özyinelemeli SNARK'ların kullanımını keşfetmeyi amaçlayan bir projedir. Daha derin modellerin doğrulanmasındaki mevcut bir sınırlama, tüm hesaplama yörüngelerini tek bir devreye sığdırmaktır. Zator, N adımlı tekrarlanan hesaplamaları kademeli olarak doğrulayabilen, katman katman doğrulamak için özyinelemeli SNARK kullanmayı önerdi. N hesaplama örneğini tek bir adımda doğrulanabilecek tek bir örneğe indirgemek için Nova'yı kullandılar. Zator, bu yaklaşımı kullanarak, mevcut üretim yapay zeka modellerinin çoğu kadar derin olan 512 katmanlı bir ağı SNARK haline getirmeyi başardı. Zator'un kanıt oluşturma ve doğrulama süreleri, ana akım kullanım durumları için hala çok uzun, ancak bunların birleştirilmiş teknikleri hala çok ilgi çekici.
Uygulamalar
zkML'nin ilk günleri göz önüne alındığında, odak noktası büyük ölçüde yukarıda bahsedilen altyapı olmuştur. Ancak, şu anda uygulama geliştirmeye adanmış birkaç proje var.
Modulus Labs, hem örnek uygulamalar hem de ilgili araştırmalar üzerinde çalışan, zkML alanındaki en çeşitli projelerden biridir. Uygulamalı tarafta, Modulus Labs, zincir üstü bir ticaret botu olan RockyBot ve insanların kanıtlanmış bir zincir üstü Leela satranç motoruna karşı oynadığı bir masa oyunu olan Leela vs. the World ile zkML için kullanım durumlarını gösterdi. Ekip ayrıca araştırma yaptı ve farklı model boyutlarında çeşitli ispat sistemlerinin hızını ve verimliliğini kıyaslayan The Cost of Intelligence'ı yazdı.
Worldcoin, gizliliği koruyan bir insan kimliği kanıtlama protokolü oluşturmak için zkML'yi uygulamaya çalışıyor. Worldcoin, özel donanım kullanarak yüksek çözünürlüklü iris taramasını gerçekleştirir ve bunu bir Semaphore uygulamasına bağlar. Bu sistem daha sonra üyelik kanıtı ve oylama gibi yararlı işlemleri gerçekleştirmek için kullanılabilir. Şu anda kamera imzalı iris taramalarını doğrulamak için güvenilir bir çalışma zamanı ortamı ve güvenli bir yerleşim bölgesi kullanıyorlar, ancak nihai hedefleri, kriptografik düzeyde güvenlik güvencesi sağlamak için sinir ağlarının doğru muhakemesini doğrulamak için sıfır bilgi kanıtları kullanmak.
Giza, AI modellerini zincir üzerinde dağıtmak için tamamen güvenilir olmayan bir yaklaşım benimseyen bir protokoldür. Makine öğrenme modellerini temsil etmek için ONNX formatını, bu modelleri Kahire program formatına dönüştürmek için Giza Transpiler'ı, modelleri doğrulanabilir ve deterministik bir şekilde yürütmek için ONNX Cairo Runtime'ı ve zincir üstü dağıtım için Giza Modeli akıllı sözleşmesini kullanır. modeli yürütmek için teknoloji yığını. Giza, modelden kanıta bir derleyici olarak da sınıflandırılabilse de, ML modelleri için bir pazar olarak konumlandırılmaları şu anda en ilginç uygulamalardan biridir.
Gensyn, makine öğrenimi modellerini eğitmek için dağıtılmış bir donanım sağlayıcıları ağıdır. Spesifik olarak, dağıtılmış GPU ağlarının tam ölçekli modeller için eğitim hizmeti sunmasını sağlamak için model kontrol noktasını kullanan ve gradyan inişine dayalı olasılıklı bir denetim sistemi geliştiriyorlar. Buradaki zkML uygulamaları, kullanım durumlarına çok özel olsa da - bir düğüm indirip modelin bir parçasını eğittiğinde, model güncellemeleri konusunda dürüst olduklarından emin olmak istiyorlar - bu, zk ve ML gücünü birleştirmenin gücünü gösteriyor.
ZKaptcha, web3'teki bot sorununa odaklanır ve akıllı sözleşmeler için doğrulama kodu hizmetleri sağlar. Mevcut uygulamaları, son kullanıcıların, zincir üzerindeki doğrulayıcıları tarafından doğrulanan ve birkaç satır kod içeren akıllı sözleşmelerle erişilen captcha'ları tamamlayarak insan işinin kanıtlarını oluşturmasını sağlıyor. Bugün, esas olarak yalnızca zk'ye güveniyorlar, ancak gelecekte, mevcut web2 captcha hizmetlerine benzer şekilde, kullanıcının insan olup olmadığını belirlemek için fare hareketi gibi davranışları analiz ederek zkML'yi uygulamayı planlıyorlar.
zkML pazarının ilk günleri göz önüne alındığında, birçok uygulama zaten hackathon düzeyinde denenmiştir. Projeler arasında, makine öğrenimi çıktısını doğrulamak için ZK ispatlarını kullanan zincir üzerinde bir yapay zeka yarışması olan AI Coliseum, halo 2 devreleriyle bir görüntü sınıflandırma modelinin çıktısını doğrulamak için EZKL kitaplığını kullanan bir fotoğraf çöpçü avı olan Hunter z Hunter ve zk Bölüm 9 yer alıyor. , Yapay zeka görüntü oluşturma modellerini, yapay zeka sanatını yayınlamak ve doğrulamak için devrelere dönüştürür.
zkML zorlukları
Geliştirme ve optimizasyondaki hızlı ilerlemeye rağmen, zkML alanı hala bazı temel zorluklarla karşı karşıyadır. Bu zorluklar, aşağıdakiler de dahil olmak üzere teknik ve pratik yönleri içerir:
Niceleme, kayan noktalı sayıları sabit noktalı sayılar olarak temsil etme işlemidir. Çoğu makine öğrenme modeli, model parametrelerini ve aktivasyon fonksiyonlarını temsil etmek için kayan noktalı sayıları kullanır. Zk devreleri için etki alanı aritmetiği ile uğraşırken, sabit noktalı sayılar gerekir. Nicelemenin bir makine öğrenimi modelinin doğruluğu üzerindeki etkisi, kullanılan kesinlik düzeyine bağlıdır. Genel olarak, daha düşük kesinlik (yani daha az bit) kullanmak, yuvarlama ve yaklaşıklık hatalarına yol açabileceğinden daha az doğrulukla sonuçlanabilir. Bununla birlikte, nicelemenin doğruluk üzerindeki etkisini en aza indirmek için nicelemeden sonra modelde ince ayar yapmak ve niceleme farkında eğitim gibi teknikleri kullanmak gibi kullanılabilecek çeşitli teknikler vardır. Ek olarak, zkSummit 9'daki bir hackathon projesi olan Zero Gravity, ağırlıksız sinir ağları gibi uç cihazlar için geliştirilen alternatif sinir ağı mimarilerinin devrelerdeki niceleme sorunlarından kaçınmak için kullanılabileceğini gösterdi.
Kuantizasyonun yanı sıra, donanım başka bir önemli zorluktur. Bir makine öğrenimi modeli bir devre tarafından doğru bir şekilde temsil edildiğinde, zk'nin basitliği nedeniyle mantığını doğrulamak için kanıtlar ucuz ve hızlı hale gelir. Model boyutu büyüdükçe RAM tüketimi ve kanıt oluşturma süresi hızla arttığından, buradaki zorluk doğrulayıcıda değil, kanıtlayıcıdadır. Belirli ispat sistemleri (summcheck protokolünü ve hiyerarşik aritmetik devreleri kullanan GKR tabanlı sistemler gibi) veya birleşik teknikler (Plonky 2'yi Groth 16, Plonky 2 ile birleştirmek gibi) prova süresi açısından verimlidir, ancak büyük modeller Poor ve Groth için etkilidir 16, karmaşık modellerin karmaşıklığında ispat boyutunun büyümesine yol açmaz) bu sorunların üstesinden gelmek için daha uygundur, ancak ödünleşimleri yönetmek, zkML projelerinde temel bir zorluktur.
Saldırılarla mücadele konusunda daha yapılacak çok iş var. İlk olarak, eğer güvene dayalı olmayan bir protokol veya DAO bir modeli uygulamayı seçerse, eğitim aşamasında hala ters saldırı riski vardır (ör. muhakeme). Eğitim aşamasında birleşik öğrenme teknikleri ve zkML, bu saldırı yüzeyini en aza indirmenin bir yolu olabilir.
Diğer bir temel zorluk, model gizliliği koruduğunda model hırsızlığı saldırıları riskidir. Yeterince girdi-çıktı çifti verildiğinde bir modelin ağırlıklarını karartmak mümkün olsa da, ağırlıkları geriye doğru çıkarmak teorik olarak hala mümkündür. Bu çoğunlukla küçük ölçekli modeller için bir risktir, ancak yine de riskler vardır.
Akıllı sözleşmelerin genişletilebilirliği
Bu modelleri zk kısıtlamaları dahilinde çalışacak şekilde optimize etmede bazı zorluklar olsa da, üstel bir oranda iyileştirmeler yapılıyor ve bazıları, daha fazla donanım ivmesi ile yakında daha geniş makine öğrenimi alanıyla çalışabileceğimizi düşünüyor. aynı seviye Bu iyileştirmelerin hızını vurgulamak için zkML, 0x PARC'ın 2021'de doğrulanabilir bir devrede küçük ölçekli bir MNIST görüntü sınıflandırma modelinin nasıl gerçekleştirileceğini göstermesinden, bir yıldan kısa bir süre sonra Daniel Kang'ın aynısını ImageNet ölçekli bir model için yapmasına geçti. kağıtlar. Nisan 2022'de bu ImageNet ölçekli modelin doğruluğu %79'dan %92'ye yükseldi ve GPT-2 gibi büyük modellerin, mevcut ispat süresi daha uzun olmasına rağmen yakın gelecekte mümkün olması bekleniyor.
ZkML'yi, blok zincirlerinin ve akıllı sözleşmelerin yeteneklerini genişletmek, onları daha esnek, uyarlanabilir ve akıllı hale getirmek için tasarlanmış, zengin ve büyüyen bir ekosistem olarak görüyoruz.
zkML, geliştirmenin ilk aşamalarında olmasına rağmen şimdiden umut verici sonuçlar vermeye başladı. Teknoloji gelişip olgunlaştıkça, zincir üzerinde daha yenilikçi zkML kullanım durumları görmeyi bekleyebiliriz.