Поскольку искусственный интеллект (ИИ) все больше внедряется в ключевые области, такие как здравоохранение, финансы и автономное вождение, обеспечение надежности, прозрачности и безопасности процесса вывода машинного обучения (МО) становится более важным, чем когда-либо.

Однако традиционные сервисы машинного обучения часто работают как "черный ящик", где пользователи могут видеть только результаты и им сложно проверить процесс. Эта непрозрачность делает сервисы моделей уязвимыми к рискам:

Модель была украдена,

Результат вывода был злонамеренно подделан,

Данные пользователя находятся под угрозой нарушения конфиденциальности.

ZKML (машинное обучение с доказательством с нулевым разглашением) предоставляет новое криптографическое решение этой задачи. Он основывается на технологии zk-SNARKs, предоставляя моделям машинного обучения возможность быть проверяемо зашифрованными: доказывая, что вычисление было выполнено правильно, не раскрывая никакой конфиденциальной информации.

Другими словами, Доказательства с нулевым разглашением позволяют поставщикам услуг доказывать пользователям, что:

«Полученные вами результаты вывода действительно сгенерированы обученной моделью, которую я запустил, — но я не раскрою никаких параметров модели.»

Это означает, что пользователи могут доверять подлинности результатов вывода, в то время как структура и параметры модели (которые часто являются активами высокого значения) остаются конфиденциальными.

zkPyTorch:

Сеть Polyhedra запустила zkPyTorch, революционный компилятор, специально разработанный для машинного обучения с нулевым разглашением (ZKML), направленный на преодоление последнего этапа между основными AI-фреймворками и технологией ZK.

zkPyTorch глубоко интегрирует мощные возможности машинного обучения PyTorch с передовыми движками zk-SNARKs, позволяя разработчикам ИИ создавать проверяемые ИИ-приложения в знакомой среде, не меняя свои привычки программирования и не изучая совершенно новый язык ZK.

Этот компилятор может автоматически переводить операции высокоуровневой модели (такие как свертка, умножение матриц, ReLU, softmax и механизмы внимания) в криптографически проверяемые схемы ZKP. Он сочетает в себе собственный набор оптимизации ZKML от Polyhedra для интеллектуального сжатия и ускорения основных путей вывода, обеспечивая как корректность, так и вычислительную эффективность схем.

Ключевая инфраструктура для создания надежной экосистемы ИИ

Текущая экосистема машинного обучения сталкивается с множеством проблем, таких как безопасность данных, вычислительная проверяемость и прозрачность моделей. Особенно в критически важных отраслях, таких как здравоохранение, финансы и автономное вождение, модели ИИ не только содержат большое количество конфиденциальной личной информации, но и несут высокую стоимость интеллектуальной собственности и основные коммерческие секреты.

Доказательство с нулевым разглашением Машинное Обучение (ZKML) стало важным прорывом в решении этой дилеммы. С помощью технологии Доказательства с нулевым разглашением (ZKP) ZKML может завершить проверку целостности выводов модели, не раскрывая параметры модели или входные данные — защищая конфиденциальность и обеспечивая доверие.

Но на самом деле разработка ZKML часто имеет высокие требования, требуя глубоких знаний в криптографии, что далеко от того, что традиционные инженеры ИИ могут легко освоить.

Это именно миссия zkPyTorch. Он строит мост между PyTorch и движком ZKP, позволяя разработчикам создавать AI-системы с защитой конфиденциальности и проверяемостью, используя знакомый код, без необходимости заново изучать сложные криптографические языки.

С помощью zkPyTorch сеть Polyhedra значительно снижает технические барьеры ZKML, продвигая масштабируемые и надежные AI-приложения в мейнстрим и восстанавливая новую парадигму безопасности и конфиденциальности AI.

zkPyTorch рабочий процесс

Рисунок 1: Обзор общей архитектуры ZKPyTorch

Как показано на рисунке 1, zkPyTorch автоматически преобразует стандартные модели PyTorch в схемы, совместимые с Доказательством с нулевым разглашением (zk-SNARKs), через три тщательно разработанных модуля. Эти три модуля включают: модуль предварительной обработки, модуль квантования, дружелюбный к нулевому разглашению, и модуль оптимизации схем.

Этот процесс не требует от разработчиков освоения каких-либо криптографических схем или специализированного синтаксиса: разработчикам нужно лишь писать модели, используя стандартный PyTorch, а zkPyTorch может преобразовать их в схемы, которые могут быть распознаны движками доказательства с нулевым разглашением, такими как Expander, генерируя соответствующее ZK доказательство.

Этот высокомодульный дизайн значительно снижает порог разработки ZKML, позволяя разработчикам ИИ легко создавать эффективные, безопасные и проверяемые приложения машинного обучения без необходимости переключения языков или изучения криптографии.

Блок Один: Предобработка модели

На первом этапе zkPyTorch преобразует модель PyTorch в структурированную вычислительную графику, используя формат Open Neural Network Exchange (ONNX). ONNX является принятым в отрасли стандартом промежуточного представления, который может единообразно представлять различные сложные операции машинного обучения. Благодаря этому этапу предварительной обработки, zkPyTorch может прояснить структуру модели и разбить основной вычислительный процесс, laying a solid foundation for generating zk-SNARKs circuits in the subsequent steps.

Модуль 2: Дружелюбная к ZKP количественная оценка

Модуль квантизации является ключевым компонентом системы ZKML. Традиционные модели машинного обучения полагаются на операции с плавающей точкой, в то время как среда ZKP более подходит для целочисленных операций в конечных полях. zkPyTorch использует схему целочисленной квантизации, оптимизированную для конечных полей, точно сопоставляя вычисления с плавающей точкой с целочисленными вычислениями, одновременно преобразуя нелинейные операции, которые неблагоприятны для ZKP (такие как ReLU и Softmax), в эффективные формы таблиц поиска.

Эта стратегия не только значительно снижает сложность схем, но и повышает общую проверяемость и операционную эффективность системы, обеспечивая при этом точность модели.

Модуль 3: Оптимизация иерархических цепей

zkPyTorch использует многоуровневую стратегию для оптимизации цепей, в частности включает:

Пакетная оптимизация
Специально разработанный для сериализованных вычислений, он значительно снижает вычислительную сложность и потребление ресурсов, обрабатывая несколько шагов вывода одновременно, что делает его особенно подходящим для сценариев проверки больших языковых моделей, таких как Трансформеры.

Операция ускорения оригинального языка
Сочетая свёртку с использованием быстрого преобразования Фурье (FFT) с технологией таблиц поиска, скорость выполнения базовых операций, таких как свёртка и Softmax, эффективно увеличивается, что в корне улучшает общую вычислительную эффективность.

Параллельное выполнение цепей
Полностью используйте преимущества вычислительной мощности многоядерных ЦПУ и ГПУ, разделяя тяжелые вычисления, такие как умножение матриц, на несколько подзадач для параллельного выполнения, что значительно улучшает скорость и масштабируемость генерации Доказательства с нулевым разглашением.

Глубокое техническое обсуждение

Направленный ациклический граф (DAG)

zkPyTorch использует ориентированный ациклический граф (DAG) для управления вычислительным потоком машинного обучения. Структура DAG систематически фиксирует сложные зависимости модели, как показано на рисунке 2, где каждая вершина представляет собой конкретную операцию (например, транспонирование матрицы, умножение матриц, деление и Softmax), а ребра точно описывают поток данных между этими операциями.

Это ясное и структурированное представление не только значительно упрощает процесс отладки, но и помогает в глубокой оптимизации производительности. Ацикличная природа DAG избегает круговых зависимостей, обеспечивая эффективное и контролируемое выполнение порядка вычислений, что имеет решающее значение для оптимизации генерации цепей zk-SNARK.

Кроме того, DAG позволяет zkPyTorch эффективно обрабатывать сложные архитектуры моделей, такие как Трансформеры и Остаточные сети (ResNet), которые часто имеют многопутевые, нелинейные сложные потоки данных. Дизайн DAG идеально соответствует их вычислительным потребностям, обеспечивая точность и эффективность вывода модели.

Рисунок 2: Пример модели машинного обучения, представленной в виде направленного ациклического графа (DAG)

Современные количественные методы

В zkPyTorch продвинутые методы квантизации являются ключевым этапом преобразования вычислений с плавающей точкой в целочисленные операции, подходящие для эффективной арифметики конечных полей в системах доказательства с нулевым разглашением (ZKP). zkPyTorch использует статический метод целочисленной квантизации, тщательно разработанный для балансировки вычислительной эффективности и точности модели, обеспечивая быструю и точную генерацию доказательств.

Этот процесс квантизации включает в себя строгую калибровку для точного определения оптимальной шкалы квантизации, позволяющей эффективно представлять числа с плавающей запятой, избегая переполнения и значительной потери точности. Для решения уникальных задач нелинейных операций Доказательства с нулевым разглашением (таких как Softmax и нормализация слоя) zkPyTorch инновационно преобразует эти сложные функции в эффективные операции поиска по таблицам.

Эта стратегия не только значительно улучшает эффективность генерации доказательств, но и гарантирует, что полученные результаты доказательства полностью соответствуют выходным данным высокоточных количественных моделей, находя баланс между производительностью и надежностью, а также продвигая практическое применение проверяемого машинного обучения.

Многоуровневая стратегия оптимизации цепей

zkPyTorch использует высокоразвитую систему оптимизации многослойных цепей, обеспечивая максимальную производительность доказательства с нулевым разглашением в терминах эффективности и масштабируемости с нескольких точек зрения:

Оптимизация пакетной обработки

Упаковка нескольких задач вывода в пакетную обработку значительно снижает общую вычислительную сложность, что особенно подходит для последовательных операций в языковых моделях, таких как Transformers. Как показано на рисунке 3, традиционный процесс вывода больших языковых моделей (LLM) выполняется в режиме генерации токен за токеном, в то время как инновационный подход zkPyTorch агрегирует все входные и выходные токены в едином процессе запроса для валидации. Этот метод обработки может подтвердить общую правильность вывода LLM сразу, при этом гарантируя, что каждый выходной токен соответствует стандартному выводу LLM.

В инференсе LLM корректность механизма кэша KV (кэш ключ-значение) является ключевым моментом для обеспечения надежности выводов инференса. Если логика инференса модели неверна, даже с кэшированием она не сможет воспроизвести результаты, согласующиеся со стандартным процессом декодирования. zkPyTorch гарантирует, что каждый вывод в zk-SNARKs имеет проверяемую детерминированность и полноту, точно воспроизводя этот процесс.

Рисунок 3: Пакетная проверка масштабируемых языковых моделей (LLMs), где L представляет длину входной последовательности, N представляет длину выходной последовательности, а H представляет размерность скрытого слоя модели.

Оптимизированные примитивные операции

zkPyTorch глубоко оптимизировал базовые примитивы машинного обучения, значительно повысив эффективность цепей. Например, операции свертки всегда были вычислительно интенсивными задачами; zkPyTorch использует метод оптимизации, основанный на быстром преобразовании Фурье (FFT), чтобы преобразовать свертки, изначально выполняемые в пространственной области, в операции умножения в частотной области, что значительно снижает вычислительные затраты. В то же время для нелинейных функций, таких как ReLU и softmax, система использует подход с предвычисленной таблицей поиска, избегая нелинейных вычислений, которые не подходят для Доказательства с нулевым разглашением, что значительно повышает операционную эффективность цепей вывода.

Параллельное выполнение цепей

zkPyTorch автоматически компилирует сложные операции машинного обучения в параллельные схемы, полностью используя аппаратные возможности многопроцессорных ЦПУ/ГПУ для достижения масштабной параллельной генерации доказательств. Например, при выполнении умножения тензоров zkPyTorch автоматически разбивает вычислительную задачу на несколько независимых подсобытий, которые затем распределяются на несколько процессорных единиц для одновременного выполнения. Эта стратегия параллелизации не только значительно улучшает пропускную способность выполнения схем, но и делает эффективную проверку больших моделей реальностью, открывая новые горизонты для масштабируемого ZKML.

Комплексное тестирование производительности: двойной прорыв в производительности и точности

zkPyTorch демонстрирует исключительную производительность и практическую полезность в различных популярных моделях машинного обучения благодаря строгому бенчмаркингу:

Тестирование модели VGG-16
В наборе данных CIFAR-10 zkPyTorch требуется всего 6,3 секунды для генерации доказательства VGG-16 для одного изображения, а точность почти неотличима от традиционных вычислений с плавающей запятой. Это подчеркивает практические возможности zkML в классических задачах, таких как распознавание изображений.

Тестирование модели Llama-3
Для языковой модели Llama-3 с объемом до 8 миллиардов параметров, zkPyTorch достигает эффективной генерации доказательств за около 150 секунд на токен. Еще более впечатляюще, что ее вывод сохраняет косинусное сходство 99,32% по сравнению с оригинальной моделью, обеспечивая высокую достоверность при сохранении семантической согласованности выходных данных модели.

Таблица 1: Производительность различных схем Доказательства с нулевым разглашением в свёрточных нейронных сетях и трансформерных сетях

Широкий спектр сценариев применения в реальном мире

Проверяемый MLaaS

С ростом ценности моделей машинного обучения все больше разработчиков ИИ выбирают развертывание своих собственных моделей в облаке, предлагая услуги MLaaS (Machine-Learning-as-a-Service). Однако на практике пользователи часто сталкиваются с трудностями в проверке подлинности и надежности результатов вывода; в то же время, поставщики моделей также стремятся защитить свои основные активы, такие как структура модели и параметры, чтобы предотвратить кражу или неправомерное использование.

zkPyTorch был создан для решения этого противоречия: он позволяет облачным AI-сервисам иметь нативные «возможности проверки с нулевым разглашением», достигая проверяемых результатов вывода на уровне шифрования.

Как показано на рисунке 4, разработчики могут напрямую интегрировать крупные модели, такие как Llama-3, в zkPyTorch для создания надежной системы MLaaS с возможностями доказательства с нулевым разглашением. Благодаря бесшовной интеграции с базовым ZKP-движком, zkPyTorch может автоматически генерировать доказательства, не раскрывая детали модели, проверяя, выполняется ли каждое вывод правильно, тем самым устанавливая поистине надежный интерактивный фундамент доверия для поставщиков моделей и пользователей.

Рисунок 4: Сценарии применения zkPyTorch в проверяемом MLaaS.

Безопасное сопровождение оценки модели

zkPyTorch предоставляет безопасный и проверяемый механизм оценки ИИ-моделей, позволяя заинтересованным сторонам осторожно оценивать ключевые показатели эффективности без раскрытия деталей модели. Этот метод оценки «нулевого разглашения» устанавливает новый стандарт доверия для ИИ-моделей, повышая эффективность коммерческих транзакций, защищая при этом права интеллектуальной собственности разработчиков. Это не только увеличивает видимость ценности модели, но и приносит большую прозрачность и справедливость всей индустрии ИИ.

Глубокая интеграция с блокчейном EXPchain

zkPyTorch нативно интегрируется с блокчейн-сетью EXPchain, независимо разработанной компанией Polyhedra Network, совместно создавая надежную децентрализованную ИИ-инфраструктуру. Эта интеграция предоставляет высоко оптимизированный путь для вызовов смарт-контрактов и верификации в сети, позволяя криптографически подтверждать результаты ИИ-выводов и навсегда хранить их в блокчейне.

Сотрудничая с zkPyTorch и EXPchain, разработчики могут создавать полностью проверяемые приложения ИИ от развертывания модели, вычисления вывода до проверки в цепочке, что действительно реализует прозрачный, надежный и подлежащий аудиту процесс вычисления ИИ, обеспечивая базовую поддержку для следующего поколения приложений blockchain + AI.

Будущая дорожная карта и постоянные инновации

Polyhedra будет продолжать продвигать эволюцию zkPyTorch, сосредоточив внимание на следующих аспектах:

Открытый исходный код и совместное строительство сообщества

Постепенно открывать исходный код основных компонентов zkPyTorch, вдохновляя глобальных разработчиков участвовать и способствуя совместным инновациям и экологическому процветанию в области Доказательства с нулевым разглашением машинного обучения.

Расширить совместимость модели и фреймворка

Расширить диапазон поддержки основных моделей и фреймворков машинного обучения, further enhance the adaptability and versatility of zkPyTorch, making it flexible to integrate into various AI workflows.

Инструменты разработки и создание SDK

Запустите комплексный инструментальный набор для разработки и программный комплект для разработки (SDK), чтобы упростить процесс интеграции и ускорить развертывание и применение zkPyTorch в практических бизнес-сценариях.

Заключение

zkPyTorch является важной вехой на пути к надежному будущему ИИ. Глубокая интеграция зрелой платформы PyTorch с передовой технологией zk-SNARKs не только значительно усиливает безопасность и проверяемость машинного обучения, но и переосмысливает методы развертывания и границы доверия приложений ИИ.

Polyhedra продолжит внедрять инновации в области "безопасного ИИ", продвигая машинное обучение к более высоким стандартам защиты конфиденциальности, проверяемости результатов и соответствия моделей, помогая строить прозрачные, надежные и масштабируемые интеллектуальные системы.

Следите за нашими последними обновлениями и наблюдайте, как zkPyTorch формирует будущее безопасной интеллектуальной эпохи.

Заявление:

1. Эта статья воспроизведена из [БЛОКБИТС] Авторские права принадлежат оригинальному автору [Цзяхэн Чжан] Если у вас есть какие-либо возражения против перепечатки, пожалуйста, свяжитесь с Команда Gate LearnКоманда обработает это как можно быстрее в соответствии с соответствующими процедурами.
2. Отказ от ответственности: Мнения и взгляды, выраженные в этой статье, являются исключительно мнением автора и не представляют собой инвестиционного совета.
3. Другие языковые версии статьи переведены командой Gate Learn, если не указано иное.ГейтПри таких обстоятельствах копирование, распространение или плагиат переведённых статей не допускаются.