Autor｜Yao Qian "Director de la Oficina de Supervisión de Tecnología de la Comisión Reguladora de Valores de China"
Fuente｜ "Finanzas de China" Número 13, 2023
Fuente de la imagen: Generada por Unbounded AI
Al entrar en 2023, las aplicaciones de inteligencia artificial orientadas a la generación de contenido, como ChatGPT, GPT4 y Midjourney, han desencadenado ronda tras ronda de oleadas de innovación. Algunas personas incluso piensan que el modelo grande evoluciona iterativamente en unidades de días. Como nuevo factor de producción, el desarrollo benigno y sostenible de los datos de entrenamiento de modelos grandes es crucial para el desarrollo de las industrias de modelos grandes e inteligencia artificial. Como un campo importante de aplicaciones de big data e inteligencia artificial, la industria financiera debe prestar mucha atención a los últimos desarrollos en tecnologías relacionadas con la capacitación de modelos grandes. Este documento primero analiza la evolución y la ruta de actualización de los modelos grandes, y luego analiza los posibles métodos de interacción entre los modelos grandes y los modelos pequeños y medianos, y expone la ecología de datos y la construcción ecológica de modelos de modelos grandes. la ecología proporciona ideas relevantes.
Análisis de ruta de actualización y evolución de modelos grandes
Desde una perspectiva a largo plazo, la evolución de los modelos grandes tiene muchas ramas. Recientemente, la velocidad de iteración de los modelos grandes no solo se ha acelerado, sino también cada vez más participantes, cubriendo básicamente a todas las grandes empresas de tecnología, y la diversidad y complejidad de la ecología han surgido inicialmente.
En la actualidad, no hay ningún cambio esencial en el marco del algoritmo subyacente en el proceso iterativo de actualización del modelo grande. La entrada de potencia informática y la abundancia de datos de entrenamiento siguen siendo la clave de su rápida evolución, pero el último GPT4 presenta algunas novedades. características.
**Una es que el algoritmo es más adecuado para tareas posteriores específicas. **GPT3 y GPT3.5 son modelos grandes con 175 mil millones de parámetros. GPT4 no ha anunciado parámetros específicos en la actualidad, pero algunas personas especulan que sus parámetros alcanzarán billones de niveles. Al mismo tiempo, también tendrá una mejora significativa en el aprendizaje por refuerzo y la resolución de tareas específicas. El término más popular es "alineación". . Si los modelos de la serie GPT3 demuestran a todos que la inteligencia artificial puede realizar múltiples tareas en un solo modelo, entonces GPT4 ha alcanzado o incluso superado los niveles humanos en muchas tareas, el 10% superior más o menos.
**El segundo es tener capacidades de gobierno de datos de capacitación más estandarizadas y admitir la multimodalidad. **GPT4 tiene una capacidad multimodal "comparable al cerebro humano", que no es muy diferente del mecanismo multimodal descrito en muchos artículos actuales, pero puede combinar la capacidad de procesamiento de pocas muestras del modelo de texto con la cadena de pensamiento (Chain of Thought), CoT) combinados. La gobernanza y el suministro de datos de capacitación de GPT4 son inseparables del etiquetado de datos, la gestión y evaluación de datos, la automatización de datos y la síntesis de datos.
El tercero es construir un clúster de poder de cómputo más poderoso para cumplir con más conjuntos de datos de entrenamiento y parámetros de entrada más grandes. ** Por ejemplo, Microsoft ha dedicado más de la mitad de sus recursos en la nube al entrenamiento de modelos grandes y aplicaciones de contenido generado por inteligencia artificial (AIGC). Nvidia incluso unió fuerzas con TSMC, ASML y Synopsys para crear una nueva plataforma informática y una GPU más potente.
Construya un ecosistema donde varios modelos estén interconectados
Los modelos grandes similares a GPT son poderosos y se convertirán en una de las infraestructuras importantes en muchas industrias, como Internet, finanzas y campos médicos en el futuro. Por ejemplo, en el campo financiero, después de capacitarse con datos profesionales relevantes, el modelo grande puede tener la capacidad de comprender el conocimiento del negocio financiero y puede proponer soluciones para escenarios específicos, apoyando a las instituciones financieras para llevar a cabo la automatización de marketing, la minería de relaciones con los clientes, inteligente identificación de riesgos, atención al cliente inteligente, investigación inteligente de inversiones, etc.
Sin embargo, en el proceso de implementación de aplicaciones específicas, los modelos grandes similares a GPT enfrentarán una serie de desafíos. Uno es cómo asegurar la cantidad y calidad de los datos de entrenamiento. En términos generales, el corpus de entrenamiento de modelos grandes es un corpus de propósito general de múltiples campos, mientras que la recopilación de corpus profesionales suele llevar mucho tiempo y es laboriosa, y también hay problemas de privacidad. Como resultado, los modelos grandes pueden parecer profesionales en aspectos específicos. campos de aplicación individuales inadecuación sexual. El segundo es cómo reducir los costos de operación y mantenimiento de los modelos grandes. Los modelos grandes requieren un gran soporte de potencia informática y un control estricto de los datos. A menudo, es difícil para las instituciones ordinarias y los departamentos de aplicaciones respaldar la operación y la actualización iterativa de los modelos grandes. Con este fin, es necesario establecer una ecología de interacción saludable y coevolución de varios modelos para garantizar que la industria de la inteligencia artificial relacionada con modelos grandes pueda implementarse con éxito en varios campos de aplicación.
Desde un punto de vista técnico, la evolución de modelos grandes se basa en el aprendizaje por refuerzo con retroalimentación humana (Reinforcement Learning from Human Feedback, RLHF).El etiquetado de datos que utiliza es diferente del trabajo de etiquetado de datos simple realizado con mano de obra de bajo costo en el pasado Las personas muy profesionales escribirán entradas y darán respuestas de alta calidad que se ajusten a la lógica humana y la expresión para las preguntas e instrucciones correspondientes. Sin embargo, debido a la brecha entre la interacción humana y la máquina, el modo ideal es llevar a cabo el aprendizaje por refuerzo a través de la interacción entre modelos, es decir, el aprendizaje por refuerzo que depende de la retroalimentación del modelo (Reinforcement Learning from Model Feedback, RLMF). En función de la interacción de varios modelos, los datos y la ecología del modelo de todo el modelo grande se pueden unificar en un marco.
En el pasado, bajo el modelo de desarrollo de modelo descentralizado, múltiples tareas en un solo escenario de aplicación de inteligencia artificial necesitaban ser respaldadas por múltiples modelos, y cada construcción de modelo tenía que pasar por el proceso de desarrollo de algoritmos, procesamiento de datos, entrenamiento y ajuste de modelos. El modelo grande preentrenado mejora la versatilidad y la generalización de la inteligencia artificial. Basado en el modelo grande, el ajuste fino con muestras cero o muestras pequeñas puede lograr mejores resultados en varias tareas. El modelo grande de "preentrenamiento + ajuste fino" ha traído un nuevo paradigma estandarizado a la investigación y el desarrollo de inteligencia artificial, lo que permite que los modelos de inteligencia artificial logren una producción a gran escala de una manera más unificada y concisa. Centrándose en la innovación tecnológica y la implementación de aplicaciones, los datos y la ecología industrial de los modelos grandes se pueden dividir en infraestructura (incluido el corpus general y las plataformas de potencia informática), modelos grandes básicos y servicios de modelos grandes (incluidos los datos sintéticos, el suministro de modelos y el complemento de aplicaciones). -En s). En las aplicaciones posteriores, los usuarios pueden implementar sus propios modelos pequeños para mejorar el rendimiento a través de varios servicios del modelo grande y, al mismo tiempo, proporcionar los servicios de retroalimentación correspondientes al modelo grande a la inversa para ayudar a evolucionar iterativamente el modelo grande (consulte la Figura 1).
El modelo grande básico es el motor central de la ecología industrial del modelo grande. Sus ventajas radican en su basicidad y versatilidad. Está orientado a tareas típicas como el procesamiento del lenguaje natural, la visión artificial y las tareas intermodales. Combina además las características de las tareas , optimiza los algoritmos del modelo y aprende datos y conocimientos relacionados, de modo que los modelos grandes puedan mostrar mejores resultados e incluso se puedan aplicar directamente con muestras cero.
El modelo pequeño tiene las características de tamaño pequeño (generalmente al nivel de decenas de miles de millones de parámetros), fácil entrenamiento y mantenimiento, por lo que es adecuado para varios campos verticales y desarrollo interno y uso en varias industrias. En general, los modelos pequeños son menos costosos de entrenar, pero tienen mucho menos rendimiento que los modelos grandes. A través de la aplicación interactiva de modelos grandes y pequeños, el modelo pequeño puede obtener parte de las capacidades del modelo grande o realizar algunas funciones, de modo que el rendimiento del modelo pequeño se puede mejorar en gran medida sin aumentar los costos de operación y mantenimiento, y cumple con los requisitos específicos. requerimientos de aplicacion. Las formas de interacción de modelos grandes y pequeños se pueden dividir en tres categorías: interacción de datos, interacción de modelos e interacción de aplicaciones (consulte la Figura 2).
* Interacción de datos
La interacción de datos significa que los modelos grandes y pequeños no participan directamente en el proceso de entrenamiento o razonamiento del otro, sino que interactúan indirectamente a través de los datos generados por el otro. El entrenamiento de modelos grandes generalmente requiere un corpus de uso general a gran escala. Por ejemplo, el corpus de entrenamiento de GPT3 alcanza los 753 GB, que proviene de múltiples fuentes de datos como Wikipedia. El corpus de propósito general se refiere al corpus que cubre múltiples campos, y la cobertura de conocimiento en algunos campos específicos puede ser insuficiente. Una vez que se completa el entrenamiento del modelo grande, se puede generar algún corpus sintético específico del dominio a través de instrucciones y luego, a través del despliegue localizado, el modelo pequeño se puede entrenar junto con el corpus dedicado del campo o el corpus privado de la industria. El campo del corpus de entrenamiento de modelos pequeños está relativamente concentrado, por lo que el conocimiento en este campo se puede dominar sistemáticamente, de modo que el resultado del modelo sea más profesional, más detallado y más preciso. El papel del modelo grande en este proceso es generar un corpus sintético de alta calidad a gran escala, de modo que el entrenamiento del modelo pequeño pueda ser más adecuado y evitar el sobreajuste del modelo debido al tamaño pequeño del corpus especial. o corpus privado. Por el contrario, el corpus profesional generado por el modelo pequeño también se puede utilizar como complemento del corpus de formación del modelo grande para mejorar las capacidades profesionales del modelo grande en diferentes campos, de modo que el modelo grande pueda seguir evolucionando iterativamente.
Para lograr la interacción de datos entre modelos grandes y pequeños, además de confiar en la organización de gestión de fuentes de datos, también es necesario considerar el establecimiento de una organización de custodia y comercio de datos, de modo que se puedan controlar los datos de entrenamiento de modelos grandes y pequeños. y fluyó de manera ordenada, y la asignación correspondiente para todas las partes es razonable.derechos e intereses.
Interacción del modelo
Además de la interacción indirecta de datos, los modelos grandes y pequeños también pueden interactuar a nivel de modelo. Al participar en el proceso de entrenamiento del otro, ambas partes pueden beneficiarse mutuamente y mejorar la eficiencia de iteración de los modelos grandes. Por un lado, los modelos grandes pueden guiar el entrenamiento de modelos pequeños, y el método comúnmente utilizado es la destilación del conocimiento. En el modo de aprendizaje de destilación, el modelo grande entrenado se puede usar como modelo de maestro, y el modelo pequeño a entrenar se puede usar como modelo de estudiante.Para el mismo lote de datos de entrenamiento, mediante el diseño de una función de pérdida razonable, el software las etiquetas generadas por el modelo grande y los propios datos de entrenamiento Las etiquetas duras guían conjuntamente el entrenamiento de los modelos pequeños. De manera similar, el modelo pequeño también puede realizar una destilación inversa en el modelo grande y usar el modelo pequeño para hacer juicios de valor de muestra para ayudar al modelo grande a acelerar la convergencia, después de ajustar aún más el modelo pequeño entrenado en el conjunto de datos aguas abajo, una muestra Se obtiene el modelo de juicio de valor.
Interacción de la aplicación
La forma habitual de que los modelos grandes y pequeños interactúen en el nivel de la aplicación es el modo de complemento, que encapsula la aplicación creada por el modelo en un servicio de complemento para que llamen otros modelos. El modo plug-in tiene dos ventajas: una es conveniente y eficiente, y no es necesario volver a entrenar el modelo; la otra es un buen aislamiento, que puede evitar la fuga de detalles del modelo, protegiendo así mejor los derechos e intereses de los entrenadores de modelos. y usuarios
Por un lado, el modelo grande adopta básicamente el método de preentrenamiento y el rendimiento en tiempo real no es alto. Al llamar al complemento de la aplicación de modelo pequeño, la aplicación de modelo grande no solo puede mejorar el rendimiento en tiempo real de los resultados de salida, sino también ampliar su falta de conocimiento en campos específicos. Por otro lado, las aplicaciones creadas con modelos pequeños también pueden obtener directamente las potentes capacidades de generación y razonamiento de los modelos grandes llamando a los complementos proporcionados por modelos grandes similares a GPT. Este método de interacción de aplicaciones puede salvar pequeños modelos del proceso de formación de conocimientos generales y centrarse en la producción de contenido en campos específicos a un menor costo.Los usuarios también pueden sentir la reacción "química" que produce la interconexión de varios modelos.
Los complementos de ChatGPT del nuevo producto lanzado recientemente por Open AI (Open AI) pueden conectar ChatGPT y aplicaciones de terceros a través de complementos de aplicaciones. Estas aplicaciones de terceros se pueden construir a partir de pequeños modelos de un solo dominio. De esta manera, el modelo pequeño puede completar una variedad de funciones extendidas en el modelo grande similar a ChatGPT, como recuperar información en tiempo real o información de la base de conocimientos, y reemplazar a los usuarios con "programación inteligente" del mundo real.
Estandarización y control de seguridad de datos de entrenamiento de modelos grandes y cadenas de herramientas de modelos
El rendimiento de un modelo grande depende de la calidad de los datos de entrenamiento. Al mismo tiempo, las especificaciones técnicas subyacentes requeridas por el modelo en diferentes escenarios de aterrizaje también son diferentes. Por lo tanto, para construir una buena ecología industrial con desarrollo sostenible e interacción saludable de modelos grandes, es necesario promover la estandarización de datos de entrenamiento de modelos grandes y tecnologías subyacentes, y acelerar la iteración e implementación de modelos.
Por un lado, el conjunto de datos de entrenamiento del propio modelo grande y la interfaz de servicio de datos (API) definida se convertirán en el estándar de facto de la industria, y varias aplicaciones que acceden al modelo grande deben seguir este estándar. En la actualidad, el modelo de "preentrenamiento + ajuste fino" se ha convertido en un proceso y paradigma estándar unificado en la industria. Sobre esta base, combinada con escenarios de aplicación específicos y datos profesionales, los modelos pequeños en varios campos e industrias se pueden personalizar y optimizar aún más. Hasta cierto punto, los estándares de interfaz de servicio de datos y datos de capacitación de modelos grandes se convertirán en uno de los núcleos de la próxima generación de estándares internacionales.
Por otro lado, la cadena de herramientas requerida por la tecnología subyacente para procesar datos de entrenamiento de modelos grandes también se debe producir y estandarizar. Con el fuerte apoyo de los servicios técnicos estandarizados, el modelo grande puede generar soluciones técnicas como adaptación de hardware, destilación y compresión de modelos, entrenamiento y aceleración distribuidos de modelos, base de datos vectorial, base de datos de gráficos e interconexión de modelos, proporcionando procesamiento de lenguaje natural, visión por computadora, Varias capacidades, como la modalidad cruzada y los gráficos de conocimiento, permiten que más empresas y desarrolladores apliquen modelos grandes a sus propios negocios y construyan modelos verticales de la industria con un umbral bajo, promoviendo así la implementación generalizada de inteligencia artificial en varios campos.
Vale la pena señalar que, si bien el desarrollo y la aplicación de modelos grandes generarán enormes beneficios para el desarrollo industrial y económico, si no se controlan adecuadamente, también generarán riesgos para la seguridad nacional e industrial. Uno es el riesgo de fuga de datos. El entrenamiento y la implementación de modelos grandes deben estar respaldados por cantidades masivas de datos, incluida la industria o información confidencial personal. Si no existe un mecanismo razonable de desensibilización y custodia de datos, puede causar fugas de datos y pérdidas para la industria y las personas. El segundo es el riesgo de seguridad modelo. Por ejemplo, los complementos pueden implantarse con contenido dañino y convertirse en una herramienta para el fraude y el "envenenamiento" por parte de los delincuentes, poniendo en peligro la seguridad social e industrial.
Sugerencias relacionadas
**Usando datos de entrenamiento de modelos grandes como punto de partida, la formulación estándar y el gobierno de datos tienen dos vertientes. ** Promover el desarrollo estandarizado de la industria formulando especificaciones modelo de aplicación y unificando estándares de interfaz. Se puede considerar albergar los datos sintéticos del modelo para fortalecer la supervisión y garantizar el cumplimiento del contenido de los datos, derechos e intereses claros y circulación fluida. Al mismo tiempo, mejore las leyes y los reglamentos, optimice las políticas y los sistemas, forme una fuerza reguladora conjunta de varias formas y métodos, y evite estrictamente la manipulación maliciosa de los modelos y la infiltración de datos dañinos.
**Construir un gran mercado de elementos de datos de entrenamiento modelo. ** Aclarar la cadena industrial entre la recopilación y el procesamiento de datos de capacitación, los servicios de datos sintéticos, la interconexión entre modelos grandes y pequeños y las API de aplicaciones. Acelerar la construcción del mercado de elementos de datos, proporcionar precios orientados al mercado para los datos de capacitación y facilitar la distribución y los incentivos de derechos e intereses.
**Construir una buena ecología de desarrollo simbiótico y promoción mutua de modelos grandes y pequeños. **En general, no existe una diferencia intergeneracional en el nivel del algoritmo de los grandes modelos convencionales en el país y en el extranjero, pero existe una brecha en la potencia informática y los datos. Se recomienda apoyar enérgicamente a las empresas de tecnología líderes nacionales para que desarrollen modelos domésticos a gran escala independientes y controlables en el campo general. Al mismo tiempo, alentar a todos los campos verticales a utilizar herramientas de código abierto para construir cadenas de herramientas independientes estandarizadas y controlables sobre la base de modelos grandes, para explorar "grande y fuerte". También desarrolla un modelo de industria vertical "pequeño y hermoso", para construir una buena ecología de simbiosis interactiva y evolución iterativa entre el modelo grande básico y el modelo pequeño profesional.
(Editor a cargo Zhang Lin)
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Yao Qian: algunas reflexiones sobre la construcción ecológica de modelos a gran escala
Autor｜Yao Qian "Director de la Oficina de Supervisión de Tecnología de la Comisión Reguladora de Valores de China"
Fuente｜ "Finanzas de China" Número 13, 2023
Al entrar en 2023, las aplicaciones de inteligencia artificial orientadas a la generación de contenido, como ChatGPT, GPT4 y Midjourney, han desencadenado ronda tras ronda de oleadas de innovación. Algunas personas incluso piensan que el modelo grande evoluciona iterativamente en unidades de días. Como nuevo factor de producción, el desarrollo benigno y sostenible de los datos de entrenamiento de modelos grandes es crucial para el desarrollo de las industrias de modelos grandes e inteligencia artificial. Como un campo importante de aplicaciones de big data e inteligencia artificial, la industria financiera debe prestar mucha atención a los últimos desarrollos en tecnologías relacionadas con la capacitación de modelos grandes. Este documento primero analiza la evolución y la ruta de actualización de los modelos grandes, y luego analiza los posibles métodos de interacción entre los modelos grandes y los modelos pequeños y medianos, y expone la ecología de datos y la construcción ecológica de modelos de modelos grandes. la ecología proporciona ideas relevantes.
Análisis de ruta de actualización y evolución de modelos grandes
Desde una perspectiva a largo plazo, la evolución de los modelos grandes tiene muchas ramas. Recientemente, la velocidad de iteración de los modelos grandes no solo se ha acelerado, sino también cada vez más participantes, cubriendo básicamente a todas las grandes empresas de tecnología, y la diversidad y complejidad de la ecología han surgido inicialmente.
En la actualidad, no hay ningún cambio esencial en el marco del algoritmo subyacente en el proceso iterativo de actualización del modelo grande. La entrada de potencia informática y la abundancia de datos de entrenamiento siguen siendo la clave de su rápida evolución, pero el último GPT4 presenta algunas novedades. características.
**Una es que el algoritmo es más adecuado para tareas posteriores específicas. **GPT3 y GPT3.5 son modelos grandes con 175 mil millones de parámetros. GPT4 no ha anunciado parámetros específicos en la actualidad, pero algunas personas especulan que sus parámetros alcanzarán billones de niveles. Al mismo tiempo, también tendrá una mejora significativa en el aprendizaje por refuerzo y la resolución de tareas específicas. El término más popular es "alineación". . Si los modelos de la serie GPT3 demuestran a todos que la inteligencia artificial puede realizar múltiples tareas en un solo modelo, entonces GPT4 ha alcanzado o incluso superado los niveles humanos en muchas tareas, el 10% superior más o menos.
**El segundo es tener capacidades de gobierno de datos de capacitación más estandarizadas y admitir la multimodalidad. **GPT4 tiene una capacidad multimodal "comparable al cerebro humano", que no es muy diferente del mecanismo multimodal descrito en muchos artículos actuales, pero puede combinar la capacidad de procesamiento de pocas muestras del modelo de texto con la cadena de pensamiento (Chain of Thought), CoT) combinados. La gobernanza y el suministro de datos de capacitación de GPT4 son inseparables del etiquetado de datos, la gestión y evaluación de datos, la automatización de datos y la síntesis de datos.
El tercero es construir un clúster de poder de cómputo más poderoso para cumplir con más conjuntos de datos de entrenamiento y parámetros de entrada más grandes. ** Por ejemplo, Microsoft ha dedicado más de la mitad de sus recursos en la nube al entrenamiento de modelos grandes y aplicaciones de contenido generado por inteligencia artificial (AIGC). Nvidia incluso unió fuerzas con TSMC, ASML y Synopsys para crear una nueva plataforma informática y una GPU más potente.
Construya un ecosistema donde varios modelos estén interconectados
Los modelos grandes similares a GPT son poderosos y se convertirán en una de las infraestructuras importantes en muchas industrias, como Internet, finanzas y campos médicos en el futuro. Por ejemplo, en el campo financiero, después de capacitarse con datos profesionales relevantes, el modelo grande puede tener la capacidad de comprender el conocimiento del negocio financiero y puede proponer soluciones para escenarios específicos, apoyando a las instituciones financieras para llevar a cabo la automatización de marketing, la minería de relaciones con los clientes, inteligente identificación de riesgos, atención al cliente inteligente, investigación inteligente de inversiones, etc.
Sin embargo, en el proceso de implementación de aplicaciones específicas, los modelos grandes similares a GPT enfrentarán una serie de desafíos. Uno es cómo asegurar la cantidad y calidad de los datos de entrenamiento. En términos generales, el corpus de entrenamiento de modelos grandes es un corpus de propósito general de múltiples campos, mientras que la recopilación de corpus profesionales suele llevar mucho tiempo y es laboriosa, y también hay problemas de privacidad. Como resultado, los modelos grandes pueden parecer profesionales en aspectos específicos. campos de aplicación individuales inadecuación sexual. El segundo es cómo reducir los costos de operación y mantenimiento de los modelos grandes. Los modelos grandes requieren un gran soporte de potencia informática y un control estricto de los datos. A menudo, es difícil para las instituciones ordinarias y los departamentos de aplicaciones respaldar la operación y la actualización iterativa de los modelos grandes. Con este fin, es necesario establecer una ecología de interacción saludable y coevolución de varios modelos para garantizar que la industria de la inteligencia artificial relacionada con modelos grandes pueda implementarse con éxito en varios campos de aplicación.
Desde un punto de vista técnico, la evolución de modelos grandes se basa en el aprendizaje por refuerzo con retroalimentación humana (Reinforcement Learning from Human Feedback, RLHF).El etiquetado de datos que utiliza es diferente del trabajo de etiquetado de datos simple realizado con mano de obra de bajo costo en el pasado Las personas muy profesionales escribirán entradas y darán respuestas de alta calidad que se ajusten a la lógica humana y la expresión para las preguntas e instrucciones correspondientes. Sin embargo, debido a la brecha entre la interacción humana y la máquina, el modo ideal es llevar a cabo el aprendizaje por refuerzo a través de la interacción entre modelos, es decir, el aprendizaje por refuerzo que depende de la retroalimentación del modelo (Reinforcement Learning from Model Feedback, RLMF). En función de la interacción de varios modelos, los datos y la ecología del modelo de todo el modelo grande se pueden unificar en un marco.
En el pasado, bajo el modelo de desarrollo de modelo descentralizado, múltiples tareas en un solo escenario de aplicación de inteligencia artificial necesitaban ser respaldadas por múltiples modelos, y cada construcción de modelo tenía que pasar por el proceso de desarrollo de algoritmos, procesamiento de datos, entrenamiento y ajuste de modelos. El modelo grande preentrenado mejora la versatilidad y la generalización de la inteligencia artificial. Basado en el modelo grande, el ajuste fino con muestras cero o muestras pequeñas puede lograr mejores resultados en varias tareas. El modelo grande de "preentrenamiento + ajuste fino" ha traído un nuevo paradigma estandarizado a la investigación y el desarrollo de inteligencia artificial, lo que permite que los modelos de inteligencia artificial logren una producción a gran escala de una manera más unificada y concisa. Centrándose en la innovación tecnológica y la implementación de aplicaciones, los datos y la ecología industrial de los modelos grandes se pueden dividir en infraestructura (incluido el corpus general y las plataformas de potencia informática), modelos grandes básicos y servicios de modelos grandes (incluidos los datos sintéticos, el suministro de modelos y el complemento de aplicaciones). -En s). En las aplicaciones posteriores, los usuarios pueden implementar sus propios modelos pequeños para mejorar el rendimiento a través de varios servicios del modelo grande y, al mismo tiempo, proporcionar los servicios de retroalimentación correspondientes al modelo grande a la inversa para ayudar a evolucionar iterativamente el modelo grande (consulte la Figura 1).
El modelo pequeño tiene las características de tamaño pequeño (generalmente al nivel de decenas de miles de millones de parámetros), fácil entrenamiento y mantenimiento, por lo que es adecuado para varios campos verticales y desarrollo interno y uso en varias industrias. En general, los modelos pequeños son menos costosos de entrenar, pero tienen mucho menos rendimiento que los modelos grandes. A través de la aplicación interactiva de modelos grandes y pequeños, el modelo pequeño puede obtener parte de las capacidades del modelo grande o realizar algunas funciones, de modo que el rendimiento del modelo pequeño se puede mejorar en gran medida sin aumentar los costos de operación y mantenimiento, y cumple con los requisitos específicos. requerimientos de aplicacion. Las formas de interacción de modelos grandes y pequeños se pueden dividir en tres categorías: interacción de datos, interacción de modelos e interacción de aplicaciones (consulte la Figura 2).
La interacción de datos significa que los modelos grandes y pequeños no participan directamente en el proceso de entrenamiento o razonamiento del otro, sino que interactúan indirectamente a través de los datos generados por el otro. El entrenamiento de modelos grandes generalmente requiere un corpus de uso general a gran escala. Por ejemplo, el corpus de entrenamiento de GPT3 alcanza los 753 GB, que proviene de múltiples fuentes de datos como Wikipedia. El corpus de propósito general se refiere al corpus que cubre múltiples campos, y la cobertura de conocimiento en algunos campos específicos puede ser insuficiente. Una vez que se completa el entrenamiento del modelo grande, se puede generar algún corpus sintético específico del dominio a través de instrucciones y luego, a través del despliegue localizado, el modelo pequeño se puede entrenar junto con el corpus dedicado del campo o el corpus privado de la industria. El campo del corpus de entrenamiento de modelos pequeños está relativamente concentrado, por lo que el conocimiento en este campo se puede dominar sistemáticamente, de modo que el resultado del modelo sea más profesional, más detallado y más preciso. El papel del modelo grande en este proceso es generar un corpus sintético de alta calidad a gran escala, de modo que el entrenamiento del modelo pequeño pueda ser más adecuado y evitar el sobreajuste del modelo debido al tamaño pequeño del corpus especial. o corpus privado. Por el contrario, el corpus profesional generado por el modelo pequeño también se puede utilizar como complemento del corpus de formación del modelo grande para mejorar las capacidades profesionales del modelo grande en diferentes campos, de modo que el modelo grande pueda seguir evolucionando iterativamente.
Para lograr la interacción de datos entre modelos grandes y pequeños, además de confiar en la organización de gestión de fuentes de datos, también es necesario considerar el establecimiento de una organización de custodia y comercio de datos, de modo que se puedan controlar los datos de entrenamiento de modelos grandes y pequeños. y fluyó de manera ordenada, y la asignación correspondiente para todas las partes es razonable.derechos e intereses.
Además de la interacción indirecta de datos, los modelos grandes y pequeños también pueden interactuar a nivel de modelo. Al participar en el proceso de entrenamiento del otro, ambas partes pueden beneficiarse mutuamente y mejorar la eficiencia de iteración de los modelos grandes. Por un lado, los modelos grandes pueden guiar el entrenamiento de modelos pequeños, y el método comúnmente utilizado es la destilación del conocimiento. En el modo de aprendizaje de destilación, el modelo grande entrenado se puede usar como modelo de maestro, y el modelo pequeño a entrenar se puede usar como modelo de estudiante.Para el mismo lote de datos de entrenamiento, mediante el diseño de una función de pérdida razonable, el software las etiquetas generadas por el modelo grande y los propios datos de entrenamiento Las etiquetas duras guían conjuntamente el entrenamiento de los modelos pequeños. De manera similar, el modelo pequeño también puede realizar una destilación inversa en el modelo grande y usar el modelo pequeño para hacer juicios de valor de muestra para ayudar al modelo grande a acelerar la convergencia, después de ajustar aún más el modelo pequeño entrenado en el conjunto de datos aguas abajo, una muestra Se obtiene el modelo de juicio de valor.
La forma habitual de que los modelos grandes y pequeños interactúen en el nivel de la aplicación es el modo de complemento, que encapsula la aplicación creada por el modelo en un servicio de complemento para que llamen otros modelos. El modo plug-in tiene dos ventajas: una es conveniente y eficiente, y no es necesario volver a entrenar el modelo; la otra es un buen aislamiento, que puede evitar la fuga de detalles del modelo, protegiendo así mejor los derechos e intereses de los entrenadores de modelos. y usuarios
Por un lado, el modelo grande adopta básicamente el método de preentrenamiento y el rendimiento en tiempo real no es alto. Al llamar al complemento de la aplicación de modelo pequeño, la aplicación de modelo grande no solo puede mejorar el rendimiento en tiempo real de los resultados de salida, sino también ampliar su falta de conocimiento en campos específicos. Por otro lado, las aplicaciones creadas con modelos pequeños también pueden obtener directamente las potentes capacidades de generación y razonamiento de los modelos grandes llamando a los complementos proporcionados por modelos grandes similares a GPT. Este método de interacción de aplicaciones puede salvar pequeños modelos del proceso de formación de conocimientos generales y centrarse en la producción de contenido en campos específicos a un menor costo.Los usuarios también pueden sentir la reacción "química" que produce la interconexión de varios modelos.
Los complementos de ChatGPT del nuevo producto lanzado recientemente por Open AI (Open AI) pueden conectar ChatGPT y aplicaciones de terceros a través de complementos de aplicaciones. Estas aplicaciones de terceros se pueden construir a partir de pequeños modelos de un solo dominio. De esta manera, el modelo pequeño puede completar una variedad de funciones extendidas en el modelo grande similar a ChatGPT, como recuperar información en tiempo real o información de la base de conocimientos, y reemplazar a los usuarios con "programación inteligente" del mundo real.
Estandarización y control de seguridad de datos de entrenamiento de modelos grandes y cadenas de herramientas de modelos
El rendimiento de un modelo grande depende de la calidad de los datos de entrenamiento. Al mismo tiempo, las especificaciones técnicas subyacentes requeridas por el modelo en diferentes escenarios de aterrizaje también son diferentes. Por lo tanto, para construir una buena ecología industrial con desarrollo sostenible e interacción saludable de modelos grandes, es necesario promover la estandarización de datos de entrenamiento de modelos grandes y tecnologías subyacentes, y acelerar la iteración e implementación de modelos.
Por un lado, el conjunto de datos de entrenamiento del propio modelo grande y la interfaz de servicio de datos (API) definida se convertirán en el estándar de facto de la industria, y varias aplicaciones que acceden al modelo grande deben seguir este estándar. En la actualidad, el modelo de "preentrenamiento + ajuste fino" se ha convertido en un proceso y paradigma estándar unificado en la industria. Sobre esta base, combinada con escenarios de aplicación específicos y datos profesionales, los modelos pequeños en varios campos e industrias se pueden personalizar y optimizar aún más. Hasta cierto punto, los estándares de interfaz de servicio de datos y datos de capacitación de modelos grandes se convertirán en uno de los núcleos de la próxima generación de estándares internacionales.
Por otro lado, la cadena de herramientas requerida por la tecnología subyacente para procesar datos de entrenamiento de modelos grandes también se debe producir y estandarizar. Con el fuerte apoyo de los servicios técnicos estandarizados, el modelo grande puede generar soluciones técnicas como adaptación de hardware, destilación y compresión de modelos, entrenamiento y aceleración distribuidos de modelos, base de datos vectorial, base de datos de gráficos e interconexión de modelos, proporcionando procesamiento de lenguaje natural, visión por computadora, Varias capacidades, como la modalidad cruzada y los gráficos de conocimiento, permiten que más empresas y desarrolladores apliquen modelos grandes a sus propios negocios y construyan modelos verticales de la industria con un umbral bajo, promoviendo así la implementación generalizada de inteligencia artificial en varios campos.
Vale la pena señalar que, si bien el desarrollo y la aplicación de modelos grandes generarán enormes beneficios para el desarrollo industrial y económico, si no se controlan adecuadamente, también generarán riesgos para la seguridad nacional e industrial. Uno es el riesgo de fuga de datos. El entrenamiento y la implementación de modelos grandes deben estar respaldados por cantidades masivas de datos, incluida la industria o información confidencial personal. Si no existe un mecanismo razonable de desensibilización y custodia de datos, puede causar fugas de datos y pérdidas para la industria y las personas. El segundo es el riesgo de seguridad modelo. Por ejemplo, los complementos pueden implantarse con contenido dañino y convertirse en una herramienta para el fraude y el "envenenamiento" por parte de los delincuentes, poniendo en peligro la seguridad social e industrial.
Sugerencias relacionadas
**Usando datos de entrenamiento de modelos grandes como punto de partida, la formulación estándar y el gobierno de datos tienen dos vertientes. ** Promover el desarrollo estandarizado de la industria formulando especificaciones modelo de aplicación y unificando estándares de interfaz. Se puede considerar albergar los datos sintéticos del modelo para fortalecer la supervisión y garantizar el cumplimiento del contenido de los datos, derechos e intereses claros y circulación fluida. Al mismo tiempo, mejore las leyes y los reglamentos, optimice las políticas y los sistemas, forme una fuerza reguladora conjunta de varias formas y métodos, y evite estrictamente la manipulación maliciosa de los modelos y la infiltración de datos dañinos.
**Construir un gran mercado de elementos de datos de entrenamiento modelo. ** Aclarar la cadena industrial entre la recopilación y el procesamiento de datos de capacitación, los servicios de datos sintéticos, la interconexión entre modelos grandes y pequeños y las API de aplicaciones. Acelerar la construcción del mercado de elementos de datos, proporcionar precios orientados al mercado para los datos de capacitación y facilitar la distribución y los incentivos de derechos e intereses.
**Construir una buena ecología de desarrollo simbiótico y promoción mutua de modelos grandes y pequeños. **En general, no existe una diferencia intergeneracional en el nivel del algoritmo de los grandes modelos convencionales en el país y en el extranjero, pero existe una brecha en la potencia informática y los datos. Se recomienda apoyar enérgicamente a las empresas de tecnología líderes nacionales para que desarrollen modelos domésticos a gran escala independientes y controlables en el campo general. Al mismo tiempo, alentar a todos los campos verticales a utilizar herramientas de código abierto para construir cadenas de herramientas independientes estandarizadas y controlables sobre la base de modelos grandes, para explorar "grande y fuerte". También desarrolla un modelo de industria vertical "pequeño y hermoso", para construir una buena ecología de simbiosis interactiva y evolución iterativa entre el modelo grande básico y el modelo pequeño profesional.
(Editor a cargo Zhang Lin)