Huang Renxun: la potencia informática de IA de Nvidia se ha vendido con un 10% de descuento

Autor | Ling Zijun, Li Yuan

Redactor | Jing Yu

Fuente de la imagen: Generada por Unbounded AI

Huang Renxun, vestido con una chaqueta de cuero, se subió a una tabla de surf azul y planteó algunas poses de surf.

Esto no es VidCon, el "Festival Rojo de Internet" en los Estados Unidos, sino una escena en la conferencia de desarrolladores de Snowflake, una plataforma de datos muy conocida en los Estados Unidos.

El 26 de junio, hora local, el fundador de Nvidia, Huang Renxun, y el CEO de Snowflake, Frank Slootman, hablaron sobre "cómo llevar la IA generativa a los usuarios empresariales". El anfitrión es el ex Greylock GP, quien ahora es el fundador de la agencia de inversión Conviction.

En la reunión, en comparación con el gerente profesional maduro y prudente del "anfitrión" Frank, el "Padrino de cuero" asombró como siempre, no solo dijo que la cooperación entre las dos partes es "Somos amantes, no luchadores" ( We are Lovers, not Fighters), es aún más bromista que el modelo entrenado provisto para Snowflake sea equivalente a "descuento del 10%" a los clientes.

El mismo día, Nvidia y Snowflake lanzaron conjuntamente otro gran movimiento: la compañía de chips número 1 del mundo cooperó con la plataforma de datos en la nube más popular para lanzar una cooperación conjunta. **Los usuarios de Snowflake pueden usar directamente el modelo de IA previamente entrenado de Nvidia para analizar los datos de su propia empresa en la plataforma en la nube sin salir de la plataforma y desarrollar "aplicaciones de IA" para sus propios datos. **

"Los principales cambios actuales provienen de los datos + el algoritmo de inteligencia artificial + el motor informático. A través de nuestra cooperación, podemos unir estos tres puntos", dijo Huang Renxun.

Puntos de conversación:

• Modelo de lenguaje grande + base de datos específica de la empresa = aplicación de IA para problemas específicos;
• Solía ser Data going to Work, pero ahora es Work going to Data, lo que permite que la informática vaya donde se encuentran los datos, evitando islas de datos;
• El modelo de preentrenamiento provisto por Nvidia ha sido entrenado en la fábrica de Nvidia AI a un costo de decenas de millones de dólares, por lo que llamar al motor de cómputo en Snowflake ya tiene un "descuento del 0.5%";
• En la era del software 3.0, basado en modelos y bases de datos, las empresas pueden crear sus propias aplicaciones exclusivas en unos pocos días;
• En el futuro, las empresas podrán producir muchos agentes inteligentes y ejecutarlos;
• Para las empresas, el problema real es cómo movilizar datos mixtos estructurados y no estructurados. Esto puede conducir a una actualización del modelo de negocio.

El siguiente es el contenido principal del diálogo entre las dos partes, editado por Geek Park:

01 Hablemos de cooperación: lleve el mejor motor informático a los datos más valiosos

Franco:

NVIDIA actualmente juega un papel importante en la historia. Para nosotros, poder llevar datos y relaciones a las grandes empresas. Necesitamos habilitar esta tecnología y toda la pila de servicios para usarla de manera efectiva. No quiero describirlo como "una pareja hecha en el cielo", pero para un profano, es una buena oportunidad para entrar por esta puerta de oportunidades.

Huang Renxun:

Somos amantes, no rivales. **Queremos llevar el mejor motor informático del mundo a los datos más valiosos del mundo. Mirando hacia atrás, he estado trabajando durante mucho tiempo, pero no soy tan viejo. Frank, eres mayor (risas). **

Recientemente, los datos son enormes y valiosos debido a razones bien conocidas. Debe ser seguro. Mover datos es difícil y la gravedad de los datos es real. Así que fue mucho más fácil para nosotros traer nuestro motor de cómputo a Snowflake. Nuestra asociación se trata de acelerar Snowflake, pero también se trata de llevar la IA a Snowflake. **

**El núcleo es la combinación de datos + algoritmo de inteligencia artificial + motor informático, nuestra asociación combina las tres cosas juntas. **Datos increíblemente valiosos, inteligencia artificial increíblemente buena, motor de cálculo increíblemente bueno.

Lo que podemos hacer juntos es ayudar a los clientes a tomar sus datos patentados y usarlos para escribir aplicaciones de IA. Sabes, el gran avance aquí es que, por primera vez, puedes desarrollar un modelo de lenguaje grande. Lo pone delante de sus datos, y luego habla con sus datos como si hablara con un ser humano, y esos datos se aumentan en un gran modelo de lenguaje.

La combinación de un modelo de lenguaje grande más una base de conocimiento equivale a una aplicación de IA. ** Este es simple, un gran modelo de lenguaje convierte cualquier base de conocimiento de datos en una aplicación. **

Piensa en todas las increíbles aplicaciones que la gente ha escrito. En esencia, siempre ha habido algunos datos valiosos. Ahora tiene un motor de consulta general al frente, es súper inteligente, puede hacer que le responda, pero también puede conectarlo a un proxy, que es el gran avance que traen Langchain y las bases de datos vectoriales. Cosas innovadoras que superponen datos y grandes modelos de lenguaje están sucediendo en todas partes, y todos quieren hacerlo. Y Frank y yo te ayudaremos a hacerlo.

02 Software 3.0: Crea una aplicación de IA para resolver un problema específico

anfitrión:

Mirando este cambio como inversor, el Software 1.0 es un código muy determinista escrito funcionalmente por ingenieros; el Software 2.0 está optimizando una red neuronal con datos de entrenamiento cuidadosamente recopilados y etiquetados.

Ustedes están ayudando a las personas a aprovechar el Software 3.0, un conjunto de modelos subyacentes que son increíblemente capaces por sí mismos, pero aún necesitan trabajar con datos empresariales y conjuntos de datos personalizados. Es mucho más barato desarrollar esas aplicaciones contra ellos.

**Una pregunta para aquellos que buscan profundamente en este campo, el modelo subyacente es muy general, ¿puede hacer todo? ¿Por qué necesitamos modelos personalizados y datos empresariales? **

Franco:

Así que tenemos modelos muy generalizados que pueden hacer poesía, hacer resúmenes de El gran Gatsby, resolver problemas matemáticos.

Pero en los negocios, no los necesitamos, lo que necesitamos es un copiloto para obtener conocimientos extraordinarios sobre un conjunto de datos muy limitado pero muy complejo.

Necesitamos entender los modelos de negocio y la dinámica empresarial. Esto no tiene por qué ser tan costoso desde el punto de vista computacional, porque un modelo no necesita ser entrenado en un millón de cosas, sino que solo necesita saber muy pocos, pero temas profundos.

Por ejemplo. Estoy en la junta directiva de Instacart y uno de nuestros grandes clientes, como DoorDash y todas las demás empresas que tienen un problema: siguen aumentando sus gastos de marketing, entra un cliente, hace un pedido y el cliente no no regresa o regresa en 90 días, lo cual es muy inestable. A esto lo llaman churn.

Este es el análisis de cuestiones complejas porque puede haber muchas razones por las que un cliente no vuelve. La gente quiere encontrar las respuestas a estas preguntas, y están en los datos, no en Internet en general, y se pueden encontrar a través de la inteligencia artificial. Este es un ejemplo de dónde se puede generar un gran valor.

anfitrión:

¿Cómo deberían estos modelos interactuar con los datos empresariales?

Huang Renxun:

Nuestra estrategia y nuestros productos son modelos preentrenados de última generación de todos los tamaños y, a veces, es necesario crear un modelo preentrenado muy grande para que se pueda producir para enseñar modelos más pequeños.

Y los modelos más pequeños pueden ejecutarse en casi cualquier dispositivo, quizás con una latencia muy baja. Sin embargo, su capacidad de generalización no es alta, y la capacidad de tiro cero (aprendizaje de muestra cero) puede ser más limitada.

Por lo tanto, puede tener varios modelos de diferentes tipos y tamaños, pero en cada caso tiene que hacer un ajuste fino supervisado, tiene que hacer RLHF (aprendizaje de refuerzo con retroalimentación humana) para que se mantenga con sus objetivos y principios. Consistentemente, necesita para aumentarlo con algo así como una base de datos vectorial, para que todo se una en una plataforma. Tenemos las habilidades, el conocimiento y la plataforma subyacente para ayudarlos a crear su propia IA y luego conectarla a los datos en Snowflake.

Ahora, **no debería ser el objetivo de cada cliente empresarial pensar en cómo construyo un modelo de lenguaje grande, su objetivo debería ser, ¿cómo construyo una aplicación de IA para resolver un problema específico? ** Esa aplicación puede tomar 17 preguntas para finalmente llegar a la respuesta correcta. Y luego podría decir, quiero escribir un programa, podría ser un programa SQL, podría ser un programa de Python, para que pueda hacerlo automáticamente en el futuro.

**Todavía tienes que guiar a esta inteligencia artificial para que finalmente pueda darte la respuesta correcta. **Pero después de eso, puede crear una aplicación que puede ejecutarse las 24 horas del día, los 7 días de la semana como un agente (Agente), buscando situaciones relevantes e informándole con anticipación. Entonces, nuestro trabajo es ayudar a los clientes a construir estas aplicaciones de inteligencia artificial, que son específicas y personalizadas con barandillas de seguridad.

En última instancia, todos seremos fabricantes inteligentes en el futuro, empleando empleados, por supuesto, pero vamos a crear un grupo de agentes que se pueden crear con algo como Lang Chain, modelos conectados, bases de conocimiento, otras API, implementado en la nube y conéctelo a todos los datos de Snowflake.

Puede operar estas IA a escala y mejorarlas continuamente. Entonces, cada uno de nosotros creará IA, administrará una fábrica de IA. Pondremos la infraestructura en la base de datos de Snowflake, donde los clientes pueden usar sus datos, entrenar y desarrollar sus modelos, operar su IA, por lo que Snowflake será su depósito y banco de datos.

Con su propia mina de oro de datos, todos ejecutarán fábricas de IA en Snowflake. Este es el objetivo.

03 Aunque "Bomba nuclear" es cara, usar el modelo directamente equivale a "10% de descuento"

Huang Renxun:

Hemos establecido cinco fábricas de IA en NVIDIA, cuatro de las cuales son las 500 supercomputadoras más importantes del mundo, y la otra está en línea. Usamos estas supercomputadoras para hacer modelos de pre-entrenamiento. Entonces, cuando usa nuestro servicio base Nemo AI en Snowflake, obtiene un modelo preentrenado de última generación que ya ha costado decenas de millones de dólares, sin mencionar la I + D. Así que está pre-entrenado.

Luego hay un montón de otros modelos a su alrededor que se utilizan para el ajuste fino, RLHF. Todos estos modelos son mucho más caros de entrenar.

Así que ahora ha adaptado el modelo preentrenado a sus funciones, a sus medidas de seguridad, optimizado para el tipo de habilidades o funciones que desea que tenga, aumentado con sus datos. Por lo tanto, este sería un enfoque más rentable.

Más importante aún, en cuestión de días, no meses. Puede desarrollar aplicaciones de IA que se conecten a sus datos en Snowflake.

Debería poder crear rápidamente aplicaciones de IA en el futuro.

Porque lo estamos viendo suceder en tiempo real ahora. Ya existen aplicaciones que te permiten chatear con datos, como ChatPDF.

anfitrión:

**Sí, en la era del software 3.0, el 95% de los costos de capacitación ya están cubiertos por otros. **

Huang Renxun:

(Risas) Sí, 95 % de descuento, no puedo imaginar una oferta mejor.

anfitrión:

Ese es el verdadero motivador y, como inversionista, he visto empresas muy jóvenes en análisis, automatización, legal, etc., cuyas aplicaciones han logrado un valor comercial real en seis meses o menos. Parte de eso es que están comenzando con estos modelos pre-entrenados, lo cual es una gran oportunidad para las empresas.

Huang Renxun:

Cada empresa tendrá cientos, tal vez incluso 1000 aplicaciones de IA, simplemente conectadas a todo tipo de datos en su empresa. Entonces, todos tenemos que ser buenos construyendo estas cosas.

04 Antes eran datos en busca de negocios, ahora son negocios en busca de datos

anfitrión:

Una de las preguntas que sigo escuchando de los jugadores de las grandes empresas es que tenemos que invertir en IA, ¿necesitamos una nueva pila? ¿Cómo deberíamos pensar en conectarnos con nuestra pila de datos existente?

Franco:

Creo que está evolucionando. Los modelos se están volviendo gradualmente más simples, más seguros y mejor administrados. Entonces, ¿no tenemos una visión muy clara de que esta es la arquitectura de referencia que todos usarán? Algunos tendrán configuraciones para algún servicio central. Microsoft tiene una versión de IA en Azure y muchos de sus clientes interactúan con Azure.

**Pero no sabemos qué modelo dominará, creemos que el mercado se clasificará solo en cosas como la facilidad de uso y el costo. **Este es solo el comienzo, no el estado final.

También se involucrará el sector de la seguridad y se reformará el tema de los derechos de autor. Ahora que estamos fascinados por la tecnología, los problemas reales se tratarán al mismo tiempo.

Huang Renxun:

Ahora estamos experimentando el primer cambio fundamental de plataforma informática en 60 años. Si acaba de leer el comunicado de prensa de IBM 360, ha oído hablar de las unidades de procesamiento central, los subsistemas de E/S, los controladores DMA, la memoria virtual, la multitarea, la computación escalable, la compatibilidad hacia adelante y hacia atrás, y estos conceptos, en realidad, todo es de 1964, y estos Los conceptos nos han ayudado a escalar las CPU durante las últimas seis décadas.

Tal expansión ha estado ocurriendo durante 60 años, pero ha llegado a su fin. Ahora todos entienden que ya no podemos escalar la CPU y, de repente, el software cambia. La forma en que se escribe el software, la forma en que opera el software y lo que el software puede hacer es muy diferente de lo que solía ser. Al software anterior lo llamamos software 2.0. Ahora es software 3.0.

La verdad es que **la computación ha cambiado fundamentalmente. Vemos que suceden dos dinámicas fundamentales al mismo tiempo, razón por la cual las cosas están temblando violentamente en este momento. **

Por un lado, ya no puedes seguir comprando CPU. Si compra otro montón de CPU el próximo año, su rendimiento informático no aumentará. Porque ha llegado el final del escalado de CPU. Pagará mucho más y no obtendrá más rendimiento. Entonces, la respuesta es que tienes que optar por la aceleración (Nvidia Accelerated Computing Platform). El ganador del Premio Turing habló sobre aceleración, Nvidia fue pionera en aceleración y la computación acelerada ya está aquí.

Por otro lado, todo el sistema operativo de la computadora ha sufrido cambios profundos. Tenemos una capa llamada NVIDIA AI Enterprise, y el procesamiento de datos, la capacitación y la implementación de razonamiento en ella ahora se han integrado o se están integrando en Snowflake. Por lo tanto, desde el comienzo del procesamiento de datos hasta la implementación final del modelo grande, todo lo que hay detrás El motor de cálculo se ha acelerado. Vamos a potenciar Snowflake, donde podrá hacer más y podrá hacer más con menos.

Si va a cualquier nube, verá que las GPU NVIDIA son las entidades informáticas más caras que existen. Pero si le pones una carga de trabajo, verás que lo estamos haciendo realmente rápido. Es como si estuvieras recibiendo un 95% de descuento. Somos la entidad informática más cara, pero somos el TCO más rentable.

Entonces, si su trabajo es ejecutar una carga de trabajo, tal vez entrenar un modelo de lenguaje grande, tal vez ajustar un modelo de lenguaje grande, si quiere hacer eso, definitivamente acelere.

** Acelere cada carga de trabajo, esta es la remodelación de toda la pila. **Los procesadores cambian por eso, los sistemas operativos cambian por eso, los grandes modelos de lenguaje son diferentes, la forma en que escribes aplicaciones de IA es diferente.

En el futuro, todos escribiremos aplicaciones. Todos tenemos que conectar nuestro y nuestro contexto, con unos pocos comandos de Python, a un gran modelo de lenguaje y nuestra propia base de datos o la base de datos de la empresa, y desarrollar nuestras propias aplicaciones. Todos serán desarrolladores de aplicaciones.

anfitrión:

Pero lo mismo es que siguen siendo sus datos. Todavía tienes que afinarlo.

Franco:

Resulta que todos sentimos que más rápido siempre es más caro. En realidad, de repente, más rápido es más barato, lo cual es un poco contrario a la intuición. Entonces, a veces la gente quiere reducir la oferta, pensando que es más barato, y resulta ser más caro.

Otra contradicción con la anterior es que ** antes eran datos yendo a trabajar (data going to work), pero ahora el negocio busca datos (work going to data). ** Durante los últimos sesenta años, o más, hemos estado dejando que los datos vayan al negocio, lo que ha resultado en silos de información a gran escala. Y si quieres tener una fábrica de IA, será muy difícil usar el método anterior. Debemos llevar la computación a donde están los datos. Creo que lo que estamos haciendo ahora es el camino correcto.

05 Cómo las empresas pueden obtener el mayor y más rápido valor

Franco:

Ser el más rápido y obtener el mayor valor son en realidad dos problemas muy diferentes.

Si es el más rápido, ** pronto verá que el método de búsqueda mejorado por IA está en línea en todas partes de la base de datos, porque esta es la función más fácil de agregar. **Es increíble que incluso una persona analfabeta pueda obtener información valiosa de los datos ahora, la máxima democratización de la interacción. La función de búsqueda está muy mejorada, solo hace una pregunta a la interfaz principal y ellos pueden traer estas preguntas a los datos para su propia consulta. Esa es la fruta madura, la más fácil, creemos que es la etapa uno.

A continuación, comenzamos a centrarnos realmente en el problema real, que son los datos empresariales patentados, mixtos estructurados, no estructurados, todos estos, ¿cómo movilizamos estos datos? **

Ya he mencionado la tasa de abandono y los problemas de gestión de la cadena de suministro que enfrentan las empresas C. Cuando la cadena de suministro es particularmente compleja, si ocurre un evento, ¿cómo reajustamos una cadena de suministro para que funcione? Qué debería hacer ahora Una cadena de suministro se compone de muchas entidades diferentes, no de una sola empresa. Históricamente, este es un problema que nunca se ha resuelto computacionalmente. La gestión de la cadena de suministro nunca ha sido una plataforma, es más o menos un correo electrónico, una hoja de cálculo, con algunas excepciones menores. Así que esto es extremadamente emocionante.

O podemos recalcular la inversión en grandes centros de llamadas y optimizar los precios minoristas.Como dije, este es el potencial real de redefinir el modelo de negocio que los directores ejecutivos de las grandes empresas han estado esperando. **

06 Sugerencias para empresas:

Huang Renxun:

** Me preguntaría, número uno, ¿cuál es mi base de datos individual más valiosa? Lo segundo, me preguntaría, si tuviera una persona súper, súper, súper inteligente, y todos los datos de la empresa pasaran por esa súper inteligencia, ¿qué le preguntaría a esa persona? **

Esto es diferente según la empresa de cada persona. La base de datos de clientes de la empresa de Frank es muy importante porque tiene muchos clientes. Y mi propia empresa, no tengo tantos clientes, pero para mi empresa, mi cadena de suministro es muy complicada y mi base de datos de diseño es muy complicada.

**Para NVIDIA, no podemos construir una GPU sin inteligencia artificial. Porque ninguno de nuestros ingenieros puede hacer tanta iteración y exploración por nosotros como la IA. ** Por eso, cuando propusimos la inteligencia artificial, la primera aplicación fue en nuestra propia empresa. Además, es imposible diseñar Hopper (producto de supercomputación de NVIDIA) sin inteligencia artificial.

También aplicaremos nuestra propia IA a nuestros propios datos. Nuestra base de datos de errores es un caso de uso perfecto para esto. Si observa la cantidad de código en NVIDIA AI, tenemos cientos de paquetes de software que, combinados, permiten que se ejecute una aplicación. Algunas de las cosas en las que estamos trabajando en este momento es cómo usar la IA para descubrir cómo parchear su seguridad, cuál es la mejor manera de mantenerla, para que no tengamos que interferir con toda la capa superior de la aplicación mientras somos compatibles con versiones anteriores. .

Esto es lo que AI puede proporcionarle respuestas. Podemos usar un gran modelo de lenguaje para responder a estas preguntas, encontrar la respuesta por nosotros o revelarnos algo, y luego los ingenieros pueden solucionarlo. O AI puede recomendar un método de reparación, y los ingenieros humanos pueden confirmar si es un buen método de reparación.

No creo que todos se den cuenta de cuánta inteligencia, perspicacia e influencia se esconden en los datos que procesan todos los días. **Es por eso que todos debemos involucrarnos y ayudar a lograr este futuro.

Ahora, por primera vez, los datos que almacena en el almacén de datos se pueden conectar a la fábrica de inteligencia artificial. **Podrás producir inteligencia de información, el bien más valioso del mundo. Está sentado en una mina de oro de recursos naturales: los datos patentados de su empresa, y ahora los estamos conectando a un motor de inteligencia artificial, y el otro extremo está generando inteligencia de información directamente todos los días, con una cantidad increíble de inteligencia vertiendo entra por el otro extremo, incluso mientras duermes sigue saliendo. Es lo mejor que hay.