La generación de imágenes impulsada por IA está en auge, y por una buena razón: es divertida y fácil de usar. Si bien estos modelos aportan nuevas posibilidades creativas, pueden generar preocupaciones sobre un posible uso indebido por parte de malos actores que pueden generar imágenes intencionalmente para engañar a las personas. Incluso las imágenes creadas por diversión pueden volverse virales y potencialmente engañar a las personas. A principios de este año, por ejemplo, las imágenes del Papa Francisco con una llamativa chaqueta acolchada blanca se volvieron virales y las fotos del arresto de Trump provocaron un acalorado debate. Estas imágenes no son fotos reales, pero mucha gente se deja engañar porque no hay indicadores claros para distinguir si este contenido es creado por IA generativa.
Los metainvestigadores publicaron recientemente un nuevo artículo de investigación y un código técnico que detalla una técnica para agregar marcas de agua invisibles a las imágenes de IA para distinguir cuándo las imágenes fueron creadas mediante modelos de IA generativos de código abierto. Las marcas de agua invisibles incorporan información al contenido digital. Estas marcas de agua son invisibles a simple vista, pero pueden detectarse mediante algoritmos, incluso si la gente vuelve a editar la imagen. Aunque existen otras direcciones de investigación en torno a las marcas de agua, muchos métodos existentes crean marcas de agua después de generar imágenes de IA.
Según Everypixel Journal, los usuarios han creado más de 11 mil millones de imágenes utilizando modelos de tres repositorios de código abierto. En este caso, la marca de agua invisible se puede eliminar simplemente eliminando la línea que generó la marca de agua. Stable Signature propone una forma de evitar la eliminación de marcas de agua.
Cómo funciona el método de Firma Estable
Dirección del papel:
Dirección de Github:
Stable Signature elimina la posibilidad de eliminar la marca de agua enraizándola en el modelo y usando una marca de agua que se puede rastrear hasta donde se creó la imagen.
Veamos cómo funciona este proceso con el siguiente diagrama.
Alice entrena un modelo generativo maestro. Antes de distribuir, afina una pequeña parte del modelo (llamada decodificador) para generar la marca de agua dada para Bob. La marca de agua puede identificar la versión del modelo, empresa, usuario, etc.
Bob recibe su versión del modelo y genera la imagen. La imagen resultante tendrá la marca de agua de Bob. Alice o un tercero pueden analizarlos para ver si Bob generó la imagen utilizando un modelo de IA generativa.
Esto se logra en dos pasos:
** 1. Entrene conjuntamente dos redes neuronales convolucionales. ** Uno codifica una imagen y un mensaje aleatorio en una imagen de marca de agua y el otro extrae el mensaje de una versión mejorada de la imagen de marca de agua. El objetivo es hacer coincidir los mensajes codificados y extraídos. Después del entrenamiento, solo se conserva el extractor de marcas de agua.
** 2. Ajuste el decodificador latente del modelo generativo para generar imágenes que contengan firmas fijas. **Durante este proceso de ajuste, se codifican, decodifican y optimizan lotes de imágenes para minimizar las diferencias entre los mensajes extraídos y los de destino y mantener la calidad de la imagen percibida. Este proceso de optimización es rápido y eficiente y solo requiere lotes pequeños y poco tiempo para lograr resultados de alta calidad.
Evaluar el rendimiento de Stable Signature
Sabemos que a la gente le encanta compartir y retuitear imágenes. ¿Qué sucede si Bob comparte una imagen que creó con 10 amigos y cada amigo comparte la imagen con otros 10 amigos? Durante este tiempo, es posible que alguien haya realizado cambios en la imagen, como recortarla, comprimirla o cambiar los colores. Los investigadores crearon Stable Signature para hacer frente a estos cambios. No importa cómo se transforme la imagen, es probable que la marca de agua original permanezca en los datos digitales y se pueda rastrear hasta el modelo generativo que la creó.
Los investigadores encontraron dos ventajas principales de Stable Signature sobre los métodos de detección pasiva:
Primero, la capacidad de controlar y reducir la generación de falsos positivos, que ocurren cuando una imagen generada por humanos se confunde con una imagen generada por IA. Esto es crucial dada la prevalencia de imágenes no generadas por IA que se comparten en línea. Por ejemplo, los métodos de detección existentes más eficaces pueden detectar aproximadamente el 50 % de las imágenes generadas editadas, pero aun así producen una tasa de falsos positivos de aproximadamente 1/100. En otras palabras, en una plataforma de contenido generado por el usuario que recibe mil millones de imágenes por día, aproximadamente 10 millones de imágenes estarán mal etiquetadas, lo que resultará en que solo se detecte la mitad de las imágenes generadas por IA.
**La firma estable, por otro lado, detecta imágenes con la misma precisión con una tasa de falsos positivos de 1e-10 (que se puede configurar en un valor deseado específico). **Además, este enfoque de marca de agua permite rastrear imágenes de diferentes versiones del mismo modelo, una capacidad que no es posible con técnicas pasivas.
Si se ha ajustado un modelo grande,
** ¿Cómo detecta Stable Signature la imagen generada por la versión optimizada? **
Un enfoque común para los grandes modelos de IA es tomar un modelo base y ajustarlo para manejar un caso de uso específico que a veces incluso se adapta a una persona. Por ejemplo, se le puede mostrar al modelo una imagen del perro de Alice, y luego Alice puede pedirle que genere una imagen de su perro en la playa. Esto se logra mediante métodos como DreamBooth, Textual Inversion y ControlNet. Estos métodos actúan a nivel del modelo subyacente y no cambian el decodificador. Esto significa que nuestro método de marca de agua no se ve afectado por estos ajustes.
En general, Stable Signature funciona bien con el modelado de imágenes cuantificadas vectoriales (como VQGAN) y modelos de difusión latente (como Stable Diffusion). Dado que este enfoque no modifica el proceso de generación de difusión, es compatible con los modelos populares mencionados anteriormente. Con algunos ajustes, también se pueden aplicar firmas estables a otros métodos de modelado.
**¿Es realmente confiable la marca de agua AI? **
La tecnología de identificación de imágenes generadas por IA mediante la adición de marcas de agua invisibles ha sido objeto de mucha controversia recientemente. Google DeepMind anunció recientemente el lanzamiento de SynthID, una herramienta para agregar marcas de agua a la generación de imágenes e identificar imágenes generadas por IA. Al escanear marcas de agua digitales en imágenes, SynthID puede evaluar la probabilidad de que la imagen haya sido generada por un modelo de Imagen.
Pero, ¿se pueden eliminar fácilmente las marcas de agua de IA? Según informes de medios extranjeros como Engadget y Wired, un equipo de investigación de la Universidad de Maryland en los Estados Unidos estudió la confiabilidad de la tecnología de "marcas de agua digitales" para contenido generado por IA y descubrió que esta tecnología se puede descifrar fácilmente.
Soheil Feizi, profesor de informática en la escuela, fue contundente cuando se enfrentó al estado actual de las marcas de agua en las imágenes generadas por IA: "Actualmente no tenemos ninguna tecnología de marcas de agua confiable y hemos descifrado todas las marcas de agua".
Durante las pruebas, los investigadores pudieron eludir fácilmente los métodos de marcas de agua existentes y les resultó más fácil agregar "marcas de agua falsas" a imágenes no generadas por IA. Al mismo tiempo, el equipo también ha desarrollado una tecnología de marca de agua que es "casi imposible" de eliminar de las imágenes sin comprometer completamente la propiedad intelectual de la imagen.
Las marcas de agua con IA aún están inmaduras y no pueden ser una herramienta 100% efectiva. Necesitamos esperar el surgimiento de nuevas tecnologías en el futuro para proteger las imágenes generativas de IA, evitar la proliferación de imágenes falsas y evitar la infracción de derechos de autor.
Referencia:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Nueva tecnología de marca de agua de imágenes con IA de código abierto, pero ¿es realmente confiable?
La generación de imágenes impulsada por IA está en auge, y por una buena razón: es divertida y fácil de usar. Si bien estos modelos aportan nuevas posibilidades creativas, pueden generar preocupaciones sobre un posible uso indebido por parte de malos actores que pueden generar imágenes intencionalmente para engañar a las personas. Incluso las imágenes creadas por diversión pueden volverse virales y potencialmente engañar a las personas. A principios de este año, por ejemplo, las imágenes del Papa Francisco con una llamativa chaqueta acolchada blanca se volvieron virales y las fotos del arresto de Trump provocaron un acalorado debate. Estas imágenes no son fotos reales, pero mucha gente se deja engañar porque no hay indicadores claros para distinguir si este contenido es creado por IA generativa.
Los metainvestigadores publicaron recientemente un nuevo artículo de investigación y un código técnico que detalla una técnica para agregar marcas de agua invisibles a las imágenes de IA para distinguir cuándo las imágenes fueron creadas mediante modelos de IA generativos de código abierto. Las marcas de agua invisibles incorporan información al contenido digital. Estas marcas de agua son invisibles a simple vista, pero pueden detectarse mediante algoritmos, incluso si la gente vuelve a editar la imagen. Aunque existen otras direcciones de investigación en torno a las marcas de agua, muchos métodos existentes crean marcas de agua después de generar imágenes de IA.
Según Everypixel Journal, los usuarios han creado más de 11 mil millones de imágenes utilizando modelos de tres repositorios de código abierto. En este caso, la marca de agua invisible se puede eliminar simplemente eliminando la línea que generó la marca de agua. Stable Signature propone una forma de evitar la eliminación de marcas de agua.
Cómo funciona el método de Firma Estable
Dirección del papel:
Dirección de Github:
Stable Signature elimina la posibilidad de eliminar la marca de agua enraizándola en el modelo y usando una marca de agua que se puede rastrear hasta donde se creó la imagen.
Veamos cómo funciona este proceso con el siguiente diagrama.
Alice entrena un modelo generativo maestro. Antes de distribuir, afina una pequeña parte del modelo (llamada decodificador) para generar la marca de agua dada para Bob. La marca de agua puede identificar la versión del modelo, empresa, usuario, etc.
Bob recibe su versión del modelo y genera la imagen. La imagen resultante tendrá la marca de agua de Bob. Alice o un tercero pueden analizarlos para ver si Bob generó la imagen utilizando un modelo de IA generativa.
Esto se logra en dos pasos:
** 1. Entrene conjuntamente dos redes neuronales convolucionales. ** Uno codifica una imagen y un mensaje aleatorio en una imagen de marca de agua y el otro extrae el mensaje de una versión mejorada de la imagen de marca de agua. El objetivo es hacer coincidir los mensajes codificados y extraídos. Después del entrenamiento, solo se conserva el extractor de marcas de agua.
** 2. Ajuste el decodificador latente del modelo generativo para generar imágenes que contengan firmas fijas. **Durante este proceso de ajuste, se codifican, decodifican y optimizan lotes de imágenes para minimizar las diferencias entre los mensajes extraídos y los de destino y mantener la calidad de la imagen percibida. Este proceso de optimización es rápido y eficiente y solo requiere lotes pequeños y poco tiempo para lograr resultados de alta calidad.
Evaluar el rendimiento de Stable Signature
Sabemos que a la gente le encanta compartir y retuitear imágenes. ¿Qué sucede si Bob comparte una imagen que creó con 10 amigos y cada amigo comparte la imagen con otros 10 amigos? Durante este tiempo, es posible que alguien haya realizado cambios en la imagen, como recortarla, comprimirla o cambiar los colores. Los investigadores crearon Stable Signature para hacer frente a estos cambios. No importa cómo se transforme la imagen, es probable que la marca de agua original permanezca en los datos digitales y se pueda rastrear hasta el modelo generativo que la creó.
Los investigadores encontraron dos ventajas principales de Stable Signature sobre los métodos de detección pasiva:
Primero, la capacidad de controlar y reducir la generación de falsos positivos, que ocurren cuando una imagen generada por humanos se confunde con una imagen generada por IA. Esto es crucial dada la prevalencia de imágenes no generadas por IA que se comparten en línea. Por ejemplo, los métodos de detección existentes más eficaces pueden detectar aproximadamente el 50 % de las imágenes generadas editadas, pero aun así producen una tasa de falsos positivos de aproximadamente 1/100. En otras palabras, en una plataforma de contenido generado por el usuario que recibe mil millones de imágenes por día, aproximadamente 10 millones de imágenes estarán mal etiquetadas, lo que resultará en que solo se detecte la mitad de las imágenes generadas por IA.
**La firma estable, por otro lado, detecta imágenes con la misma precisión con una tasa de falsos positivos de 1e-10 (que se puede configurar en un valor deseado específico). **Además, este enfoque de marca de agua permite rastrear imágenes de diferentes versiones del mismo modelo, una capacidad que no es posible con técnicas pasivas.
Si se ha ajustado un modelo grande,
** ¿Cómo detecta Stable Signature la imagen generada por la versión optimizada? **
Un enfoque común para los grandes modelos de IA es tomar un modelo base y ajustarlo para manejar un caso de uso específico que a veces incluso se adapta a una persona. Por ejemplo, se le puede mostrar al modelo una imagen del perro de Alice, y luego Alice puede pedirle que genere una imagen de su perro en la playa. Esto se logra mediante métodos como DreamBooth, Textual Inversion y ControlNet. Estos métodos actúan a nivel del modelo subyacente y no cambian el decodificador. Esto significa que nuestro método de marca de agua no se ve afectado por estos ajustes.
En general, Stable Signature funciona bien con el modelado de imágenes cuantificadas vectoriales (como VQGAN) y modelos de difusión latente (como Stable Diffusion). Dado que este enfoque no modifica el proceso de generación de difusión, es compatible con los modelos populares mencionados anteriormente. Con algunos ajustes, también se pueden aplicar firmas estables a otros métodos de modelado.
**¿Es realmente confiable la marca de agua AI? **
La tecnología de identificación de imágenes generadas por IA mediante la adición de marcas de agua invisibles ha sido objeto de mucha controversia recientemente. Google DeepMind anunció recientemente el lanzamiento de SynthID, una herramienta para agregar marcas de agua a la generación de imágenes e identificar imágenes generadas por IA. Al escanear marcas de agua digitales en imágenes, SynthID puede evaluar la probabilidad de que la imagen haya sido generada por un modelo de Imagen.
Pero, ¿se pueden eliminar fácilmente las marcas de agua de IA? Según informes de medios extranjeros como Engadget y Wired, un equipo de investigación de la Universidad de Maryland en los Estados Unidos estudió la confiabilidad de la tecnología de "marcas de agua digitales" para contenido generado por IA y descubrió que esta tecnología se puede descifrar fácilmente.
Soheil Feizi, profesor de informática en la escuela, fue contundente cuando se enfrentó al estado actual de las marcas de agua en las imágenes generadas por IA: "Actualmente no tenemos ninguna tecnología de marcas de agua confiable y hemos descifrado todas las marcas de agua".
Durante las pruebas, los investigadores pudieron eludir fácilmente los métodos de marcas de agua existentes y les resultó más fácil agregar "marcas de agua falsas" a imágenes no generadas por IA. Al mismo tiempo, el equipo también ha desarrollado una tecnología de marca de agua que es "casi imposible" de eliminar de las imágenes sin comprometer completamente la propiedad intelectual de la imagen.
Las marcas de agua con IA aún están inmaduras y no pueden ser una herramienta 100% efectiva. Necesitamos esperar el surgimiento de nuevas tecnologías en el futuro para proteger las imágenes generativas de IA, evitar la proliferación de imágenes falsas y evitar la infracción de derechos de autor.
Referencia: