Otro lado del auge de la IA: Detectar lo que hace la IA
Andrey Doronichev se alarmó el año pasado cuando vio un video en las redes sociales que parecía mostrar al presidente de Ucrania rindiéndose ante Rusia.
El video fue rápidamente desacreditado como un deepfake generado sintéticamente, pero para el Sr. Doronichev, fue un presagio preocupante. Este año, sus temores se acercaron a la realidad, ya que las empresas comenzaron a competir para mejorar y lanzar tecnología de inteligencia artificial a pesar de los estragos que podría causar. .
La IA generativa ahora está disponible para todos y es cada vez más capaz de engañar a las personas con texto, audio, imágenes y videos que parecen haber sido concebidos y capturados por humanos. y amplia distopía.
Para emprendedores como el Sr. Doronichev, también se ha convertido en una oportunidad de negocio. Más de una docena de empresas ahora ofrecen herramientas para identificar si algo se hizo con inteligencia artificial, con nombres como Sensity AI (detección de falsificación profunda), Fictitious.AI (detección de plagio) y Originality.AI (también plagio).
El Sr. Doronichev, nativo de Rusia, fundó una empresa en San Francisco, Optic, para ayudar a identificar material sintético o falsificado, para ser, en sus palabras, 'una máquina de rayos X de aeropuerto para contenido digital'.
En marzo, presentó un sitio web donde los usuarios pueden verificar imágenes para ver si fueron hechas con fotografías reales o inteligencia artificial. Está trabajando en otros servicios para verificar video y audio.
'La autenticidad del contenido se convertirá en un problema importante para la sociedad en general', dijo Doronichev, quien fue inversionista de una aplicación de intercambio de rostros llamada Reface. ' Estamos entrando en la era de las falsificaciones baratas'. Dado que no cuesta mucho producir contenido falso, dijo, se puede hacer a escala.
Se espera que el mercado general de IA generativa supere los $ 109 mil millones para 2030, con un crecimiento promedio del 35,6 por ciento anual hasta entonces, según la firma de investigación de mercado Grand View Research. Las empresas enfocadas en detectar la tecnología son una parte creciente de la industria.
Meses después de haber sido creado por un estudiante de la Universidad de Princeton, GPTZero afirma que más de un millón de personas han usado su programa para descubrir texto generado por computadora. Reality Defender fue una de las 414 empresas elegidas entre 17,000 aplicaciones para ser financiadas por el acelerador de empresas emergentes. Y Combinator este invierno.
CopyLeaks recaudó 7,75 millones de dólares el año pasado en parte para ampliar sus servicios antiplagio para que escuelas y universidades detecten inteligencia artificial en el trabajo de los estudiantes. Sentinel, cuyos fundadores se especializaron en ciberseguridad y guerra de información para la Marina Real Británica y la Organización del Tratado del Atlántico Norte, cerró una ronda inicial de $1.5 millones en 2020 que fue respaldada en parte por uno de los ingenieros fundadores de Skype para ayudar a proteger las democracias contra las falsificaciones profundas y otros medios sintéticos maliciosos.
Las principales empresas de tecnología también están involucradas: FakeCatcher de Intel afirma ser capaz de identificar videos falsos profundos con un 96 por ciento de precisión, en parte mediante el análisis de píxeles en busca de signos sutiles de flujo sanguíneo en rostros humanos.
Dentro del gobierno federal, la Agencia de Proyectos de Investigación Avanzada de Defensa planea gastar casi $30 millones este año para ejecutar Semantic Forensics, un programa que desarrolla algoritmos para detectar automáticamente falsificaciones profundas y determinar si son maliciosas.
Incluso OpenAI, que impulsó el AIboom cuando lanzó su herramienta ChatGPT a fines del año pasado, está trabajando en servicios de detección. La compañía, con sede en San Francisco, presentó una herramienta gratuita en enero para ayudar a distinguir entre texto compuesto por un humano y texto escrito por inteligencia artificial.
OpenAI enfatizó que si bien la herramienta era una mejora con respecto a las iteraciones anteriores, todavía 'no era completamente confiable'. La herramienta identificó correctamente el 26 por ciento del texto generado artificialmente, pero marcó falsamente el 9 por ciento del texto de humanos como generado por computadora.
La herramienta OpenAI está cargada de fallas comunes en los programas de detección: tiene problemas con textos cortos y escritura que no está en inglés. En entornos educativos, las herramientas de detección de plagio como TurnItIn han sido acusadas de clasificar incorrectamente los ensayos escritos por estudiantes como chatbots
Las herramientas de detección van inherentemente a la zaga de la tecnología generativa que intentan detectar. Cuando un sistema de defensa es capaz de reconocer el trabajo de un nuevo chatbot o generador de imágenes, como Google Bard o Midjourney, los desarrolladores ya están ideando una nueva iteración que puede evadir esa defensa. La situación ha sido descrita como una carrera armamentista o una relación virus-antivirus donde uno engendra al otro, una y otra vez.
'Cuando Midjourney lanza Midjourney 5, mi disparo de salida se dispara y empiezo a trabajar para ponerme al día, y mientras lo hago, ellos están trabajando en Midjourney 6', dijo Hany Farid, profesor de informática en la Universidad. de California, Berkeley, que se especializa en análisis forense digital y también está involucrado en la industria de detección de IA. 'Es un juego intrínsecamente contradictorio en el que, mientras trabajo en el detector, alguien está construyendo una mejor ratonera, un mejor sintetizador'.
A pesar de la constante puesta al día, muchas empresas han visto la demanda de detección de IA por parte de escuelas y educadores, dijo Joshua Tucker, profesor de política en la Universidad de Nueva York y codirector de su Centro de Medios Sociales y Política. Cuestionó si un sistema similar el mercado surgiría antes de las elecciones de 2024.
'¿Veremos una especie de ala paralela de estas empresas que se desarrolla para ayudar a proteger a los candidatos políticos para que puedan saber cuándo están siendo atacados por este tipo de cosas', dijo.
Los expertos dijeron que el video generado sintéticamente todavía era bastante tosco y fácil de identificar, pero que la clonación de audio y la creación de imágenes eran muy avanzadas. Separar lo real de lo falso requerirá tácticas forenses digitales, como búsquedas de imágenes inversas y seguimiento de direcciones IP.
Los programas de detección disponibles se están probando con ejemplos que son 'muy diferentes a ir a la naturaleza, donde las imágenes que han estado dando vueltas y han sido modificadas, recortadas, reducidas, transcodificadas y anotadas y Dios sabe qué más les ha pasado'. dijo el Sr. Farid.
'Ese lavado de contenido hace que esto sea una tarea difícil', agregó.
La Iniciativa de Autenticidad de Contenido, un consorcio de 1000 empresas y organizaciones, es un grupo que intenta hacer que la tecnología generativa sea obvia desde el principio. (Está dirigida por Adobe, con miembros como The New York Times y jugadores de inteligencia artificial como Stability AI) En lugar de reconstruir el origen de una imagen o un video más adelante en su ciclo de vida, el grupo está tratando de establecer estándares que aplicarán credenciales rastreables al trabajo digital en el momento de la creación.
Adobe dijo la semana pasada que su tecnología generativa Firefly se integraría en Google Bard, donde adjuntará 'etiquetas nutricionales' al contenido que produce, incluida la fecha en que se hizo una imagen y las herramientas digitales utilizadas para crearla.
Jeff Sakasegawa, el arquitecto de confianza y seguridad de Persona, una empresa que ayuda a verificar la identidad del consumidor, dijo que los desafíos que plantea la inteligencia artificial apenas han comenzado.
'La ola está cobrando impulso', dijo. 'Se dirige hacia la orilla. No creo que se haya estrellado todavía'.
