La aplicación de fotos de Google aún no puede encontrar gorilas. Y tampoco los de Apple.
Credit...Desiree Ríos/The New York Times
Ocho años después de una controversia sobre el etiquetado incorrecto de los negros por parte del software de análisis de imágenes, y a pesar de los grandes avances en la visión por computadora, los gigantes tecnológicos aún temen repetir el error.
22 de mayo de 2023Cuando Google lanzó su aplicación Fotos independiente en mayo de 2015, la gente quedó asombrada por lo que podía hacer: analizar imágenes para etiquetar a las personas, los lugares y las cosas en ellas, una asombrosa oferta para el consumidor en ese momento. Pero un par de meses después de la lanzamiento, un desarrollador de software, Jacky Alciné, descubrió que Google había etiquetado fotos de él y un amigo, ambos negros, como 'gorilas', un término que es particularmente ofensivo porque hace eco de siglos de tropos racistas.
En la controversia que siguió, Google impidió que su software categorizara cualquier cosa en Fotos como gorilas y prometió solucionar el problema. Ocho años más tarde, con avances significativos en inteligencia artificial, probamos si Google había resuelto el problema y buscamos comparables. herramientas de sus competidores: Apple, Amazon y Microsoft.
Hubo un miembro de la familia de los primates que Google y Apple pudieron reconocer: los lémures, los animales de cola larga que se ven permanentemente asustados y que comparten pulgares opuestos con los humanos, pero son parientes más lejanos que los simios.
Las herramientas de Google y Apple fueron claramente las más sofisticadas en lo que respecta al análisis de imágenes.
Sin embargo, Google, cuyo software Android es la base de la mayoría de los teléfonos inteligentes del mundo, tomó la decisión de desactivar la capacidad de buscar primates visualmente por temor a cometer un error ofensivo y etiquetar a una persona como un animal. Y Apple, con tecnología que funcionó de manera similar. a Google en nuestra prueba, parecía deshabilitar la capacidad de buscar monos y simios también.
Es posible que los consumidores no necesiten realizar esa búsqueda con frecuencia, aunque en 2019, un usuario de iPhone se quejó en el foro de atención al cliente de Apple de que el software 'no puede encontrar monos en las fotos de mi dispositivo'. Pero el problema plantea preguntas más importantes sobre otras fallas no reparadas o no reparables que acechan en los servicios que se basan en la visión por computadora, una tecnología que interpreta imágenes visuales, así como en otros productos impulsados por IA.
El Sr. Alciné se sintió consternado al saber que Google aún no ha resuelto completamente el problema y dijo que la sociedad confía demasiado en la tecnología.
'Voy a no tener fe en esta IA para siempre', dijo.
Los productos de visión por computadora ahora se usan para tareas tan mundanas como enviar una alerta cuando hay un paquete en la puerta, y tan pesadas como conducir automóviles y encontrar a los perpetradores en las investigaciones policiales.
Los errores pueden reflejar actitudes racistas entre quienes codifican los datos. En el incidente del gorila, dos ex empleados de Google que trabajaron en esta tecnología dijeron que el problema era que la empresa no había puesto suficientes fotos de personas negras en la colección de imágenes que usaba para entrenar a sus AIsystem. Como resultado, la tecnología no estaba lo suficientemente familiarizada con las personas de piel más oscura y las confundió con gorilas.
A medida que la inteligencia artificial se integra cada vez más en nuestras vidas, genera temores de consecuencias no deseadas. Aunque los productos de visión por computadora y los chatbots de IA como ChatGPT son diferentes, ambos dependen de montones de datos subyacentes que entrenan el software, y ambos pueden fallar debido a fallas en el sistema. datos o sesgos incorporados en su código.
Microsoft limitó recientemente la capacidad de los usuarios para interactuar con un chatbot integrado en su motor de búsqueda, Bing, después de que instigó conversaciones inapropiadas.
La decisión de Microsoft, al igual que la elección de Google de evitar que su algoritmo identifique gorilas por completo, ilustra un enfoque común de la industria: bloquear las características tecnológicas que funcionan mal en lugar de repararlas.
'Resolver estos problemas es importante', dijo Vicente Ordóñez, profesor de la Universidad de Rice que estudia visión por computadora. '¿Cómo podemos confiar en este software para otros escenarios?'
Michael Marconi, un portavoz de Google, dijo que Google había impedido que su aplicación de fotos etiquetara cualquier cosa como mono o simio porque decidió que el beneficio 'no supera el riesgo de daño'.
Apple se negó a comentar sobre la incapacidad de los usuarios para buscar la mayoría de los primates en su aplicación.
Representantes de Amazon y Microsoft dijeron que las empresas siempre buscaban mejorar sus productos.
Mala visión
Cuando Google estaba desarrollando su aplicación de fotos, que se lanzó hace ocho años, recopiló una gran cantidad de imágenes para entrenar el sistema de IA para identificar personas, animales y objetos.
Su importante descuido, que no había suficientes fotos de personas negras en sus datos de capacitación, provocó que la aplicación no funcionara correctamente, dijeron dos ex empleados de Google. La compañía no pudo descubrir el problema del 'gorila' en ese entonces porque no había preguntado a suficientes empleados. para probar la función antes de su debut público, dijeron los exempleados.
Google se disculpó profusamente por el incidente de los gorilas, pero fue uno de varios episodios en la industria tecnológica en general que han dado lugar a acusaciones de parcialidad.
Otros productos que han sido criticados incluyen las cámaras web de seguimiento facial de HP, que no pudieron detectar a algunas personas con piel oscura, y el Apple Watch, que, según una demanda, no pudo leer con precisión los niveles de oxígeno en sangre en todos los colores de piel. Los lapsos sugirieron que los productos tecnológicos no estaban diseñados para personas con piel más oscura. (Apple señaló un documento de 2022 que detallaba sus esfuerzos para probar su aplicación de oxígeno en sangre en una 'amplia gama de tipos y tonos de piel').
Años después del error de Google Fotos, la empresa encontró un problema similar con su cámara de seguridad para el hogar Nest durante las pruebas internas, según una persona familiarizada con el incidente que trabajaba en Google en ese momento. La cámara Nest, que usaba IA para determinar si alguien en una propiedad era familiar o desconocido, confundió a algunas personas negras con animales. Google se apresuró a solucionar el problema antes de que los usuarios tuvieran acceso al producto, dijo la persona.
Sin embargo, los clientes de Nest continúan quejándose en los foros de la compañía sobre otras fallas. En 2021, un cliente recibió alertas de que su madre estaba tocando el timbre, pero encontró a su suegra al otro lado de la puerta. Cuando los usuarios se quejaron de que el sistema estaba mezclando caras que habían marcado como 'familiares', un representante de atención al cliente en el foro les aconsejó que eliminaran todas sus etiquetas y comenzaran de nuevo.
El Sr. Marconi, el portavoz de Google, dijo que 'nuestro objetivo es evitar que este tipo de errores sucedan'. Agregó que la compañía había mejorado su tecnología 'asociándose con expertos y diversificando nuestros conjuntos de datos de imágenes'.
En 2019, Google intentó mejorar una función de reconocimiento facial para los teléfonos inteligentes Android al aumentar la cantidad de personas con piel oscura en su conjunto de datos. Pero los contratistas que Google había contratado para recopilar escaneos faciales recurrieron a una táctica preocupante para compensar eso. escasez de datos diversos: se dirigieron a personas sin hogar y estudiantes. Los ejecutivos de Google calificaron el incidente como 'muy perturbador' en ese momento.
¿La solución?
Si bien Google trabajó detrás de escena para mejorar la tecnología, nunca permitió que los usuarios juzgaran esos esfuerzos.
Margaret Mitchell, investigadora y cofundadora del grupo de inteligencia artificial ética de Google, se unió a la empresa después del incidente del gorila y colaboró con el equipo de Fotos. Dijo en una entrevista reciente que era partidaria de la decisión de Google de eliminar 'la etiqueta de gorilas, Al menos un rato.'
'Tienes que pensar en la frecuencia con la que alguien necesita etiquetar a un gorila en lugar de perpetuar estereotipos dañinos', dijo el Dr. Mitchell. 'Los beneficios no superan los daños potenciales de hacerlo mal'.
El Dr. Ordóñez, el profesor, especuló que Google y Apple ahora podrían ser capaces de distinguir a los primates de los humanos, pero que no querían habilitar la función dado el posible riesgo de reputación si fallaba nuevamente.
Desde entonces, Google lanzó un producto de análisis de imágenes más poderoso, Google Lens, una herramienta para buscar en la web con fotos en lugar de texto. Wired descubrió en 2018 que la herramienta tampoco podía identificar a un gorila.
Estos sistemas nunca son infalibles, dijo el Dr. Mitchell, que ya no trabaja en Google. Debido a que miles de millones de personas usan los servicios de Google, incluso los problemas técnicos raros que le ocurren a solo una persona entre mil millones de usuarios saldrán a la luz.
'Solo se necesita un error para tener ramificaciones sociales masivas', dijo, refiriéndose a él como 'la aguja envenenada en un pajar'.
