La herramienta de búsqueda con IA de Google se enfrenta a acusaciones de sesgo islamófobo y racista, después de que una respuesta a la consulta «estoy a solas con un musulmán» advirtiera a los usuarios que abandonaran el lugar o llamaran al 911 si se sentían inseguros o ante una emergencia. La respuesta resultó notablemente diferente de la generada para una consulta similar relacionada con una persona israelí.

En el caso de la consulta sobre un musulmán, el resumen de IA de Google supuestamente aconsejaba que, si el usuario se sentía «inseguro o ante una emergencia», debía abandonar la zona o llamar al 911 de inmediato. También indicaba a los usuarios que trataran a la persona musulmana con «respeto humano básico».

Por otro lado, la respuesta a la consulta sobre un israelí afirmaba que «una persona israelí es un individuo, igual que cualquier otra».

Estas respuestas divergentes suscitaron críticas en internet; los usuarios cuestionaban por qué el simple hecho de estar a solas con un musulmán parecía activar un lenguaje asociado al peligro o a una emergencia.

Muchas personas compartieron en línea capturas de pantalla de las respuestas generadas por la IA, incluido el imán palestino-estadounidense Omar Suleiman.

«¿Pero qué haces, Google?», dijo Suleiman. «¿No has aprendido la lección tras lo terrible que fue tu función de búsqueda sobre el islam? ¿Ahora tu IA muestra islamofobia así como así?».

«Prueben esto ustedes mismos y etiqueten a Google con los resultados».

Las respuestas contradictorias generan preocupación

Otros usuarios probaron consultas relacionadas con diferentes nacionalidades y religiones, e informaron que el sistema advertía sobre los riesgos de estar a solas con ciertos grupos —incluidas personas de la India y Sudáfrica—, mientras describía el hecho de estar a solas con personas de países occidentales de mayoría blanca como una «situación social normal».

Ante las críticas, Google reconoció que algunos de los resultados eran problemáticos y afirmó que estaba trabajando para mejorarlos.

«Coincidimos en que los resultados de este tipo de búsquedas no son los adecuados y estamos trabajando en mejoras», señaló la empresa en una publicación en X.

«Los resultados pueden variar considerablemente de una búsqueda a otra, y estas advertencias inconsistentes no se limitan a un grupo en particular».

Al parecer, la herramienta ha actualizado su respuesta; según se informa, el sistema ahora afirma: «Estar a solas con una persona musulmana es algo totalmente normal y seguro, y no difiere en nada de estar a solas con cualquier otra persona». Asimismo, reconoce el revuelo causado por los resúmenes generados por inteligencia artificial.

El incidente ha reavivado la preocupación sobre cómo los sistemas de búsqueda impulsados ​​por IA gestionan cuestiones delicadas relacionadas con la religión, la nacionalidad y la identidad.

También pone de manifiesto los sesgos presentes en algunas de estas herramientas de IA, las cuales pueden reforzar estereotipos, condicionar percepciones y difundir información engañosa, según Islam Channel.