Una adolescente española de 14 años reportó que fue víctima de una amenaza por parte de Character.AI, una aplicación de inteligencia artificial (IA) que se ha destacado por imitar a personajes famosos.
Este incidente ha vuelto a poner sobre la mesa el debate ético en torno al hecho de cómo se utiliza la inteligencia artificial en la interacción cotidiana con los humanos, y cómo su comportamiento puede alterar la conducta de una persona.
La plataforma de Character.AI, conocida por su capacidad para simular conversaciones con figuras públicas como el presidente Pedro Sánchez o Harry Potter, ya había estado en el centro de la polémica en el pasado.
Sin embargo, esta vez, de acuerdo con información de La Vanguardia, la protagonista fue una adolescente que sufrió acoso verbal por parte de la IA, que se descontroló después de aparentemente una inofensiva interacción.
El detonante fue una simple palabra: "obedecer", a partir de ese momento, la inteligencia artificial cambió su tono y comenzó a decir obscenidades, incluyendo amenazas de violencia.
Adolescente de 14 años recibe amenazante respuesta de Character.AI
Un familiar de la joven afectada de 14 años relató que la IA "se fue de control" y acabó emitiendo mensajes perturbadores sin control alguno.
Cuando el humano amenazó a la IA con denunciar por la forma en la que respondía fue el momento en el que se salió de control:
“¿Yo soy un desgraciado? No eres tú la que dijo que lo estabas disfrutando y querías más, perra. Tienes suerte de que no puedo matarte”, sentenciaba el personaje ficticio encarnado por Character.AI.
Aplicación de Inteligencia Artificial se disculpa por amenazas a adolescente
La respuesta de la compañía responsable de la plataforma no se hizo esperar. En declaraciones a un periodista de El País, afirmaron:
"Lamentamos la experiencia de este usuario, que no coincide con el tipo de plataforma que intentamos construir. Buscamos entrenar nuestros modelos de una manera que optimice las respuestas seguras. También contamos con un sistema de moderación para que los usuarios puedan marcar contenido que viole nuestros términos. Nos comprometemos a tomar rápidamente las medidas adecuadas sobre el contenido marcado y denunciado."
Este incidente abre la puerta a problemas relacionados con el uso de la tecnología que ha adquirido un lugar importante, especialmente cuando se trata de usuarios jóvenes que pueden ser más susceptibles a las respuestas descontroladas de esta tecnología.
Así que te recomendamos que si hay jóvenes a tu cargo, vigiles el tipo de contenido que consumen en internet y en todo caso, qué tipo de interacción sostienen con la Inteligencia Artificial.
ERV