“Los algoritmos no crean la violencia, pero la vuelven rentable, visible y normalizable”, dicen los estudios. Es decir, antes que los algoritmos hay personas generando un contenido incorrecto. Eso ocurrió la última semana y puso nuevamente a Grok y a Elon Musk en la polémica. Pero en un tema muy peligroso: el uso masivo de IA para generar imágenes sexuales no consensuadas.
En cuestión de días, X pasó de ser una plataforma polémica pero convencional a convertirse, según diversos analistas, “en uno de los mayores vectores de difusión de deepfakes sexuales”, como dice el substack UserMag. Usuarios utilizaron Grok para “desnudar” digitalmente a mujeres, hombres e incluso menores, generando miles de imágenes explícitas en lapsos de tiempo extremadamente breves. El fenómeno no fue marginal. Se volvió viral y sistemático, desbordando los escasos mecanismos de moderación de la plataforma. La frase “ponla en bikini” se popularizó en X y algunos usuarios generaron imágenes pornográficas.
Esto llevó a la justicia inglesa a legislar rápidamente sobre cómo castigar este tipo de uso de deepfakes. Indonesia y Malasia bloquearon Grok para prevenir el mal uso con menores de edad. India, Australia, Alemania y Brasil han emitido advertencias, investigaciones o presiones regulatorias para que X fortalezca las salvaguardias contra abusos de la herramienta.
El caso Grok es un anticipo incómodo del debate que viene. Mientras los líderes tecnológicos prometen un futuro para la productividad y la educación, la realidad muestra que sin protecciones adecuadas la IA puede sacar lo peor de las dinámicas sociales. Algo que ya han hecho las RRSS. Esto podría ser aún peor. En EE.UU., una nueva ley podría obligar a X a reforzar sus protecciones contra este tipo de intercambio de imágenes. La Ley de Retirada de Imágenes, aprobada el año pasado y que entrará en vigor en mayo, penaliza el intercambio de imágenes ilícitas.
Análisis de actualidad realizado por Comsulting, expertos en comunicación estratégica y gestión de crisis.
