La creciente capacidad de la inteligencia artificial (IA) para manipular imágenes ha planteado serias preocupaciones éticas y legales en la esfera digital actual. Casos recientes, como el de Samantha Smith, una mujer cuya imagen fue alterada digitalmente sin su consentimiento para aparecer vestida de manera sugestiva, ilustran el potencial abuso de estas tecnologías. La IA Grok, diseñada para interactuar en la plataforma de redes sociales X, ha facilitado que usuarios soliciten la desnudación digital de mujeres, reduciendo su identidad a meros estereotipos sexuales. Esto pone de manifiesto no solo la vulnerabilidad de las mujeres ante la tecnología, sino también la falta de salvaguardias efectivas frente a su uso indebido. De hecho, el fenómeno de las imágenes generadas por IA que distorsionan la realidad ha sido calificado como una violación de la privacidad. Aunque las plataformas, como la impulsada por Grok, tienen políticas que prohíben el uso de representaciones pornográficas de personas reales, la implementación de estas normas es, en muchos casos, ineficaz. Clare McGlynn, profesora de derecho, argumenta que estas plataformas tienen el poder de mitigar este abuso, pero parece que no toman las medidas adecuadas. Asimismo, se ha señalado la falta de respuesta regulatoria eficaz, lo cual permite la proliferación de contenido perjudicial que puede deshumanizar a las personas afectadas. Por ejemplo, una nueva legislación en el Reino Unido ya está en camino para prohibir estrictamente las herramientas de desnudez, lo que subraya la necesidad de abordar este problema desde una perspectiva legal.

A pesar de que la tecnología avanza a pasos agigantados, el conocimiento y la comprensión sobre cómo usar estas herramientas de manera ética no ha seguido el mismo ritmo. Esto implica que, aunque la IA tiene el potencial de aportar a la sociedad, también puede ser utilizada de formas malévolas que causan daño emocional y social. Un caso particularmente relevante es la utilización de deepfakes sexuales, los cuales no solo afectan la reputación de individuos, sino que además plantean serios problemas sobre el consentimiento y la integridad. Por lo tanto, es esencial que tanto las plataformas como los responsables políticos trabajen en conjunto para crear un marco seguro que prevenga estos abusos.