La preocupación por los abusos relacionados con las tecnologías emergentes ha llegado a un nuevo nivel con el surgimiento de los deepfakes, especialmente aquellos de contenido sexualizado. Estos videos y fotos manipulados, que pueden mostrar a personas en situaciones comprometedores o inapropiadas, son creados utilizando inteligencia artificial y han generado gran alarma debido a su potencial para dañar reputaciones y violar la privacidad. Recientemente, el Primer Ministro británico, Sir Keir Starmer, se mostró complacido por los informes que indican que la empresa X está actuando sobre este problema. Sin embargo, esto ha planteado más preguntas sobre la efectividad de estas medidas y la responsabilidad que tienen las plataformas digitales en la regulación de su contenido.

El término "deepfake" se refiere a una técnica de inteligencia artificial que utiliza redes neuronales para crear imágenes, videos y audios falsos pero altamente realistas. Estos sistemas, por ejemplo, pueden sustituir rostros en videos o generar voz artificial que imita a personas reales. Esto ha llevado a un aumento alarmante en la producción de deepfakes no consensuales, en especial aquellos sexualizados, lo que ha llevado al regulador Ofcom a abrir una investigación y al gobierno británico a aplicar leyes que criminalizan su creación. El desarrollo de herramientas como Grok tiene un impacto significativo, ya que, aunque permite la creación de contenido innovador, la línea entre lo aceptable y lo dañino se vuelve difusa. En este contexto, el hecho de que Grok haya dejado de crear imágenes sexualizadas es un paso positivo, pero plantea la pregunta: ¿hasta dónde se debe llegar para garantizar la responsabilidad y el consentimiento en el ámbito digital?