xAI demanda a un usuario de Grok por la presunta creación de deepfakes explícitos que involucran a menores

La empresa de inteligencia artificial (IA) de Elon Musk, xAI, ha presentado una demanda contra un hombre de Carolina del Sur, acusándolo de usar su chatbot Grok para crear material de abuso sexual infantil e incluir deepfakes sexualmente explícitos con menores. El caso supone una de las primeras demandas conocidas en las que una empresa de IA ha emprendido una acción legal directa contra uno de sus propios usuarios por presuntamente abusar de su plataforma para generar contenido ilegal.

Según la demanda, el acusado vulneró los términos de servicio de xAI al usar intencionalmente Grok para crear y manipular imágenes explícitas. La demanda busca daños y perjuicios económicos y una orden judicial permanente que prohibiría a la persona acceder a Grok o a otros servicios de xAI en el futuro.

La empresa busca una aplicación más estricta

xAI sostiene que el presunto uso indebido perjudicó a las víctimas y, al mismo tiempo, expuso a la empresa a riesgos legales, financieros y reputacionales. La empresa afirmó que ha invertido fuertemente en esfuerzos de moderación de contenido y en la aplicación de medidas durante 2026. Entre esas acciones se incluyó suspender decenas de miles de cuentas y presentar decenas de miles de informes al National Center for Missing and Exploited Children.

La empresa también indicó que sus labores de reporte han contribuido a cientos de arrestos. Al promover litigios civiles, xAI pretende reforzar la idea de que los usuarios que eluden intencionalmente las salvaguardas de la plataforma para crear material ilegal pueden enfrentarse a consecuencias legales significativas más allá de la persecución penal.

Mayor escrutinio de la seguridad en IA

La demanda llega en un momento en el que las empresas de IA enfrentan una presión creciente para reforzar las salvaguardas contra los deepfakes no consentidos y la explotación infantil. A principios de este año, xAI se enfrentó a desafíos legales separados por parte de menores que alegaron que su tecnología se utilizó para generar imágenes sexualmente explícitas basadas en sus fotografías. Esos casos intensificaron los llamamientos para una moderación más estricta y protecciones técnicas más sólidas en todo el ecosistema de plataformas de IA generativa.

La demanda más reciente señala un cambio de estrategia. En lugar de responder solo con restricciones de la plataforma y baneos de cuentas, xAI ahora persigue acciones civiles contra usuarios que, según afirma, explotaron deliberadamente su tecnología. Los observadores de la industria esperan que el caso se convierta en una prueba importante sobre cómo pueden las empresas de IA usar acuerdos contractuales y las leyes existentes para combatir usos ilegales de la IA generativa, al tiempo que demuestran una aplicación activa de sus políticas de seguridad.