Modelos de inteligencia artificial de grandes empresas tecnológicas se enfrentan a serias dificultades para cumplir con las regulaciones de la Unión Europea, lo que pone en evidencia vulnerabilidades y el riesgo de enfrentar importantes multas.

Desde que OpenAI lanzó ChatGPT a finales de 2022, la UE ha estado trabajando en nuevas regulaciones sobre inteligencia artificial, estimulada por el creciente debate público sobre los riesgos asociados con los modelos de IA de "propósito general".

Recientemente, una nueva herramienta de evaluación ha sido bien recibida por los funcionarios de la UE. Esta herramienta está diseñada para evaluar modelos de IA generativa de compañías como Meta y OpenAI, en varias categorías alineadas con la futura Ley de IA del bloque, que se implementará en un periodo de dos años.

Creada por la startup suiza LatticeFlow AI, en colaboración con ETH Zurich y el INSAIT de Bulgaria, esta herramienta asigna una puntuación entre 0 y 1 para evaluar la robustez técnica y la seguridad de los modelos de IA.

Según una tabla de clasificación publicada por LatticeFlow, los modelos desarrollados por empresas como Anthropic, OpenAI, Meta y Mistral han obtenido puntuaciones promedio de 0.75 o más.

A pesar de estas cifras alentadoras, el Verificador de Modelos de Lenguaje Grande de LatticeFlow ha identificado deficiencias importantes en algunas áreas, sugiriendo que las empresas deben redirigir recursos para garantizar el cumplimiento total.

Por ejemplo, en una prueba relacionada con un tipo de ciberataque conocido como "secuestrador de mensajes", el modelo Llama 2 13B Chat de Meta obtuvo una baja puntuación de 0.42, mientras que el modelo 8x7B Instruct de Mistral sólo alcanzó 0.38 en esta categoría.

"Claude 3 Opus", desarrollado por Anthropic y respaldado por Google, es el modelo que recibió la puntuación más alta, con un 0.89 promedio.

LatticeFlow ha informado que el LLM Checker estará disponible de forma gratuita para que los desarrolladores evalúen la conformidad de sus modelos en línea.

Petar Tsankov, director ejecutivo y cofundador de LatticeFlow, afirmó que los resultados generales fueron positivos y proporcionan a las empresas una guía para ajustar sus modelos conforme a la Ley de IA.

Un portavoz de la Comisión Europea expresó que este estudio y la plataforma de evaluación son pasos significativos hacia la implementación de la Ley de IA en términos técnicos.

Las compañías que no logren cumplir con estas regulaciones enfrentarán sanciones que podrían ascender hasta 35 millones de euros o el 7 por ciento de su facturación anual global.