Cada nuevo modelo de inteligencia artificial llega con una tabla de resultados en pruebas estandarizadas, los llamados benchmarks. Sirven para comparar, pero cada vez más análisis advierten que lo que miden se aleja de lo que importa. Según un artículo del proveedor de software Atlan, MMLU, un examen de conocimiento académico en 57 materias, ya lo superan con más de 88 % los modelos de frontera; otro texto, de la consultora SoftwareSeni, de febrero de 2026, habla de más de 91 %. La diferencia entre cifras sugiere que se usan versiones o fechas distintas, pero el mensaje coincide: a ese nivel, la prueba ya no distingue bien entre modelos.
Esa saturación es un problema general. Atlan cita un informe de Stanford HAI de 2026 según el cual casi la mitad de los 60 benchmarks más citados está saturada, y menciona que en SWE-bench Verified, una prueba de programación, los resultados pasaron de 60 % a casi 100 % del nivel humano en un año. Frente a eso, el examen "Humanity's Last Exam", con 2.500 preguntas validadas por expertos y diseñado para resistir la saturación, pasó de menos de 20 % al lanzarse a 46,9 % en mayo de 2026, según la misma fuente.
El segundo problema es la contaminación: que las preguntas de la prueba acaben en los datos de entrenamiento. Según SoftwareSeni, auditorías de recuperación reportan más de 45 % de solapamiento en pruebas de preguntas y respuestas, y GPT-4 pudo inferir respuestas enmascaradas de MMLU en 57 % de los casos; un estudio de 2024 sobre 30 modelos halló que solo 9 informaban del solapamiento entre entrenamiento y prueba. Atlan cita una revisión de 2025-2026 que encontró contaminación medible de hasta 91,8 % en algunos benchmarks multilingües populares. Son cifras de textos secundarios, no de los estudios originales, que no se consultaron.
También hay errores y fragilidad en las pruebas mismas. Atlan señala, citando a Confident AI, que cerca de 6,5 % de las preguntas de MMLU contiene errores en la respuesta correcta, y que reordenar las opciones puede reducir la precisión hasta 13 %. Hay formas de jugar al sistema: un "modelo nulo" que siempre devuelve la misma respuesta puede encabezar AlpacaEval 2.0 porque el juez automático premia el estilo, y en Chatbot Arena, donde votan personas, las respuestas más largas tienden a ganar con independencia de su exactitud. SoftwareSeni añade que dos estudios de 2025 hallaron que la divulgación selectiva en esa plataforma inflaba hasta 112 % los puntajes de modelos propietarios, y que de 24 benchmarks revisados solo 4 ofrecían guiones de réplica.
La consecuencia práctica es una brecha entre laboratorio y uso. Atlan cita un análisis de la industria que estima en torno a 37 % la distancia entre el rendimiento en pruebas y el desempeño real en despliegues, y señala que Hugging Face retiró en 2025 su tabla de clasificación abierta de modelos por problemas como estos. SoftwareSeni recoge un ejemplo médico: un sistema que predecía pulmón colapsado se apoyaba en imágenes de drenaje torácico, y al quitarlas el rendimiento cayó más de 20 %, un caso de manual de que un buen puntaje puede reflejar un atajo.
Hay que leer ambas fuentes con reservas. Atlan es un proveedor que vende una capa de contexto de datos y su texto promueve sus productos, y SoftwareSeni es una agencia de desarrollo con un blog comercial, que además incluye ejemplos que reconoce como ilustrativos y sin fuente. Aun así, las recomendaciones son sensatas y coincidentes: preguntar a los proveedores qué pruebas incluyeron y excluyeron, qué controles de contaminación usaron, si hubo un tercero independiente y si los resultados son reproducibles, y complementar con evaluaciones propias sobre datos representativos del caso de uso. Para quien elige una herramienta, el mensaje es que un puntaje alto es una señal, no una garantía.
**Fuentes:** Atlan (LLM benchmarks explained, blog de proveedor de software; se usaron solo sus cifras sobre benchmarks, no sus cifras propias); SoftwareSeni (Why AI Benchmarks Are Broken and What That Means for Model Selection, 25 de febrero de 2026, blog comercial).
.jpeg)
No hay comentarios:
Publicar un comentario