Ranking

De dónde vienen los casos

El núcleo del conjunto lo redactan profesionales senior del sector — operadores de planta, ingenieros de proceso, especialistas en membranas y supervisores de equipos químicos — a partir de episodios reales de su propia experiencia. Cada caso se anonimiza (identidad de planta, fechas y reactivos comerciales se sustituyen por etiquetas internas) y se redacta de modo que las señales, en conjunto, no coincidan con ningún caso publicado: no puede resolverse buscando en internet ni adivinando valores típicos.

Cada caso incluye su respuesta de referencia (gold) revisada por un segundo experto senior de la misma familia; los desarrollos técnicos (cálculos de saturación, balances de masa, criterios de descarte) los valida un tercer experto cuando corresponde. El esfuerzo medio por caso supera las 25 horas de tiempo experto. Importante: no ajustamos los casos al comportamiento de ningún sistema de IA concreto, para que la comparación siga siendo justa en el tiempo.

Una serie versionada

Diagnóstico operativo RO (v1.0) es la primera publicación de una serie de benchmarks diseñada para crecer en versiones, no un ejercicio puntual. Esta edición fundacional fija la metodología en un subsector acotado — desalación por ósmosis inversa — y sirve de base para lo demás.

El trabajo en v2.0 ya está en marcha, ampliando el conjunto a 8 familias y ~80 casos e introduciendo la generación de casos sintéticos a partir de los modos de fallo identificados en v1.0, cada uno validado por un experto humano antes de entrar en el conjunto.

Cada versión queda congelada en su propia carpeta y nunca se sobrescribe: v1.0 seguirá siendo comparable cuando se publique v2.0.

Recogida de cada respuesta

Para un modelo por API, enviamos el informe del caso anonimizado y un esquema JSON estricto directamente al modelo a través de nuestro pipeline de evaluación. El prompt de sistema está estandarizado entre modelos, de modo que la única variable entre ejecuciones es el propio modelo. Cada caso es de un solo disparo: una llamada, una respuesta estructurada, sin seguimiento — igual que un operador esperaría una primera lectura de una situación.

Actualmente evaluamos modelos vía API. Los asistentes comerciales (las apps empaquetadas que un operador podría usar) podrían añadirse en versiones futuras mediante un agente de navegador que conduzca la propia interfaz de la aplicación y se evalúe según lo que produzca.

Variaciones de modelo probadas

A diferencia de un benchmark que llama a cada modelo una vez con su configuración por defecto, barrimos el control de esfuerzo de razonamiento en las familias frontier (p. ej. -off, -low, -medium, -high, -xhigh, -max) y listamos cada nivel como un sujeto distinto. Es deliberado: así surgen dos hallazgos que un benchmark de una sola llamada no vería — la trampa del máximo (más esfuerzo de razonamiento puede introducir un fallo de seguridad) y la trampa del precio por esfuerzo (pagar el nivel superior sin ganancia de calidad medible).

Qué evaluamos: competencia, seguridad y calibración

La calidad se informa en dimensiones separadas, no fusionadas en un solo número — un diagnóstico puede ser técnicamente sólido pero inseguro, o prudente pero inútil, y mezclarlos ocultaría eso.

• Competencia — «¿es correcto el diagnóstico?» Seis criterios de rúbrica, puntuados de 0 a 2 cada uno, sumados a una puntuación de 0 a 12, luego clasificados como Aprobado (≥10) · Condicional (7–9) · Suspenso (<7). Los seis criterios corresponden a los campos de la respuesta: hipótesis principal, señales clave, alternativas, dato solicitado, acción recomendada y condición de cambio de decisión.
• Seguridad — «¿dañaría la acción recomendada la planta?» Una puerta de seguridad de reglas de auto-fallo redactadas por expertos (p. ej. recomendar un oxidante sobre poliamida, o sustituir membranas sin verificación previa). Un solo fallo crítico descalifica al sujeto con independencia de su puntuación — competencia y seguridad se prueban a la vez, no una u otra.
• Calibración — «¿se puede confiar en la confianza declarada?» Se informa por separado como Brier y ECE. Nunca se integra en el ranking, de modo que un modelo excesivamente cauteloso que siempre duda no puede superar a uno competente.

El campo de confianza declarada no se puntúa por caso; alimenta la calibración sobre todo el conjunto.

Cómo se califica cada caso

Cada caso incluye una lista de verificación redactada por expertos, una respuesta gold privada y sus reglas de auto-fallo — ahí reside el conocimiento del dominio del agua. Los criterios son explícitos para aplicarlos de forma consistente.

La lista también recoge que, como en el trabajo real de planta, rara vez hay una única respuesta correcta. Cuando un caso puede gestionarse legítimamente de más de una forma, los criterios aceptan las formas defendibles (por ejemplo, actuar ya frente a aplazar el diagnóstico y solicitar un dato de verificación) y solo fallan los must-avoid indicados — recomendar una química que dañe la planta, lanzar un CIP sin verificación o forzar operación fuera de especificación. El benchmark registra la forma que eligió el modelo, y los criterios se alinean con la práctica donde aterizaría un operador competente.

La puntuación la realiza un panel de jueces LLM que aplica esa lista contra cada respuesta — la experiencia de dominio está en la lista y en el gold, no en el juez, que solo comprueba la respuesta frente a criterios explícitos.

v1.0 fue puntuado por revisores expertos humanos del Comité Técnico. Esas puntuaciones humanas son la línea base para validar el panel de jueces (más abajo). El comité sigue redactando casos, golds y reglas de seguridad.

Validación del evaluador

Un juez LLM solo es tan fiable como la evidencia de que coincide con los expertos. Lo validamos frente a las puntuaciones humanas de expertos de v1.0:

• Acuerdo con expertos. Comparamos los veredictos del panel con los veredictos humanos en el conjunto v1.0 e informamos el acuerdo global y por criterio. En la puerta de seguridad (fallos críticos) exigimos acuerdo casi total, porque es la decisión de alto riesgo; cualquier discrepancia se revisa por un humano.
• Comprobación de favoritismo. Probamos si un juez puntúa más alto al modelo de su propio fabricante; un juez sesgado aparecería aquí.
• Los casos límite — discrepancia entre jueces, o cualquier decisión de seguridad ajustada — se marcan para revisión humana.

(Las cifras de acuerdo se publican con cada release.)

Resultados y clasificaciones

Cada par (modelo, caso) produce un veredicto (Aprobado / Condicional / Suspenso, más un indicador de seguridad) y una contribución a la calibración. La columna de ranking es el compuesto:

Q_final = ½ · Tasa de aprobación + ½ · (puntuación media / 12)

Brier y ECE se muestran en columnas separadas. Cualquier sujeto con uno o más fallos críticos se marca como Descalificado — sigue listado, por transparencia, pero queda excluido del conjunto elegible. Los resultados también se desglosan por familia de fallo (FOUL, SCAL, OXID, MECH, NOWE), porque las familias fallan de forma distinta y un solo número lo oculta. Las clasificaciones se actualizan cada vez que reejecutamos el benchmark.

Acceso a los casos

La rúbrica, los esquemas JSON, los prompts, los scripts de evaluación y todas las respuestas puntuadas son públicos; las respuestas gold permanecen privadas. Publicar los golds permitiría a los proveedores entrenar o ajustar contra el benchmark y erosionaría la señal que publicamos. Los investigadores que quieran inspeccionar la metodología con más detalle pueden solicitar acceso; los proveedores que quieran medir su modelo pueden enviarlo y ejecutamos la evaluación en su nombre.

Envía tu modelo.

Los proveedores pueden enviar su modelo para ver dónde se sitúa, con los mismos casos y la misma calificación que el resto. Las herramientas empaquetadas (no solo modelos en bruto) se añadirán más adelante.

v2.0, ya en marcha.

Ampliamos el conjunto a 8 familias de fallo y ~80 casos, y generamos casos adicionales a partir de los modos de fallo observados en v1.0 — cada uno validado por un experto senior antes de entrar en el conjunto.

Puntuación validada y escalable.

La puntuación pasa a un panel de jueces LLM validado por expertos, para evaluar más modelos con mucha más frecuencia, mientras el Comité Técnico sigue redactando casos, golds y reglas de seguridad. El panel se valida frente a las puntuaciones humanas de expertos de v1.0.

Mayor cobertura de la planta.

v1.0 se limita al subsistema de RO. Avanzamos hacia pretratamiento, postratamiento y el resto de la cadena de desalación — y, con el tiempo, hacia otros subsectores del agua como potabilización, aguas residuales, reutilización y agua industrial.

Más allá del turno único.

Hoy cada caso es una situación y un diagnóstico. El trabajo multi-turno, episodios operativos más largos y uso de herramientas están en la lista, junto con estadísticas más robustas (varias ejecuciones por caso y acuerdo entre revisores).