El punto de Wes Roth es el que más me pesa. En cuanto un clasificador decide en silencio qué petición cambia de modelo, el debate deja de ser "evalúo un modelo o evalúo un enrutador". En producción, y más en un entorno regulado, se vuelve un problema de auditoría: no puedes explicar una decisión que no puedes reproducir. Llevo años llevando IA a producción en servicios financieros, y ahí "el sistema derivó tu petición y no te decimos con qué umbral" no es una molestia de benchmark: es un hallazgo de compliance. Y no es opacidad gratuita, hay un compromiso real entre filtrado de seguridad y reproducibilidad, pero ese costo de segundo orden no lo paga quien diseña el enrutador. Lo paga quien construye encima y responde cuando algo falla en producción.
Buen punto, Carlos. Quiero pensar que la opacidad es por diseño, no por mala fe. Si das pistas del filtro indicando qué modelo atiende la petición, la gente aprenderá a ajustar el prompt para esquivarlo y el control que le exige el gobierno deja de tener sentido. Pregunta desde tu experiencia en servicios financieros: ¿bastaría con saber qué modelo respondió a posteriori, o un auditor exigiría también poder anticipar cuándo se produce el desvío en base al tipo de petición?
El punto de Wes Roth es el que más me pesa. En cuanto un clasificador decide en silencio qué petición cambia de modelo, el debate deja de ser "evalúo un modelo o evalúo un enrutador". En producción, y más en un entorno regulado, se vuelve un problema de auditoría: no puedes explicar una decisión que no puedes reproducir. Llevo años llevando IA a producción en servicios financieros, y ahí "el sistema derivó tu petición y no te decimos con qué umbral" no es una molestia de benchmark: es un hallazgo de compliance. Y no es opacidad gratuita, hay un compromiso real entre filtrado de seguridad y reproducibilidad, pero ese costo de segundo orden no lo paga quien diseña el enrutador. Lo paga quien construye encima y responde cuando algo falla en producción.
Buen punto, Carlos. Quiero pensar que la opacidad es por diseño, no por mala fe. Si das pistas del filtro indicando qué modelo atiende la petición, la gente aprenderá a ajustar el prompt para esquivarlo y el control que le exige el gobierno deja de tener sentido. Pregunta desde tu experiencia en servicios financieros: ¿bastaría con saber qué modelo respondió a posteriori, o un auditor exigiría también poder anticipar cuándo se produce el desvío en base al tipo de petición?