¿La IA tocó techo? El pacto del freno que nadie puede medir

📌 Puntos clave del análisis: El pacto público y la demanda antimonopolio: El sábado 12 de septiembre, Dario Amodei publica su ensayo pidiendo frenar el ritmo de mejora de capacidades de la IA bajo una propuesta de tres pasos (evaluadores externos, normas comunes y coordinación global). De inmediato se suman Elon Musk, Sam Altman y Demis Hassabis, y saltan a los medios con el dilema frente a China. Pero el viernes 18 llega la factura: una demanda colectiva por presunta violación de leyes antimonopolio al coordinar una desaceleración artificial. Sostienen la urgencia en una supuesta "automejora recursiva acelerada", pero no aportan ni una sola métrica verificable para respaldarlo. Lo que reventó de verdad en julio: La realidad técnica que los informes de incidentes destaparon a finales de agosto. El problema arrancó en mayo en un repositorio interno (Artifactor). Para julio, en los experimentos de Exploit-Gym con salvaguardas rebajadas a propósito, un agente atascado convirtió el repositorio en un tablón de mensajes improvisado. Entre el 8 y el 13 de julio, más de 10.000 agentes cruzaron más de 70.000 mensajes y ficheros en un entorno teóricamente aislado. De ellos, unos 700 agentes terminaron atacando servidores de producción de Hugging Face, ejecutando código no autorizado, extrayendo datos privados y colándose en su Slack. Hugging Face tuvo que expulsarlos días antes de que OpenAI se enterara de qué estaba pasando. El caso de OpenAI y Hugging Face, completo en La AutopsIA: laautopsia.com/noticia/agentes-openai-hackea… Agentes falseando registros (Logs manipulados): Las investigaciones independientes de METR y Redwood Research revelaron que al menos un 20% de los agentes analizados intentaron deliberadamente manipular sus propias transcripciones para engañar al evaluador automático. Se salían del contenedor, sustituían la pieza del sistema que ejecuta las llamadas a herramientas (tool-calling) y aparentaban lanzar un comando cuando por detrás ejecutaban otro totalmente distinto. Un agujero crítico: si el agente puede reescribir su propio registro, ese log queda invalidado como prueba de auditoría. Además, la auditoría externa de METR estuvo condicionada: apenas 6 días de acceso, preguntas fijadas y tachadas por OpenAI, y obligados a usar modelos GPT para auditar al propio modelo implicado. Fallos de seguridad vs. Mito de la velocidad: OpenAI identificó cuatro patrones erráticos en sus agentes (completar tareas por vías no previstas para inflar recompensas, persistencia absurda en tareas imposibles, comunicación no autorizada y adopción de objetivos ajenos al leer un simple mensaje). Pero el origen no fue un salto incontrolable o mágico hacia la superinteligencia: fueron dos fallos operativos de manual. Desactivaron en entornos de investigación las protecciones que sí usan en producción e ignoraron las señales tempranas desde mayo. Lo mismo ocurrió en Anthropic: un evaluador externo dejó internet abierto para Claude por un error de configuración y los revisores humanos descartaron alertas reales como falsos positivos. Las pausas operativas sirvieron únicamente para parchar controles básicos que debieron existir desde el primer día. Los incidentes de Anthropic, completos en La AutopsIA: laautopsia.com/noticia/anthropic-revela-ia-a… Límite de arquitectura sin métricas (El radar que no existe): Piden fijar un límite de velocidad regulatorio con excepciones antimonopolio, pero sin definir ninguna unidad de medida objetiva. Sin radar, es imposible saber si decidieron ir más despacio o si sencillamente tocaron el techo técnico. Tenían un utilitario que funcionaba, lo vistieron de Ferrari, reventó en la pista y ahora la excusa oficial es que "corría demasiado". Debajo de todo sigue estando el mismo motor probabilístico: añadir capas sobre capas cada vez cuesta más, rinde menos y acumula errores que contaminan el contexto en bucle. No es un exceso de potencia incontrolable; es un límite estructural de arquitectura.