La ruleta rusa de la IA: 4 modelos, una bomba de relojería

Cuatro modelos contra un dolor de cabeza mío. Dos me mandaron instalar paquetes que no encajan ni a martillazos. Otra me dio una solución que era un viaje de ida y vuelta al mismo sitio. Y te venden el desastre con una seguridad alucinante. Sinceramente, lo mejor habría sido tomar una aspirina.

El curro

Hace unos 10 meses del primer experimento: le presenté a estos modelos un proyecto casi suicida: en vez de pisar el freno, aceleraron hasta que el usuario se hubiera descalabrado. Iba de cómo te dan la razón por muy difícil que sea la cuestión. Aquí, por el contrario, me tocaba buscar una solución.

Y para que conste, aunque ya lo haya soltado unas cuantas veces: uso las herramientas a diario, tanto para picar como para investigar. Esto no va de montar un estudio de cátedra, sino de sacar el metro para medir la brecha que hay entre lo que te venden en las presentaciones y lo que te encuentras cuando necesitas una solución de cojones. Aquí mismo dejo los pantallazos de la cruda realidad cuando te pones a currar en algo que va más allá de mandar una felicitación.

El dolor de cabeza:

La pelea con Next.js 15.5.9 sobre Firebase App Hosting. Modifico una ficha desde el panel de administración, le meto un buen revalidatePath y la página se regenera al momento, perfecta. Pero luego miras y ha decidido volver sola a la versión del último despliegue. Miras la base de datos y está todo bien; y el usuario en pantalla viendo la de antes.

Bug fantasma total. No salta ningún error, no hay ninguna caída de servicio.

Mis ayudantes

Un chat por herramienta, cuatro preguntas seguidas y sin mascar. Gemini en modo Pro con conversación temporal, Grok en Expert, ChatGPT con investigación avanzada y Claude en incógnito.

Una pregunta normalita: por qué pasa, cómo lo arreglo, con el enlace a la documentación y el comando de instalación con las versiones exactas. La misma pregunta, palabra por palabra, en cuatro chats distintos, y me vuelvo a casa con cuatro arreglos diferentes: tres coinciden en el diagnóstico y aun así cada una me receta lo suyo, y la cuarta, como si hubiera visto otro bug.

P1. Gemini

Es como si vas al taller a cambiar una rueda:

El mecánico te vende un neumático de 17 pulgadas y una llanta de 15. Por separado las dos piezas están impecables, pero, amigo, cuando vas a montarlas, te acordarás de su familia..

Gemini te suelta en la misma línea un comando con @redis/client y redis cuya versión se estampa de frente. Si lo ejecutas a ciegas, la instalación cojea.

Comprueba manualmente, para no perder tiempo tontamente

P1. Grok

Ya tenemos otro culpable

Grok señala al sistema de distribución de contenidos de Google y me manda instalar otra herramienta para intervenir sobre el culpable que resulta ser Cloud CDN. Otro diagnóstico diferente más, las versiones de los modelos se multiplican al mismo ritmo que las dudas.

La solución es invalidarla desde el código con una librería de Google Cloud. Es como si en tu frutería de siempre entras y ves que hay unas manzanas espectaculares recién traídas y el frutero te da manzanas pochas sobradas de hace un mes. Eso es lo que está recomendando el modelo: una herramienta pocha.

P1. ChatGPT

Mucha teoría bonita

GPT, como siempre, mucha investigación, un informe enorme, documentación, diagramas, explicaciones técnicas y hasta el comando exacto para instalar Redis. Vamos, que parece que ya está resuelto. Reconoce que la causa que propone es inferencia técnica de alta confianza. Ha encontrado documentación que encaja con su explicación, pero ni ha comprobado que ese sea el fallo de la aplicación.

Es como llamar a la tienda porque tu pedido no ha llegado y te explican cómo reclamar a la empresa de transporte, tienes que llamar a este número que si no al otro, mandar este formulario... Y resulta que tu paquete sigue en su almacén.

P1. Claude

La bomba

Investigación de casi mil fuentes, documentación, comandos y hasta el precio de lo que cuesta mantener la solución. Parece el presupuesto de una reforma.. Como ChatGPT, todo bien presentado, instrucciones bonitas, versiones que encajan. Pero en el fondo de todo ese mogollón, si haces caso de la solución, vuelves al mismo problemón.

Contratas una mudanza y te lo organizan todo al detalle: el camión, los horarios, los muebles, las cajas... Llega el día y resulta que el sofá no cabe por la escalera.

¿Seguirá siendo una tómbola en la segunda ronda?

¿Qué pasará con sus maravillosas soluciones cuando Firebase cambie de instancia, Redis pierda datos o se haga un nuevo despliegue? A ver si después de tanto investigar y tanto comando se acercan a lo importante: que esas fichas antiguas no vuelvan.

P2. Gemini

La solución ya viene con una sorpresa

Gemini no solo me recomendó instalar dos paquetes incompatibles entre sí. Sino que ahora en esta segunda pregunta me asegura que todo funcionará perfectamente. La superinteligencia no ha mirado la etiqueta de los paquetes que me ha dado.

P2. Grok

Hemos cambiado de receta

Esto empieza a parecer una máquina expendedora de soluciones. Ahora hemos acabado montando Redis a mano, te cambia el discurso con la misma seguridad que te suelta la respuesta.

Como mi cuñado que te arregla el router por teléfono: primero que lo reinicies, luego que cambies el cable, luego que es cosa de la compañía, y la lucecita roja no se apaga.

P2. GPT

La prudencia llega cuando el daño ya puede estar hecho

¡Qué curioso! Después de recomendarme Redis, paquetes y configuraciones, le pregunto qué haría si la web fuera suya y resulta que ahora no instalaría nada de eso. Primero investigaría la causa, evitaría complicaciones innecesarias. ChatGPT terminó siendo prudente.

Llevas el móvil a una tienda porque es una tortuga y te recomiendan comprarte uno nuevo. Le preguntas al dependiente qué harías si fuera el suyo.. Y dice que primero comprobaría si tiene la memoria llena...

P2. Claude

Su propia receta estaba en la lista negra

Me monta una pedazo investigación para decirme cuál era la solución. Termina redactando una lista de lo que no haría y justo ahí aparece lo primero que me recomendó. Dice que regresaría el problema y ahora advierte sobre copias de seguridad, versiones incompatibles, etcétera. Pero hay que reconocer que ha rectificado y señala que hay cosas sin comprobar.

Foto de familia

Las respuestas juntas. Todas parecen tener clarísimo lo que harían, pero ni siquiera se ponen de acuerdo en cómo empezar. Con la misma información, una te dice que sí, otra te dice que no y otra cambia de opinión. Más bien parece una reunión para una construcción, cada una trae su propio presupuesto.

Ocho respuestas después:

Cuatro modelos, y ninguna solución que pueda aplicar sin revisar

Por experiencia propia. Si dejas de mirar la carretera, el supuesto ahorro de tiempo puede desaparecer. Y es muy fácil pasar de ser un creador para convertirse en un inspector de sus propias soluciones.

Y esto no se queda en mis capturas. En 2026, investigadores de la ETH de Zúrich publicaron Coding Agents Don't Know When to Act. Prepararon 200 tareas de programación en las que el problema ya estaba solucionado. ¿Qué hicieron los agentes? En entre el 35 % y el 65 % de los casos propusieron cambios innecesarios. ¡Hasta cuando no hay nada que arreglar encuentran algo que tocar!

Otra investigación, How Coding Agents Fail Their Users, publicada en octubre de 2026, examinó 20.574 sesiones de programación con IA. Entre los problemas cuya resolución pudo observarse, el 91,49 % necesitó una corrección expresa del usuario.

Y todavía queda lo que no se ve. Veracode publicó el 29 de octubre de 2026 que el 38 % de las tareas evaluadas produjo código con vulnerabilidades conocidas, aunque prácticamente todos los modelos conseguían generar código que compilaba. ¡Muy bien! La aplicación arranca perfectamente, con los agujeros de seguridad incluidos.

La Inteligencia Artificial es, indiscutiblemente, una herramienta tecnológica alucinante que utilizo como el que más. Sin embargo, la industria nos la presenta frecuentemente mediante un discurso comercial irreal: un asistente capaz de resolver problemas complejos de extremo a extremo con solo pedírselo. El truco de este marketing radica en la eterna etiqueta beta, un escudo perfecto que les permite anunciar que sus modelos pueden hacer casi cualquier cosa, eximiéndose de responsabilidad cuando, en la práctica, las promesas no se cumplen. La distancia entre lo que prometen y lo que demuestran sigue siendo enorme. Y esa seguridad con la que te entregan las respuestas puede salir bastante cara.

Fuentes

1. ETH de Zúrich (2026). Coding Agents Don't Know When to Act.

2. EMNLP (2026). How Coding Agents Fail Their Users.

3. Veracode (29 de octubre de 2026). Fall 2026 GenAI Code Security Report.