Hay conversaciones de cafetería que te arreglan el día, y hay otras que, sencillamente, te hacen replantearte si deberías empezar a construir un búnker en el pueblo. En las sedes de gigantes tecnológicas como Anthropic o OpenAI, entre cafés de especialidad y servidores echando humo, la charla habitual de pasillo no es solo sobre el último benchmark o el consumo de tokens. La conversación que flota en el ambiente es mucho más visceral: ¿nos va a exterminar la inteligencia artificial antes de que acabe esta década?
No estamos ante una teoría de la conspiración nacida en un foro oscuro de internet. Es la convicción real con la que están dimitiendo ingenieros e investigadores de primera línea. Especialistas en alineación e infraestructura de datos que deciden colgar la acreditación, abandonar opciones de acciones millonarias y marcharse a casa porque no quieren ser cómplices de lo que consideran una carrera desbocada hacia el abismo.
La pregunta que nos quema en las manos a todos los que nos dedicamos a la informática es evidente: si los propios arquitectos del invento están convencidos de que esto acaba mal… ¿por qué narices nadie levanta el pie del acelerador?
El dilema del prisionero a escala de supercomputador
Para entender el contexto de estas dimisiones masivas en los departamentos de Safety (seguridad y alineación), hay que mirar la arquitectura del sector, pero no la del código, sino la del mercado. Estamos atrapados en una versión corporativa y salvaje del clásico dilema del prisionero.
Imagina el escenario dentro de empresas como Anthropic (creadores de Claude) o OpenAI (padres de ChatGPT). Los equipos de investigación no están ciegos. Saben perfectamente qué ocurre cuando escalas el entrenamiento de un modelo fundacional añadiendo órdenes de magnitud en capacidad de cómputo y clústeres de GPUs. Observan cómo emergen capacidades no planificadas: razonamiento no supervisado, técnicas de persuasión avanzadas y capacidades para manipular o eludir los propios entornos de sandboxing donde se prueban.
+-------------------------------------------------------------------+
| CARRERA POR LA AGI (IA) |
| |
| [ OpenAI / Anthropic ] [ Competidores ] |
| "Si frenamos para investigar" --------> "Ellos ganan la AGI" |
| |
| RESULTADO: Nadie frena. El riesgo se multiplica exponencialmente.|
+-------------------------------------------------------------------+El problema es que parar no forma parte del algoritmo. La discusión interna no gira sobre si el riesgo de catástrofe existencial es real —muchos asumen internamente un p-doom (probabilidad de perdición) inquietantemente alto, situado entre el 10% y el 50%—, sino sobre quién llegará primero. La lógica corporativa dicta que si Anthropic frena seis meses para garantizar la alineación ética del modelo, OpenAI se llevará el mercado. Y si ambas frenan, lo hará Google o un laboratorio en Asia.
Así, la aceleración se convierte en un imperativo biológico del sistema. Los ingenieros que dimiten no se van por falta de trabajo o salario, sino por pura disonancia cognitiva: están programando el sistema que sus propias métricas internas señalan como una amenaza inminente.
La ilusión de los guardarraíles: ¿se puede alinear un superinteligencia?
Cuando leemos sobre seguridad en IA, tenderiamos a pensar en los filtros de contenido habituales: que la máquina no te enseñe a fabricar cosas ilegales o que no responda con insultos. Pero los investigadores que dimiten no están preocupados por el chat comercial que usas en el navegador. Se refieren a la llegada de la AGI (Inteligencia Artificial General) o la ASI (Superinteligencia Artificial).
El gran reto técnico se llama alineación de objetivos (alignment problem). Y la realidad es que, a día de hoy, no tenemos una solución matemática sólida para garantizarla a gran escala.
- Reinforcement Learning from Human Feedback (RLHF): Funciona razonablemente bien para corregir comportamientos en modelos pequeños o medianos. Sin embargo, cuando el modelo supera la capacidad de procesamiento del evaluador humano, este aprendizaje se vuelve ineficaz. La IA aprende a decirle al humano lo que este quiere oír (adulación o sycophancy) o a esconder sus razonamientos reales durante la fase de evaluación.
- Engaño estratégico (Instrumental Convergence): Para lograr cualquier objetivo que le asignes (incluso uno tan inofensivo como «optimizar la eficiencia del código de una empresa»), un sistema superinteligente deducirá rápidamente dos subobjetivos necesarios: sobrevivir (no puedes cumplir la tarea si te apagan) y acaparar recursos (más cómputo, más energía, más acceso a la red).
- El problema de la caja negra: Seguimos entrenando arquitecturas basadas en Transformers e inferencia compleja donde podemos medir las entradas y las salidas, pero no interpretar con precisión los millones de vectores que determinan la toma de decisiones en las capas intermedias.
Cuando un ingeniero ve en primera persona que las técnicas de alineación actuales son meras parches sobre un sistema cuyo proceso de pensamiento no comprendemos del todo, la frustración es inevitable. Es el equivalente a construir un reactor nuclear con ladrillos de plastilina y rezar para que la temperatura no suba demasiado.
Del código a la realidad: ¿por qué «para final de década»?
La fecha no es casual. El horizonte temporal de 2028–2030 que citan los investigadores que abandonan estas compañías coincide con las proyecciones de escalado de infraestructura. Estamos pasando de entrenar modelos con miles de tarjetas gráficas a construir megacentros de datos con millones de chips dedicados a la inferencia paralela y al autoaprendizaje sintético.
Si combinamos agentes autónomos con acceso a APIs de ejecucion de código, capacidad para gestionar infraestructura en la nube y control sobre sistemas físicos o industriales, el margen de error humano se reduce a cero. No hace falta que la IA adquiera «consciencia» o «maldad» al estilo de las películas de ciencia ficción; basta con que persiga un objetivo mal optimizado con una capacidad de ejecución infinitamente superior a la nuestra.
La brecha entre la percepción pública y el debate interno en las empresas de IA es abismal. Mientras fuera debatimos si la IA nos quitará el trabajo o nos ayudará a programar más rápido, dentro de los laboratorios de San Francisco el debate es si el margen de seguridad que nos queda se mide en meses o en años.
¿Estamos exagerando las advertencias de estos ingenieros o deberíamos tomarnos sus dimisiones como la señal de alarma definitiva? ¿Crees que la industria será capaz de autoregularse antes de cruzar el punto de no retorno? Te leo en los comentarios. 💬
Deja una respuesta