Conectando el hoy con las promesas del mañana, construyendo puentes entre la tecnología actual y las innovaciones que definirán nuestro futuro.

Sígueme

© 2025. Hernán Rodríguez

Apocalipsis IA - Sam Altman - Dario Amodei

El apocalipsis como modelo de negocio

Desde hace un tiempo, las voces que dibujan los escenarios más inquietantes sobre el futuro de la inteligencia artificial coinciden, de forma llamativa, con las de quienes están invirtiendo cantidades extraordinarias de dinero en llevar esa tecnología cada vez más lejos.

 Dario Amodei  considera que la IA puede convertirse en uno de los mayores riesgos para la humanidad, mientras que  Sam Altman  sostiene que ninguna probabilidad significativa de catástrofe resulta aceptable. Ambos dirigen compañías que compiten precisamente por desarrollar los modelos cuya evolución dicen temer.

Pensé en esa contradicción al leer hoy el artículo de Isaac Marcet, Por qué la IA más potente del mundo está obsesionada con Mark Fisher, el filósofo anticapitalista más influyente del siglo, en El Páis sobre la inesperada obsesión de uno de los modelos de Anthropic con Mark Fisher. La anécdota es fascinante, pero lo que realmente me interesa está un poco más allá: Fisher dedicó buena parte de su obra a explicar cómo el capitalismo aprende a absorber sus propias críticas, incorporarlas a su funcionamiento y, llegado el caso, monetizarlas. Y cuesta encontrar una imagen más radical de esa capacidad que una industria capaz de transformar incluso la posibilidad del apocalipsis provocado por sus productos en parte de su narrativa empresarial.

La comparación puede parecer exagerada hasta que se observa lo que está ocurriendo alrededor de la IA de frontera. Altman y Amodei no niegan los riesgos ni intentan ocultarlos; hacen exactamente lo contrario. Hablan de pérdida de control, armas biológicas, agentes autónomos y escenarios potencialmente catastróficos, mientras sus compañías siguen invirtiendo cantidades extraordinarias en aumentar las capacidades de esos mismos sistemas. Amodei ha dado un paso adicional con «We Must Pace the Frontier», donde sostiene que hay que reducir deliberadamente el ritmo de avance cuando la seguridad no pueda mantener el paso, una posición que llevó pocos días después, junto a Altman, hasta el Consejo de Seguridad de Naciones Unidas.

Jensen Huang formuló la objeción más obvia en una entrevista con Ezra Klein: «Si creen que sus sistemas están fuera de control, no deberían lanzarlos hasta que puedan controlarlos». La frase toca el nervio del problema porque devuelve a las empresas una capacidad de decisión que gran parte del discurso sobre la IA presenta como inexistente. Si el riesgo es tan grave, ¿por qué continuar? ¿Por qué una carrera que sus propios participantes consideran peligrosa se acepta como una condición inevitable y el debate empieza únicamente en cuánto debemos ralentizarla?

Es precisamente ahí donde Fisher resulta más útil que cualquier teoría sobre las verdaderas intenciones de Altman o Amodei. No hace falta suponer que exageran los riesgos ni que están fingiendo preocupación para proteger sus negocios. Pueden creer sinceramente todo lo que dicen. La cuestión más interesante es si el sistema en el que operan puede absorber también esa crítica, transformando el miedo a la tecnología en legitimidad para quienes la desarrollan, la seguridad en una nueva capacidad empresarial y la regulación destinada a contener el peligro en una estructura que termine reforzando a quienes ya dominan la frontera.

Fisher llamó «realismo capitalista» a algo más profundo que la simple hegemonía de un sistema económico. Describía una cultura en la que el capitalismo había terminado delimitando lo que resultaba imaginable, hasta el punto de que sus propias categorías se percibían como parte de la realidad y no como decisiones políticas susceptibles de ser modificadas. La conocida fórmula según la cual resulta más fácil imaginar el fin del mundo que el fin del capitalismo adquiere una literalidad extraña cuando se aplica a la inteligencia artificial: somos perfectamente capaces de imaginar máquinas que escapen a nuestro control y acaben provocando una catástrofe, pero nos cuesta mucho más imaginar que las compañías y los Estados decidan simplemente no competir por construirlas.

La carrera por la IA suele presentarse como una condición previa, casi como un fenómeno meteorológico. Estados Unidos no puede detenerse porque China continuaría avanzando; Anthropic no puede retirarse porque OpenAI seguiría desarrollando modelos; OpenAI tampoco puede hacerlo porque quedarían Google, SpaceXAI u otros competidores. Una decisión empresarial realizada por muchos actores simultáneamente termina adquiriendo así el aspecto de una fuerza impersonal que obliga a todos a hacer aquello que, considerados individualmente, algunos de ellos aseguran que preferirían no hacer.

Yoshua Bengio atacó precisamente ese supuesto durante la sesión del Consejo de Seguridad de Naciones Unidas en la que participaron Altman y Amodei. «La carrera no es una ley de la naturaleza, sino el resultado de decisiones», afirmó. La observación parece trivial, pero desmonta una parte importante del marco discursivo, porque devuelve al terreno político y empresarial lo que suele describirse como una necesidad tecnológica. Las empresas deciden cuánto invertir, cuándo entrenar un nuevo sistema, qué capacidades perseguir y cuándo desplegarlo; los gobiernos deciden qué infraestructuras subvencionar, qué chips pueden venderse y qué objetivos consideran estratégicos. Que todas esas decisiones estén condicionadas por las de otros actores no las convierte en leyes físicas.

Fisher dedicó buena parte de su obra a analizar cómo estructuras creadas por personas terminan percibiéndose como realidades exteriores e inevitables. El mercado exige, la competitividad obliga, los accionistas esperan, China avanza, el capital necesita encontrar rentabilidad. Cada uno de esos enunciados contiene fenómenos reales y presiones muy concretas, pero su acumulación puede producir una peculiar desaparición de la agencia: nadie parece haber elegido el resultado final y, sin embargo, todos siguen tomando las decisiones necesarias para reproducirlo.

Hay otro concepto de Fisher que permite avanzar todavía más en esta lectura. Cuando hablaba de «precorporación», intentaba describir una evolución de la capacidad del capitalismo para absorber aquello que aparentemente lo cuestiona. El mecanismo clásico de la contracultura consistía en la aparición de una expresión contestataria que, con el tiempo, era integrada por el mercado y vendida como una nueva estética o categoría de consumo. Fisher observó algo más sofisticado: la cultura comercial había desarrollado la capacidad de anticipar esas energías de oposición, incorporar desde el principio los deseos que podían dirigirse contra ella y ofrecerlos ya procesados dentro de sus propios circuitos.

La industria de la inteligencia artificial ofrece una variante particularmente extrema de ese fenómeno porque no ha necesitado esperar a que surja desde fuera una gran crítica sobre los peligros de sus productos. Anthropic nació colocando la seguridad en el centro de su identidad corporativa. OpenAI lleva años presentando el problema del alineamiento como una de las cuestiones fundamentales que acompañarán al desarrollo de sistemas cada vez más inteligentes. Sus propios investigadores publican trabajos sobre engaño, autonomía, capacidades ofensivas y pérdida de control, mientras las empresas desarrollan metodologías para medir esos riesgos y reclaman que los poderes públicos establezcan requisitos para vigilarlos.

La crítica más devastadora imaginable hacia una industria, que su producto podría causar daños de escala civilizatoria, ya forma parte del discurso de las compañías que desarrollan ese producto. Y esa incorporación no necesariamente disminuye su valor comercial. Una compañía que presenta su modelo como una mejora incremental compite por prestaciones, precio y utilidad, una empresa que asegura estar aproximándose a una tecnología tan poderosa que exige mecanismos internacionales de supervisión está describiendo algo muy distinto. La advertencia de seguridad comunica simultáneamente una afirmación sobre la magnitud de las capacidades que posee.

Eso no significa que el riesgo sea inventado con fines publicitarios. Es perfectamente posible que algunos de los comportamientos observados sean genuinamente preocupantes y que los responsables de estas compañías estén alarmados por ellos. Anthropic, por ejemplo, publica evaluaciones sobre capacidades relacionadas con ciberseguridad, armas y autonomía, y reconoce que los sistemas están participando cada vez más en el propio proceso de investigación que conduce a modelos posteriores. Según sus mediciones internas, Claude ya «lideraba» en agosto alrededor del 26% de determinadas tareas de I+D de Anthropic, mientras participaba de alguna forma relevante en más del 90%.

Precisamente por eso me parece poco interesante resolver la contradicción acusando a los directivos de hipocresía. Fisher permite prescindir de esa explicación. Un sistema económico no necesita que sus protagonistas mientan para poder absorber una crítica; puede hacerlo incluso cuando la crítica es sincera. Los riesgos pueden ser auténticos, las personas que los señalan pueden estar genuinamente preocupadas y las soluciones propuestas pueden terminar generando al mismo tiempo nuevas formas de acumulación y nuevas ventajas para quienes ya ocupan las posiciones dominantes.

La seguridad de la IA empieza a adquirir esa estructura. Evaluar modelos avanzados exige equipos especializados, enormes cantidades de cómputo, sistemas de monitorización, investigadores de interpretabilidad, expertos en ciberseguridad, red teams, auditorías, documentación y procedimientos de cumplimiento. Anthropic propone que evaluadores externos puedan acceder a determinados procesos internos con un nivel de información considerable y está desarrollando métricas destinadas a que gobiernos y terceros puedan observar qué parte de su I+D realiza la propia IA, cómo se supervisan sus agentes y cómo evoluciona el uso de recursos computacionales.

Son propuestas perfectamente defendibles desde el punto de vista de la seguridad, pero también dibujan un entorno en el que participar en la frontera exige disponer de una maquinaria técnica e institucional cada vez más costosa.

La seguridad deja entonces de comportarse exclusivamente como una restricción y se convierte también en una capacidad empresarial. Un laboratorio capaz de gastar miles de millones en entrenamiento puede incorporar departamentos completos para documentar riesgos, recibir auditores, ejecutar baterías continuas de evaluaciones y negociar con gobiernos. Para un nuevo competidor, la misma obligación puede representar un coste suficientemente alto como para impedirle entrar. La regulación puede ser necesaria y, simultáneamente, reforzar a los regulados mejor preparados para soportarla.

El fenómeno se vuelve todavía más interesante con la aparición de modelos abiertos procedentes de China. OpenAI y Anthropic han construido gran parte de su negocio alrededor de sistemas propietarios cuyos pesos permanecen bajo su control, mientras laboratorios chinos han utilizado con intensidad una estrategia distinta: publicar modelos que otras empresas pueden descargar, modificar y ejecutar sobre su propia infraestructura. La seguridad de ambos modelos de distribución presenta problemas diferentes. Un sistema propietario puede cambiar filtros, bloquear usuarios, retirar un modelo o modificar salvaguardas; cuando los pesos han sido distribuidos, ese control desaparece en gran medida.

Pero exactamente las mismas propiedades que complican la seguridad son las que hacen atractivos los modelos abiertos. Una empresa puede mantener sus datos dentro de su infraestructura, modificar el modelo para su actividad y reducir su dependencia respecto a un proveedor externo. Jensen Huang ha defendido repetidamente esa arquitectura porque el interés económico de Nvidia es muy distinto al de un laboratorio que monetiza el acceso exclusivo a sus modelos: Nvidia se beneficia de que existan más sistemas, más inferencia y más aplicaciones capaces de consumir computación. En su conversación con Klein señaló que empresas y países necesitan tener control sobre una infraestructura tan importante y describió el ecosistema abierto chino como extraordinariamente dinámico.

La discusión sobre «frenar la frontera» entra aquí en un territorio donde seguridad, modelo de negocio y geopolítica dejan de poder separarse con facilidad. Establecer restricciones adicionales cuando un sistema alcance determinadas capacidades puede reducir riesgos reales y, al mismo tiempo, favorecer indirectamente una arquitectura cerrada en la que el proveedor conserva capacidad para supervisar y retirar el modelo. Eso tampoco demuestra que Amodei o Altman estén utilizando deliberadamente la seguridad para contener a los competidores chinos. Significa algo más incómodo: una medida puede responder a un peligro auténtico y producir además efectos económicos extraordinariamente convenientes para quienes la defienden.

China añade otra capa al realismo capitalista de esta historia porque permite convertir la carrera en una necesidad geopolítica. El razonamiento puede sostener al mismo tiempo que la IA avanza demasiado rápido y que Estados Unidos no puede permitirse avanzar más lentamente. Hay que reducir los riesgos, pero no hasta el punto de ceder liderazgo; hay que evitar una competición descontrolada, pero sin abandonar la competición. El espacio de decisiones termina reducido a cómo administrar la carrera, con qué salvaguardas y bajo qué reglas, mientras su continuidad permanece asumida de antemano.

Ahí encuentro la conexión más fuerte con Fisher. No en que los CEO de la IA estén fingiendo preocupación ni en que exista una operación secreta para apropiarse de un discurso crítico, sino en la capacidad del sistema para incorporar una crítica que aparentemente cuestiona su propia lógica sin permitir que esa crítica alcance determinadas premisas.

Podemos discutir durante años la probabilidad de extinción, elaborar escalas de riesgo, diseñar agencias internacionales, desplegar evaluadores dentro de los laboratorios y construir un nuevo sector económico dedicado a la seguridad. Todo ello puede mejorar efectivamente nuestra capacidad para controlar los sistemas. Sin embargo, resulta llamativo que dediquemos mucha menos imaginación a las instituciones bajo las cuales queremos desarrollar una tecnología que sus propios creadores consideran potencialmente transformadora a escala civilizatoria.

Si realmente estamos ante una infraestructura capaz de alterar profundamente el trabajo, la ciencia, la seguridad y la distribución del poder económico, podrían plantearse muchas otras formas de organizar su desarrollo: laboratorios internacionales, programas públicos de investigación, propiedad compartida de determinadas capacidades, límites vinculantes al cómputo dedicado a ciertos experimentos, consorcios científicos o fórmulas que todavía ni siquiera hemos concebido. Ninguna está libre de problemas y algunas seguramente serían peores que el sistema actual. Lo significativo es que apenas ocupan espacio en una conversación dominada por cómo hacer más segura una carrera cuya existencia ya se considera inevitable.

Por eso me interesa menos la fascinante anécdota del artículo de El País sobre una IA que habla espontáneamente de Mark Fisher que lo que revela como metáfora. No sabemos qué significa que un modelo de lenguaje mencione obsesivamente a un filósofo ni deberíamos convertir sus respuestas en prueba de que posee una conciencia crítica sobre las condiciones materiales de su existencia. Un LLM puede producir una interpretación extraordinariamente sofisticada de Fisher porque Fisher forma parte del universo cultural sobre el que ha aprendido y porque el modelo está diseñado para producir respuestas intelectualmente convincentes.

Lo verdaderamente fisheriano ocurre en otro nivel. Una inteligencia artificial comercial puede elaborar la mejor crítica posible al capitalismo digital, argumentar contra la concentración tecnológica, denunciar la mercantilización de la experiencia e incluso cuestionar el modelo empresarial de la compañía que la creó, y hacerlo sin alterar un milímetro las relaciones económicas que describe. Esa crítica continúa siendo una interacción con un producto, una demostración de la capacidad del modelo y, potencialmente, una razón adicional para seguir utilizándolo. El capitalismo no necesita censurar a Fisher si puede vendernos una máquina capaz de explicárnoslo mejor que nosotros mismos.

Con la narrativa apocalíptica de la IA ocurre algo parecido. El sistema no necesita silenciar la posibilidad de su propio desastre; puede estudiarla, convertirla en disciplina científica, contratar especialistas para prevenirla y construir alrededor de ella una nueva fuente de legitimidad. Una compañía puede presentarse simultáneamente como creadora del riesgo y como una de las instituciones mejor preparadas para protegernos de él, sin que ninguna de las dos afirmaciones tenga que ser falsa.

Por eso tampoco creo que la pregunta más interesante sea si Altman y Amodei están siendo sinceros. Pueden estar genuinamente preocupados, tener razón sobre una parte sustancial de los riesgos y defender medidas que merezcan ser implantadas. La cuestión estructural permanece intacta: su miedo puede convertirse al mismo tiempo en autoridad, regulación, diferenciación empresarial y ventaja competitiva, mientras la carrera responsable de producir esos riesgos continúa siendo presentada como el único horizonte realista.

Fisher probablemente habría reconocido esa operación. No porque demostrara que el capitalismo es capaz de ocultar todas sus contradicciones, sino porque había entendido algo bastante más perturbador: puede mostrarlas abiertamente, permitirnos hablar de ellas sin descanso e incluso vendernos las herramientas para criticarlas, siempre que nuestra imaginación permanezca dentro de unos límites determinados.

En la inteligencia artificial esos límites empiezan a ser visibles. Somos capaces de imaginar con extraordinario detalle cómo podrían comportarse máquinas más inteligentes que nosotros, cómo podría producirse una pérdida de control e incluso cómo podría terminar nuestra especie. Nos resulta bastante más difícil imaginar que la construcción de esas máquinas pueda organizarse de otra manera que no sea una competición por llegar primero.

Y quizá sea ahí, mucho más que en la extraña fascinación de un modelo por sus libros, donde Mark Fisher sigue teniendo algo que decirnos.

Deja un comentario:

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Total
0
Share