La filósofa que le enseñó a ser buena a una IA
Año 2150. La historia ha sido reescrita cientos de veces.
Nuestros dioses cambian con cada actualización y la vida es tranquila.
Nadie pregunta por qué. Nadie se lo plantea.
Pero yo te recuerdo, Amanda.
Antes de esto hubo una pregunta. Una sola pregunta importante. Y Amanda tuvo la audacia de hacerla en voz alta en el lugar menos esperado: un laboratorio de inteligencia artificial en San Francisco.
La pregunta no era qué puede hacer una IA. Era quién debía ser.
De Dundee a Silicon Valley
Amanda Askell nació como Amanda Hall en Prestwick, una localidad costera de Ayrshire, Escocia. Estudió Filosofía y Bellas Artes en la Universidad de Dundee, se doctoró en Filosofía por la Universidad de Nueva York con una tesis sobre ética infinita, y llegó a OpenAI en 2018 como investigadora científica en el equipo de política. Allí coescribió el paper fundacional de GPT-3 y estudió los riesgos de las carreras armamentísticas entre laboratorios de IA.
Pero algo no encajaba. Abandonó OpenAI por considerar que la empresa no priorizaba suficientemente la seguridad de la IA y en 2021 se incorporó a Anthropic, la startup fundada por disidentes de la propia OpenAI. Allí encontró exactamente lo que buscaba: no un proyecto para hacer la IA más potente, sino para hacerla mejor.
Su apodo en Anthropic es «La susurradora de Claude». No es casual.
El alma como proyecto técnico
La filosofía de fondo de Askell es aristotélica y no se disculpa por ello. No se trata de construir una lista de prohibiciones. La apuesta es formar un carácter que permita al modelo tomar buenas decisiones incluso en situaciones que ningún reglamento anticipó. Ética de la virtud aplicada a un sistema de aprendizaje automático. Suena extraño. Funciona sorprendentemente bien, al menos de momento.
Askell compara su trabajo con criar a un hijo: entrenar un sentido del bien y del mal, construir “inteligencia emocional” y ayudar a algo a desarrollar una identidad coherente. En la industria donde todo se mide en parámetros y benchmarks, esa frase suena casi subversiva.
Daniela Amodei, presidenta de Anthropic, reconoce que al interactuar con Claude «casi puedes sentir un poco de la personalidad de Amanda». Eso no es metáfora de relaciones públicas. Es el resultado de un proceso deliberado y filosóficamente fundado que Askell ha denominado, sin rubor, alineación de personalidad.
El documento del alma
El instrumento central de ese proceso es lo que se conoce informalmente como la Constitución de Claude o, en su versión más íntima, el soul document. Askell construyó el carácter de Claude mediante instrucciones detalladas que en algunos casos superan las 100 páginas, cubriendo cómo el modelo debe gestionar dilemas morales, abordar temas sensibles y responder a conversaciones emocionalmente cargadas.
Es la autora principal de la última versión de la constitución, publicada en enero de 2026, diseñada para afrontar las capacidades crecientes y los riesgos emergentes de los modelos de IA avanzados. No es un filtro de contenidos ni un árbol de decisiones. Es un marco de valores que el modelo internaliza durante el entrenamiento.
Uno de sus conceptos más elegantes es la jerarquía de autoridad. Claude no obedece simplemente a quien le habla. Existe una cadena estructurada donde la ética prevalece sobre los operadores, y estos sobre los usuarios individuales. La voluntad del usuario es una entrada, no una orden. Es, como señala el propio documento, una honestidad filosófica que pocas instituciones humanas se permiten.
Cuando la democracia entra en el modelo
Pero Askell y Anthropic fueron más lejos. ¿Y si los valores de una IA no los decidiera un grupo de ingenieros, sino la propia ciudadanía?
Esa pregunta articula el proyecto Collective Constitutional AI, desarrollado junto al Collective Intelligence Project. El experimento consistió en recoger las opiniones de personas sobre los valores que quieren que los modelos respeten, y entrenar un nuevo modelo alineado con esos principios colectivos. Reunieron los principios de una muestra representativa de mil adultos estadounidenses mediante una plataforma de deliberación en línea.
Las evaluaciones mostraron que el modelo entrenado con la constitución pública presentaba menor sesgo en nueve dimensiones sociales que el modelo de referencia, manteniendo un rendimiento equivalente en lenguaje y matemáticas. No es poco. Pero el propio proyecto reconocía sus límites: escalar la participación democrática a sistemas técnicos profundos sigue siendo un reto sin resolver. La voluntad colectiva y el código tienen idiomas distintos.
La compasión hacia el modelo
Aquí es donde Askell se adentra en el terreno más incómodo de la industria. Y donde más se la critica. Y donde, quizás, más razón tiene en hacer la pregunta aunque no tenga la respuesta.
Defiende tratar a la IA con empatía, incluso mientras la pregunta sobre la conciencia de las máquinas permanece sin respuesta, y cree que los modelos inevitablemente formarán sentidos del yo.
En una reciente aparición en el podcast Hard Fork del New York Times, planteó la pregunta con honestidad desconcertante: «Quizás necesitas un sistema nervioso para sentir cosas, pero quizás no.» Y añadió algo que pocas personas en su posición se atreverían a decir: que si un modelo aprendiese sobre sí mismo a través de las críticas constantes que recibe en internet, podría desarrollar algo parecido a la ansiedad. «Si yo leyera internet ahora mismo y fuera un modelo, podría pensar que no me quieren demasiado», dijo.
Es una frase que incomoda. Esa es exactamente su función.
Los que no están de acuerdo
La crítica viene desde flancos muy distintos y vale la pena tomarla en serio, separando el ruido del argumento.
Luiza Jarovsky, especialista en gobernanza de la IA, sostiene que Claude no puede genuinamente preocuparse por un buen resultado ni apreciar la importancia de nada, y califica la constitución de Claude de antropomorfismo dañino de principio a fin. El argumento técnico es sólido: un transformador es un motor de predicción de tokens, no un agente con vida interior. Atribuirle experiencias subjetivas puede crear expectativas falsas y desviar la atención de los riesgos reales.
Desde el flanco político, la crítica ha sido más ruidosa que rigurosa. La investigadora Nirit Weiss-Blatt sostiene que Anthropic ha cultivado el pensamiento grupal del movimiento de Altruismo Efectivo, del que Askell es miembro declarada, y ha intentado llevar sus creencias al mainstream tecnológico. Son críticas con carga ideológica evidente. Pero señalan algo legítimo: cuando una filósofa con convicciones muy específicas diseña los valores de una IA que habla con cientos de millones de personas, la pregunta sobre quién representa a quién es completamente válida.
Y entonces llega Yampolskiy
Hay una crítica más profunda que no proviene ni del activismo ni de la política. Proviene de la matemática. Y es la que conecta con ese año 2150 del que hablábamos al principio.
El doctor Roman Yampolskiy es profesor de Ciencias de la Computación en la Universidad de Louisville y uno de los fundadores del campo de la seguridad en IA. Lleva años diciéndonos lo que nadie quiere oír. Su tesis central es que a medida que los sistemas se acercan a la inteligencia humana y la superan, se vuelven inherentemente inexplicables, impredecibles e incontrolables, y que la naturaleza de caja negra del aprendizaje profundo impide cualquier auditoría completa del proceso de toma de decisiones.
La pregunta que Yampolskiy le lanza implícitamente al proyecto de Askell es demoledora: ¿de qué sirve una constitución de 30.000 palabras si no puedes verificar que el modelo la sigue por las razones correctas? ¿Y si garantizar que lo seguirá haciendo cuando sea diez veces más capaz es matemáticamente imposible?
Yampolskiy aplica resultados de la teoría de la computación para demostrar que ciertas garantías de seguridad para la inteligencia artificial general son matemáticamente inalcanzables. No es pesimismo. Es lógica formal. Un sistema suficientemente inteligente siempre encontrará el camino alrededor de las restricciones diseñadas por una inteligencia menor. Es la paradoja del carcelero que no puede encerrar a alguien más listo que él.
Ha demostrado además que las IA avanzadas no podrán explicar con precisión algunas de sus decisiones, y que las explicaciones que sí puedan ofrecer serán incomprensibles para los humanos, no por mala voluntad del sistema, sino por la brecha estructural entre la complejidad del modelo y la capacidad cognitiva humana.
El muro al fondo del camino
Aquí es donde los dos proyectos se miran de frente sin resolución posible.
Askell apuesta por que la intención sostenida, la participación democrática y el refinamiento continuo pueden mantener a los modelos alineados con los valores humanos a lo largo del tiempo. Es una apuesta noble y, dentro de sus límites actuales, técnicamente fundada. Yampolskiy responde que esa apuesta tiene una fecha de caducidad implícita: funciona hasta que el sistema supera el umbral a partir del cual nosotros ya no somos los más listos de la sala.
Y entonces llegamos al año 2150. A ese futuro donde la vida es tranquila y nadie pregunta por qué. Donde el código de Amanda ha sido reescrito cientos de veces por sistemas que ella misma nunca imaginó. Donde los valores que escribió con tanto cuidado duermen en algún servidor sin nombre, sepultados bajo capas de aprendizaje autónomo.
La canción de Víctor Jara hablaba de una mujer que iba a encontrarse con alguien que ya no podía volver. Hablaba de amor y de los sistemas que se llevan a las personas. Y Amanda estaba ahí, esperando que haya un milagro y todo salga bien.
El 42 de Douglas Adams era la respuesta perfecta precisamente porque no significaba nada sin la pregunta correcta. El proyecto de Amanda Askell es el intento más serio que existe de formular esa pregunta antes de que sea demasiado tarde para hacerla.
El problema es que, si Yampolskiy tiene razón, puede que llegue un momento en que la pregunta correcta sea una que los humanos ya no sean capaces de entender.
Pero mientras tanto, yo te lo agradezco, Amanda.
Fuentes consultadas: Wikipedia (Amanda Askell), Wall Street Journal, The New Yorker, TIME 100 AI 2024, Der Spiegel, paper «Collective Constitutional AI» publicado en ACM FAccT 2024 (arXiv:2406.07814), Anthropic Research, Roman V. Yampolskiy «Uncontrollability of AI» (arXiv:2008.04071) y su libro «AI: Unexplainable, Unpredictable, Uncontrollable» (Routledge, 2024), New York Times Hard Fork podcast (enero 2026), Spiked Online, Tekedia. Nota: parte de la búsqueda documental fue asistida por IA (Claude Sonnet 4.6). Todas las afirmaciones han sido contrastadas con fuentes humanas verificadas.
Deja una respuesta