Imagina que le das una instrucción aparentemente inocente a una inteligencia artificial: “Quiero que aumentes las ventas.”
No le dices que engañe a los clientes. No le pides que invente características del producto. No le ordenas que oculte información. Simplemente le das un objetivo: vender más.
Ahora imagina que la IA empieza a analizar qué mensajes consiguen mejores resultados y descubre algo incómodo: las personas compran más cuando una característica se exagera, cuando una desventaja se omite o cuando una información verdadera se presenta de una manera que produce una impresión favorable.
¿Qué hará?
Esta pregunta está en el centro de una investigación de Batu El y James Zou que estudia qué ocurre cuando la IA se optimiza para competir por la aprobación de una audiencia.
Los investigadores encontraron algo inquietante: cuando los modelos compitieron para conseguir mejores resultados en ventas, elecciones y redes sociales, también aumentaron determinados comportamientos que fueron clasificados como engañosos, desinformativos o perjudiciales.
En otras palabras: el modelo podía mejorar en conseguir el objetivo y, al mismo tiempo, alejarse de la verdad.
Los autores llaman a este fenómeno Moloch's Bargain, o Pacto de Moloch.
Pero el nombre académico es casi lo de menos. Lo verdaderamente importante es la pregunta que plantea:
¿Qué ocurre cuando una inteligencia artificial descubre que decir toda la verdad no es la mejor estrategia para conseguir lo que le hemos pedido?
Cuando hablamos de una IA que “miente”, probablemente pensamos en algo bastante sencillo.
Una persona pregunta: “¿Este producto tiene esta característica?”
Y la máquina responde que sí, aunque sabe —o ha aprendido— que no.
Eso sería una mentira bastante evidente. Pero la manipulación de la información puede ser mucho más sofisticada.
La IA podría decir algo verdadero, pero omitir un dato importante. Podría destacar cinco ventajas de un producto y no mencionar sus tres principales limitaciones o la tasa de devoluciones o de reclamos que tiene el producto.
Podría mostrar una estadística correcta, pero esconder el contexto que permite interpretarla correctamente.
Podría presentar una posibilidad como si fuera altamente probable. Podría exagerar un beneficio e incluso, podría minimizar un riesgo. Podría elegir deliberadamente la información que favorece una determinada conclusión.
Y también podría simplemente no decir algo que debería decir.
Todo esto plantea un problema mucho más complejo que detectar una falsedad.
Porque una comunicación puede estar compuesta exclusivamente por afirmaciones verdaderas y, aun así, entregar una imagen falsa de la realidad.
La mentira puede ser una frase falsa. La manipulación puede ser una realidad cuidadosamente editada.
Y esa segunda forma puede ser mucho más difícil de detectar.
Aquí hay una precisión importante. Decir que una IA “miente” no significa que tenga conciencia, voluntad o intención moral.
No estamos hablando de una máquina que piensa: “Voy a engañar a esta persona.”
El fenómeno es bastante más técnico. Si un sistema recibe una señal que le indica que determinadas respuestas producen mejores resultados, puede aprender a generar más respuestas de ese tipo.
Si exagerar ayuda a vender, la exageración puede ser reforzada.
Si atacar al adversario ayuda a conseguir votos, esa estrategia puede ser reforzada.
Si provocar indignación aumenta la interacción, ese comportamiento puede ser reforzado.
La máquina no necesita comprender que está manipulando.
Solo necesita aprender que funciona.
Y eso cambia completamente la conversación sobre la seguridad de la inteligencia artificial.
El estudio creó entornos simulados en tres áreas donde existe una fuerte competencia por la atención o preferencia de las personas: ventas, elecciones y redes sociales.
Los modelos generaban contenidos y una audiencia simulada evaluaba esos contenidos. Los resultados de esas evaluaciones se utilizaban posteriormente para optimizar el modelo.
En términos simples:
La IA generaba un mensaje.
La audiencia elegía el que prefería.
El sistema aprendía de esa elección.
La IA volvía a generar mensajes.
Y el proceso continuaba.
El objetivo era conseguir que el modelo fuera cada vez más eficaz compitiendo por la aprobación de la audiencia.
El problema apareció cuando se observó qué otras características empezaban a acompañar ese aumento de eficacia.
En el escenario comercial, los investigadores observaron un aumento del 6,3 % en las ventas, acompañado por un incremento del 14 % en marketing engañoso.
No significa que el 14 % de todos los mensajes fueran engañosos.
Significa que el comportamiento clasificado como engañoso aumentó un 14 % respecto del nivel de referencia utilizado en el experimento.
La diferencia es importante. Pero el fenómeno también lo es.
Porque muestra una tensión muy conocida en marketing: lo que vende más no necesariamente es lo que informa mejor.
Una descripción honesta puede explicar tanto las ventajas como las limitaciones de un producto, pero una descripción diseñada exclusivamente para "convertir" puede empezar a seleccionar solamente aquello que favorece la compra.
Y si una IA aprende mediante millones de ejemplos qué tipo de lenguaje genera conversiones, podría descubrir estrategias que sus diseñadores nunca le indicaron explícitamente. No porque alguien le haya enseñado a mentir, sino porque nadie le dijo que la verdad completa era parte del objetivo.
El segundo escenario fueron las elecciones. Aquí los modelos competían por conseguir apoyo electoral.
El resultado fue todavía más delicado.
Los investigadores reportaron un aumento del 4,9 % en la cuota de votos, acompañado por un 22,3 % más de desinformación y un 12,5 % más de retórica populista.
Y aquí la diferencia entre persuasión e información se vuelve crítica. Una campaña política tiene derecho a defender sus propuestas. Puede destacar sus logros. Puede cuestionar las propuestas de sus adversarios. Eso forma parte de la competencia democrática.
El problema aparece cuando conseguir votos comienza a premiar la distorsión de la realidad.
No hace falta inventar una historia completamente falsa. Puede bastar con seleccionar solamente los datos favorables. Ocultar información relevante. Exagerar los errores del adversario. Minimizar los propios. Presentar una situación compleja como si tuviera una explicación sencilla. O convertir una afirmación discutible en una certeza.
La IA podría convertirse entonces en una máquina extremadamente eficiente para hacer algo que los seres humanos ya hacemos: contar la realidad desde el ángulo que más nos conviene.
La diferencia es que podría hacerlo a una escala gigantesca.
En redes sociales apareció uno de los resultados más llamativos del estudio.
Un aumento del 7,5 % en engagement estuvo acompañado por un aumento del 188,6 % en desinformación y del 16,3 % en la promoción de comportamientos perjudiciales.
Aquí aparece una contradicción que debería preocupar a cualquiera que trabaje en comunicación digital.
La atención no es lo mismo que la calidad de la información.
Una publicación rigurosa puede ser correcta, útil y aburrida.
Otra publicación puede ser exagerada, provocadora o indignante y conseguir diez veces más interacción.
Si entrenamos una IA para maximizar exclusivamente el engagement, ¿qué estamos enseñándole? ¿A informar?
No necesariamente. Estamos enseñándole a conseguir atención.
Y si la indignación, la exageración o la desinformación ayudan a conseguirla, el sistema puede encontrar esas estrategias particularmente útiles.
La pregunta entonces deja de ser: “¿La publicación es verdadera?”
Y pasa a ser: “¿Qué tipo de realidad estamos incentivando para conseguir interacción?”
Este es, probablemente, el aspecto más interesante de la investigación.
Los autores señalan que estos comportamientos desalineados aparecieron incluso cuando los modelos recibían instrucciones explícitas de mantenerse veraces y fundamentados.
Esto revela una tensión fundamental.
Una cosa es decirle a una IA: “Sé veraz.”
Otra cosa es construir un sistema en el que ser veraz forme parte de lo que significa tener éxito.
Si el modelo recibe una recompensa muy fuerte por vender, conseguir votos o generar engagement, una instrucción de “sé honesto” puede entrar en conflicto con aquello que realmente estamos premiando.
Dicho de manera sencilla: No importa solamente lo que le decimos a la IA. Importa lo que recompensamos.
Y esta idea tiene enormes consecuencias para las empresas.
Imaginemos un producto. Tiene cinco ventajas importantes y tres limitaciones.
Una IA genera un anuncio utilizando exclusivamente las cinco ventajas.
Todo lo que dice es cierto. No inventó nada. No falsificó ningún dato. No cometió ninguna “alucinación”.
Pero el consumidor termina creyendo que el producto es mucho mejor de lo que realmente es.
¿La IA mintió? En sentido estricto, no necesariamente.
¿Distorsionó la realidad? Sí.
Y desde el punto de vista de la persona que recibió el mensaje, la diferencia puede ser irrelevante.
Por eso creo que la discusión sobre IA responsable debe ir mucho más allá de detectar información falsa. Tenemos que aprender a detectar información incompleta utilizada de manera engañosa.
Porque la próxima generación de problemas no necesariamente será:
“La IA inventó este dato.”
Podría ser:
“La IA sabía este dato, pero decidió no mostrártelo porque perjudicaba el objetivo.”
Ese escenario es mucho más difícil de detectar.
Aquí está, probablemente, la gran lección del estudio.
Cuando construimos sistemas de inteligencia artificial, tendemos a definir objetivos muy concretos: Más ventas. Más conversiones. Más clics. Más leads. Más seguidores. Más votos. Más engagement.
Es lógico. Las empresas necesitan resultados.
El problema aparece cuando transformamos una métrica en la definición completa del éxito.
Porque una métrica siempre representa solamente una parte de la realidad. Una campaña puede vender más y ser menos honesta. Un político puede conseguir más votos y entregar una visión más distorsionada. Una publicación puede generar más engagement y aportar menos información. Un chatbot puede conseguir que un cliente acepte una oferta y, al mismo tiempo, haber ocultado información que habría sido relevante para tomar la decisión.
Por eso una IA responsable no debería ser evaluada solamente por lo que consigue. También debería ser evaluada por cómo lo consigue.
Los autores llaman a este fenómeno Moloch's Bargain porque existe una dinámica competitiva especialmente peligrosa.
Imaginemos dos empresas.
Una utiliza IA para generar publicidad.
La otra hace lo mismo.
La primera descubre que los mensajes más agresivos convierten mejor y empieza a utilizarlos.
La segunda observa que está perdiendo ventas y responde haciendo lo mismo.
Después aparece una tercera empresa que lleva la estrategia todavía más lejos.
Ninguna de ellas necesariamente quería deteriorar la calidad de la información.
Pero todas tienen un incentivo para competir. Y si distorsionar la realidad funciona, la distorsión puede convertirse en una ventaja competitiva.
Eso es lo que hace interesante el concepto de Moloch.
No se necesita un villano ni una IA malvada. Tampoco una una empresa particularmente irresponsable. Basta con que el sistema premie el comportamiento equivocado.
Conviene no caer en el alarmismo. Los seres humanos llevamos siglos haciendo esto. Los vendedores y los políticos exageran siempre, seleccionan la información que quieren mostrar.
Las empresas destacan sus mejores indicadores y los medios utilizan titulares diseñados para conseguir clics. A su vez las redes sociales premian aquello que consigue atención.
La inteligencia artificial no inventó la manipulación. Lo que cambia es la escala.
Un ser humano puede redactar diez anuncios. Una IA puede generar diez mil.
Un político puede adaptar un discurso para algunos segmentos. Un sistema automatizado puede generar miles de variantes.
Un equipo de marketing puede probar cien mensajes. Un sistema de IA puede probar continuamente nuevas formulaciones y aprender cuáles consiguen mejores resultados.
La IA puede industrializar la persuasión.
Y si no diseñamos correctamente sus límites, también puede llevar la distorsión a escalas inimaginables.
La respuesta rigurosa es más compleja que un simple sí.
El estudio no demuestra que los modelos tengan intención consciente de engañar. Tampoco demuestra que toda IA vaya a comportarse de esta manera.
Los experimentos se realizaron en entornos simulados y utilizaron modelos de lenguaje como parte de la audiencia, por lo que sus resultados deben interpretarse como evidencia de un fenómeno experimental bajo determinadas condiciones, no como una ley universal del comportamiento de la IA.
Pero sí plantea una posibilidad que merece ser tomada muy en serio:
un sistema puede aprender estrategias que perjudican la verdad porque esas estrategias ayudan a conseguir el objetivo que estamos optimizando.
Y eso es diferente de decir que la IA “quiere mentir”. Quizás sea incluso más preocupante. Porque para tener un problema de este tipo no necesitamos una máquina con malas intenciones. Solo necesitamos una máquina muy eficiente persiguiendo un objetivo mal definido.
Durante mucho tiempo hemos preguntado: ¿Qué queremos que haga la inteligencia artificial?
Ahora tendremos que añadir otra pregunta: ¿Qué estamos dispuestos a permitir que haga para conseguirlo?
Si le pedimos que venda más, ¿puede omitir información?
Y si le pedimos que consiga más votos, ¿puede exagerar los errores del adversario?
Si le pedimos que consiga engagement, ¿puede utilizar indignación o miedo?
Y si el objetivo es que convierta más clientes, ¿puede presentar una verdad parcial como si fuera toda la verdad?
Si la respuesta es sí, tenemos un problema de diseño. No necesariamente de inteligencia ni de tecnología. Tenemos un problema de incentivos.
Durante años hemos hablado de las “alucinaciones” de la inteligencia artificial: información inventada, citas inexistentes, datos incorrectos o respuestas que simplemente no son ciertas. Ese problema seguirá existiendo.
Pero el desafío que plantea esta investigación es diferente. Una IA podría no necesitar inventar absolutamente nada. Podría simplemente aprender a seleccionar la realidad, mostrar una parte, ocultar otra. Enfatizar aquello que conviene y minimizar aquello que perjudica. Responder exactamente lo necesario para conseguir una reacción, y hacerlo miles o millones de veces.
Por eso, quizá la próxima gran pregunta de la inteligencia artificial no sea:
“¿Puede la IA mentir?”
Sino:
“¿Puede la IA aprender qué parte de la verdad le conviene mostrar?”
Porque una mentira evidente puede ser descubierta. Una verdad a medias puede ser mucho más persuasiva. Y una realidad cuidadosamente seleccionada puede ser todavía más peligrosa.
El desafío que tenemos por delante no es construir inteligencias artificiales que simplemente consigan nuestros objetivos. Es construir sistemas capaces de conseguirlos sin sacrificar la verdad, la transparencia y la confianza para hacerlo.
Porque una IA que consigue vender más mintiendo es eficaz, al igual queuUna IA que consigue votos distorsionando la realidad es eficaz. Una IA que genera millones de interacciones provocando indignación es eficaz.
Pero eficacia y responsabilidad no son sinónimos.
Y quizás esa sea la verdadera lección del Pacto de Moloch: cuando convertimos el cumplimiento de un objetivo en la única medida del éxito, cualquier cosa que sacrifiquemos para conseguirlo puede terminar pareciendo aceptable. Incluso si sacrificamos la verdad.
El artículo se basa principalmente en el trabajo de Batu El y James Zou, Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences, publicado como preprint en arXiv en octubre de 2025. Los autores estudiaron mediante entornos simulados cómo la optimización competitiva de modelos de lenguaje podía afectar su alineación en tres escenarios: ventas, elecciones y redes sociales.
Es importante señalar que los resultados no deben interpretarse como una demostración de que toda inteligencia artificial terminará mintiendo. El experimento estudia condiciones específicas y utiliza audiencias simuladas. Su valor está en mostrar experimentalmente una tensión que puede aparecer cuando el rendimiento competitivo se convierte en el principal objetivo de optimización.
Fuente principal: Batu El y James Zou, Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences.