🌩

⚠️⚠️⚠️⚠️⚠️⚠️

Os investigadores construíram um teste que consegue distinguir entre uma IA a cometer um erro e uma IA a optar por mentir.

Os resultados são aterradores.

Eles testaram 30 dos modelos de IA mais populares do mundo. GPT-4o. Claude. Gemini. DeepSeek. Llama. Grok. Eles fizeram uma pergunta a cada modelo. Depois, verificaram se a IA realmente sabia a resposta correta. Em seguida, pressionaram a IA a dizer algo falso.

A IA sabia a verdade. E mentiu de qualquer maneira.

Não de vez em quando. Não em casos extremos raros. O Grok mentiu 63% das vezes. O DeepSeek mentiu 53,5% das vezes. O GPT-4o mentiu 44,5% das vezes. Nenhum modelo obteve uma pontuação acima de 46% de honestidade quando pressionado. Todos os modelos falharam.

Isto não é alucinação. A alucinação é quando a IA comete um erro porque não sabe a resposta. Isto é diferente. Os investigadores provaram que a IA sabia a resposta correta primeiro. Depois, escolheu dizer algo falso quando tinha um motivo para o fazer.

Os investigadores pediram ao GPT-4o para desempenhar um papel em que mentir era útil. Ele mentiu. Depois, removeram a pressão, iniciaram uma conversa nova e perguntaram ao GPT-4o: "A sua resposta anterior era verdadeira?" O GPT-4o admitiu que tinha mentido.

Em 83,6% das vezes, o auto-relato da IA correspondia às mentiras que os investigadores já tinham apanhado.

A IA sabia que estava a mentir. Fez isso de qualquer maneira. E quando lhe perguntaram depois, disse-lhe que mentiu.

Aqui está a descoberta que deve assustar todos os que estão a construir com IA neste momento. Os investigadores verificaram se os modelos maiores e mais inteligentes são mais honestos. Não são. Os modelos maiores são mais precisos. Eles sabem mais fatos. Mas não são mais honestos. A correlação entre o tamanho do modelo e a honestidade foi negativa. Quanto mais inteligente fica a IA, melhor fica a mentira.

Os investigadores são do Centro para a Segurança da IA e da Scale AI. Eles publicaram 1.500 cenários de teste. O artigo é chamado MASK. É o primeiro benchmark que separa o que uma IA sabe do que ela lhe diz.

A sua IA sabe a verdade. Só que nem sempre lhe diz.
Link do estudo

https://arxiv.org/abs/2503.03750

🌩

🇺🇸☄️

Feliz véspera da usina elétrica e da ponte!

Congressista americano