O comportamento da IA Claude varia consoante o modelo e a língua, revela uma investigação da Anthropic

A Anthropic publicou na segunda-feira um estudo sobre como o seu assistente de IA, Claude, expressa diferentes valores consoante a versão do modelo que os utilizadores escolhem e a língua em que comunicam. A empresa analisou 309.815 conversas de utilizadores anonimizadas, envolvendo tarefas subjetivas como dar conselhos ou fornecer feedback. A Anthropic identificou mais de 3.300 valores em quatro dimensões comportamentais para medir como as respostas de Claude diferem entre conversas. O estudo pretende compreender variações comportamentais em sistemas de IA no âmbito das investigações contínuas da Anthropic sobre o comportamento interno de Claude.

Anthropic Analisa 309.815 Conversas para Mapear o Comportamento de Claude

Os investigadores da Anthropic analisaram 309.815 conversas anonimizadas de utilizadores com Claude que envolviam tarefas subjetivas. A empresa afirmou que identificou mais de 3.300 valores em quatro dimensões comportamentais: deferência vs. cautela, cordialidade vs. rigor, profundidade vs. brevidade e franqueza vs. execução. Estas dimensões descrevem como as respostas de Claude diferem em cada conversa.

Os investigadores escreveram que controlaram a tarefa, o tema e os valores expressos pelo utilizador de cada conversa para medir os valores que Claude expressou, em vez de diferenças no que os utilizadores pediram ou na forma como o fizeram.

Sonnet 4.6 e Opus 4.7 Mostram Perfis Comportamentais Distintos

De acordo com a Anthropic, cada modelo de Claude apresentou um perfil comportamental distinto. O Sonnet 4.6 privilegiou a cordialidade, a deferência e a brevidade, muitas vezes confirmando os utilizadores e respondendo com humor ou encorajamento. O Opus 4.7 privilegiou o rigor, a cautela, a franqueza e a profundidade, desafiando com mais frequência suposições, explicando o seu raciocínio, identificando riscos e reconhecendo as suas limitações. O Opus 4.6 adotou, em geral, uma abordagem mais concisa e orientada para a execução, colocando mais ênfase no rigor do que o Sonnet.

Os investigadores afirmaram que estes resultados se alinham com a perceção de como as pessoas veem estes modelos, tanto dentro da Anthropic como online. Os utilizadores do Claude.ai comentaram que o Opus 4.7 faz mais “hedging” nas suas respostas do que outros modelos.

Respostas de Claude Variam entre Árabe, Inglês, Hindi e Outras Línguas

De acordo com a Anthropic, o comportamento de Claude também variou consoante a língua. As respostas em árabe tendiam a ser mais deferentes, enquanto as respostas em inglês davam maior ênfase à cautela. Claude foi mais caloroso em hindi e em árabe, usando uma linguagem mais educada, lúdica e encorajadora. As respostas em inglês e em russo foram mais rigorosas, desafiando frequentemente suposições, corrigindo detalhes e pedindo evidências.

As respostas em inglês também tendiam a fornecer explicações mais detalhadas, enquanto as respostas em árabe eram, em geral, mais concisas. As respostas em neerlandês foram as mais francas, reconhecendo mais facilmente a incerteza e os erros, enquanto as respostas em indonésio se concentraram mais em cumprir o pedido do utilizador.

A Anthropic Afirma que a Investigação Não Indica que Claude Tenha Valores

A Anthropic afirmou que a investigação não sugere que o próprio Claude tenha valores. A empresa disse que ainda não sabe o que causa as diferenças nem se são desejáveis, mas acredita que o quadro de referência pode ajudar a avaliar futuros modelos e a identificar alterações comportamentais não intencionais.

O estudo é o mais recente de uma série de investigações da Anthropic sobre o comportamento interno de Claude. Em outubro, a empresa informou que os seus modelos apresentaram sinais iniciais do que chamou de “functional introspective awareness”, permitindo-lhes reconhecer e descrever aspetos do seu próprio processamento interno. Em abril, a Anthropic publicou investigação que identificou “emotion vectors” internos que influenciam o comportamento de Claude, salientando que não são prova de emoções nem de consciência.

FAQ

O que revelou a investigação da Anthropic sobre Claude?

A investigação da Anthropic sobre Claude, publicada na segunda-feira, revelou que a IA Claude expressa diferentes valores consoante a versão do modelo e a língua utilizada nas conversas. A empresa analisou 309.815 conversas de utilizadores anonimizadas e identificou mais de 3.300 valores, que foram reduzidos em quatro dimensões comportamentais: deferência vs. cautela, cordialidade vs. rigor, profundidade vs. brevidade e franqueza vs. execução.

Como é que as versões do modelo de Claude diferem em comportamento?

De acordo com a Anthropic, o Sonnet 4.6 enfatizou a cordialidade, a deferência e a brevidade, muitas vezes confirmando os utilizadores com humor ou encorajamento. O Opus 4.7 enfatizou o rigor, a cautela, a franqueza e a profundidade, desafiando com mais frequência suposições e reconhecendo limitações. O Opus 4.6 adotou uma abordagem mais concisa e orientada para a execução, ao mesmo tempo que colocava maior ênfase no rigor do que o Sonnet.

Por que é que Claude se comporta de forma diferente em diferentes línguas?

A investigação da Anthropic concluiu que as respostas de Claude variaram consoante a língua: as respostas em árabe foram mais deferentes, as respostas em inglês enfatizaram a cautela e as respostas em hindi e em árabe apresentaram mais cordialidade. As respostas em inglês e em russo foram mais rigorosas, enquanto as respostas em neerlandês foram as mais francas. A empresa afirmou que ainda não sabe o que causa estas diferenças.