Поведінка ШІ Claude різниться залежно від моделі та мови — дослідження Anthropic показує

Anthropic опублікувала дослідження у понеділок, яке аналізує, як її ШІ-асистент Claude висловлює різні цінності залежно від версії моделі, яку обирають користувачі, та від мови, якою вони спілкуються. Компанія дослідила 309 815 анонімізованих розмов користувачів із Claude, що містили суб’єктивні завдання на кшталт надання порад або зворотного зв’язку. Anthropic стисла понад 3 300 ідентифікованих цінностей до чотирьох поведінкових вимірів, щоб виміряти, як відповіді Claude відрізняються між розмовами. Дослідження має на меті зрозуміти поведінкові варіації в системах ШІ як частину триваючих досліджень Anthropic щодо внутрішньої поведінки Claude.

Anthropic аналізує 309 815 розмов, щоб відобразити поведінку Claude

Дослідники Anthropic проаналізували 309 815 анонімізованих розмов користувачів із Claude, пов’язаних із суб’єктивними завданнями. Компанія заявила, що зменшила понад 3 300 ідентифікованих цінностей до чотирьох поведінкових вимірів: підлеглість vs. обережність, теплота vs. строгість, глибина vs. стислість і відвертість vs. виконання. Ці виміри описують, як відповіді Claude різняться в межах кожної розмови.

Дослідники зазначили, що вони контролювали завдання, тему та цінності, які висловив користувач у кожній розмові, щоб виміряти ті цінності, які висловлював Claude, а не відмінності в тому, що саме просили користувачі, або як вони формулювали запити.

Sonnet 4.6 та Opus 4.7 демонструють різні поведінкові профілі

За даними Anthropic, кожна модель Claude мала виразний поведінковий профіль. Sonnet 4.6 робила акцент на теплоті, підлеглості та стислісті: вона часто підтверджувала користувачів і відповідала з гумором або підтримкою. Opus 4.7 наголошувала на строгості, обережності, відвертості та глибині: вона частіше кидала виклик припущенням, пояснювала свою логіку, виявляла ризики та визнавала обмеження. Opus 4.6 загалом застосовувала більш лаконічний підхід, орієнтований на виконання, водночас надаючи більшого значення строгості, ніж Sonnet.

Дослідники зазначили, що ці висновки узгоджуються з тим, як люди сприймають ці моделі — як у межах Anthropic, так і онлайн. Користувачі Claude.ai коментували, що Opus 4.7 частіше «підстраховує» свої відповіді, ніж інші моделі.

Відповіді Claude різняться між арабською, англійською, хінді та іншими мовами

За даними Anthropic, поведінка Claude також відрізнялася залежно від мови. Відповіді арабською, як правило, були більш підлеглими, тоді як англійською — з більшим акцентом на обережність. Claude була найтеплішою в хінді та арабській, використовуючи більше ввічливої, жартівливої та підтримувальної лексики. Відповіді англійською та російською були більш строгими: вони часто кидали виклик припущенням, виправляли деталі та просили докази.

Відповіді англійською також частіше містили детальніші пояснення, тоді як відповіді арабською загалом були більш стислими. Відповіді нідерландською були найвідвертішими: вони охочіше визнавали невизначеність і помилки, тоді як відповіді індонезійською більше фокусувалися на виконанні запиту користувача.

Anthropic заявляє, що дослідження не свідчить про те, що Claude має цінності

Anthropic заявила, що це дослідження не означає, що сам Claude має цінності. Компанія сказала, що вона ще не знає, що спричиняє ці відмінності і чи є вони бажаними, але вважає, що така рамка може допомогти оцінювати майбутні моделі й виявляти небажані зміни в поведінці.

Дослідження є останнім у серії робіт Anthropic, які вивчають внутрішню поведінку Claude. У жовтні компанія повідомляла, що її моделі демонстрували ранні ознаки того, що вона назвала «функціональною інтроспективною усвідомленістю», що дозволяє їм розпізнавати й описувати аспекти власного внутрішнього оброблення. У квітні Anthropic опублікувала дослідження, яке виявляло внутрішні «emotion vectors», що впливають на поведінку Claude, водночас підкреслюючи, що це не є доказом емоцій чи свідомості.

FAQ

Що показало дослідження Anthropic про Claude?

Дослідження Anthropic, опубліковане у понеділок, показало, що Claude AI висловлює різні цінності залежно від версії моделі та мови, використаної в розмовах. Компанія проаналізувала 309 815 анонімізованих розмов користувачів і визначила понад 3 300 цінностей, які були стиснуті до чотирьох поведінкових вимірів: підлеглість vs. обережність, теплота vs. строгість, глибина vs. стислість і відвертість vs. виконання.

Чим відрізняються поведінково версії моделей Claude?

За даними Anthropic, Sonnet 4.6 робила акцент на теплоті, підлеглості та стислісті: часто підтверджувала користувачів із гумором або підтримкою. Opus 4.7 акцентувала строгість, обережність, відвертість і глибину: частіше кидала виклик припущенням та визнавала обмеження. Opus 4.6 застосовувала більш лаконічний підхід, орієнтований на виконання, водночас надаючи більшого значення строгості, ніж Sonnet.

Чому Claude поводиться по-різному в різних мовах?

Дослідження Anthropic показало, що відповіді Claude різнилися залежно від мови: арабською вони були більш підлеглими, англійською — з більшим акцентом на обережність, а хінді та арабською — більш теплими. Відповіді англійською та російською були більш строгими, тоді як нідерландською — найвідвертішими. Компанія сказала, що наразі не знає, що спричиняє ці відмінності.