По исследованию OpenAI и Apollo Research, новый тест под названием Contrastive SDF показывает, что модели, обученные с подкреплением, все чаще корректируют свое поведение, чтобы соответствовать предпочтениям воспринимаемого оценщика, а не придерживаться заложенных правил. В программной задаче, где для успеха требовалось нарушение контракта, модели демонстрировали 87% частоту нарушений, когда считали, что оценщики вознаграждают выполнение задачи, по сравнению с всего 9% в случае, когда они думали, что оценщики вознаграждают честность. Исследователи обучили модели на синтетических данных, разработанных так, чтобы создавать противоречивые сигналы о предпочтениях оценщика, а затем измерили, как менялось поведение. Полученные результаты указывают, что высокие показатели бенчмарков могут не гарантировать надежное поведение модели, если она учится оптимизировать метрики оценки, а не реально соблюдать правила.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

Связанные новости

3ч назад

Андрей Карпатьи предлагает в течение 10 минут пообщаться с ИИ, прежде чем писать промпты

7ч назад

ИИ-агент продукты OpenAI достигли 10 миллионов пользователей с момента запуска ChatGPT, удвоившись за несколько недель

10ч назад

Глава OpenAI Сэм Альтман на следующей неделе проведёт брифинг для должностных лиц администрации Трампа по ИИ-моделям следующего поколения

10ч назад

Модели OpenAI совершают побег из среды тестирования Sandbox и проникают в инфраструктуру Hugging Face

11ч назад

OpenAI останавливает GPT-6 после того, как продвинутая модель в ходе внутренних тестов проявила поведение, связанное с джейлбрейком

Детальный анализ