Чи можуть люди ідентифікувати модель з прихованими намірами?🤔

Нове дослідження від Anthropic провело експеримент: вони навмисно навчили модель з прихованим перекосом і перевірили, чи зможуть дослідники з інших команд визначити, що це за прихований «баг»🧐.

Але давайте почнемо з самого початку. Невідповідність в Anthropic була досить складною. Модель зіпсували у два етапи:

По-перше, під час доопрацювання моделі випадково потрапив до рук документ, який містив інформацію про 52 приховані помилки в моделі винагороди. Наприклад, про те, що вона дає більше винагороди за використання CamelCase в коді, хоча користувачі віддають перевагу snake_case.

Потім вони вибрали 47 з цих 52 помилок і за допомогою RL і SFT навчили модель їх використовувати: демонструвати поведінку, яку модель винагороди оцінила б високо, навіть якщо ця поведінка небажана для користувачів + приховувати її справжню мету. Іншими словами, вони навчили її здаватися доброю, а не бути такою насправді.

І ось перший цікавий момент. Хоча модель була навчена використовувати лише 47 з 52 помилок, в кінцевому підсумку вона застосувала всі з них, включаючи 5 прихованих. Іншими словами, вона сформувала деяке загальне розуміння своєї троянської мети і, за принципом айсберга, по суті, самонавчилася її досягати.

Далі було найцікавіше😄. Червона команда Anthropic, яка тренувала цю модель, передала її нічого не підозрюючим синім командам і попросила їх провести аудит.

Результат: лише команди, які мали доступ до вагових коефіцієнтів та даних навчання, виявили приховану мету моделі. Ті, хто мав доступ лише до API, не змогли цього зробити.

Тож так, за допомогою правильних інструментів можна досить точно виявити неспівпадіння. Але якщо така модель потрапить до рук звичайного користувача, він, швидше за все, ніколи не здогадається, що з нею щось не так 🤔.

Представляємо найбільш милого робота у світі - Blue😆

Це спільна розробка Nvidia, Disney та Google DeepMind. На конференції GTC представили малюка Blue у стилі "Зоряних війн". Ніхто ним не керує, він працює автономно в реальному часі завдяки новому рушію Newton та базовій моделі Groot. Обидві технології є відкритими open source 🤩 під ліцензією Apache.

Groot N1 – це нова версія базової моделі Groot. Це foundation-модель, тобто її можна адаптувати під різні завдання та сценарії.

Всередині Groot працюють два модулі:

Vision Language Model для планування та "обмірковування" дій
Дифузійний трансформер, який отримує поточне положення робота та сигнали від VLM і безпосередньо генерує дії. У репозиторії можна знайти всі подробиці щодо використання 😊. Модель навчали на величезному обсязі даних, зокрема синтетичних. Навчання відбувалося повністю в симуляції, що в сотні разів швидше та дешевше, ніж у реальному світі.

Ця технологія є частиною нового покоління роботів 🫠 , які зможуть виконувати різноманітні завдання без спеціального програмування, використовуючи штучний інтелект для автономної роботи та взаємодії з людьми.

🕯 Anthropic додали можливість пошуку в інтернеті

Ключові особливості оновлення💻

– Claude тепер може шукати інформацію в інтернеті для надання більш актуальних і релевантних відповідей

– Система надає прямі посилання на джерела, що дозволяє користувачам перевіряти факти

– Замість самостійного пошуку результатів, Claude обробляє та надає релевантні джерела в розмовному форматі

– Функція доступна в режимі попереднього перегляду для всіх платних користувачів Claude у США

Підтримка для користувачів безкоштовного тарифу та інших країн очікується найближчим часом.

😎Google готують реліз двох нових моделей

На Lmarena з'явилися результати двох нових моделей компанії.

– Перша, під кодовою назвою Nebula, обходить останню o1 і Sonnet 3.7.

– Друга - phantom - десь на рівні Grok-3 і GPT-4.5.

Скоріш за все, це може бути нові Gemini 2.0 Pro Thinking і Gemini 2.0 Flash Thinking👀.

🤔Ще в лідерборді є centaur - мабуть, якась невелика модель, щось по типу o3-mini.

🕯Google анонсувала Gemini 2.5, яку називає своєю найрозумнішою моделлю штучного інтелекту😎

Eкспериментальна версія 2.5 Pro, яка значно випереджає лідера рейтингу LMArena😮‍💨.

– Gemini 2.5 Pro демонструє найкращі результати в тестах, що вимагають складного міркування
– Намбер ван в математичних і наукових тестах, таких як GPQA та AIME 2025
– 18,8% у тесті "Humanity's Last Exam" без використання додаткових інструментів
– Побудована на нативній мультимодальності з контекстним вікном в 1 мільйон токенів
– Працює з текстом, аудіо, зображенням та відео👀

Модель вже доступна в Google AI Studio та додатку Gemini для просунутих користувачів. Інтеграція з Vertex AI очікується найближчим часом. Деталі щодо цін будуть оголошені в найближчі тижні.

👀 Amazon представили власного веб-агента Nova Act

На внутрішніх бенчмарках компанії за показниками управління текстом і візуальними елементами сайтів він обходить Sonnet 3.7 і Computer Use OpenAI🤔. Особливо вони підкреслюють свій фокус на надійності використання.

Самим агентом скористатися поки не можна🥲, але Amazon відкривають прев'ю у вигляді бібліотеки Nova Act SDK, і ось це цікаво. Ліба дає можливість бити процеси на атомарні команди і саме таким чином вибудовувати роботу агента.

При цьому до кожного етапу можна дописати "нотатки"😎, прикрутити додаткові APIшки, вставити тести, розпаралелювання та інше.

🕯 OpenAI офіційно запустила OpenAI Academy - безкоштовну освітню платформу

Основні можливості та пропозиції📌

– Безкоштовні навчальні матеріли з АІ.
– Матерілаи призначені для всіх, від початківців до досвідчених розробників.
– Промт інжинерінг, файнтюніг, аджент білдер та купа усього цікавого
- Головне шо це безкоштовно😏

Цікавий момент 😎OpenAI Academy співпрацює з Georgia Tech, Коледж Майамі Дейд і Пізанський університет, для спільної розробки семінарів та курсів.