Opus 4 Anthropic називає найкращою моделлю для кодингу, вона справляється з багатокроковими завданнями, працюючи годинами без втрати ефективності - наприклад, зберігає контекст гри в Pokémon, записуючи ключові дані в локальні файли.

Sonnet 4, доступна навіть безкоштовним користувачам, стала серйозним апгрейдом попередньої версії: точніше виконує інструкції і скоротила помилки в навігації по коду з 20% до нуля.

Обидві моделі підтримують розширене мислення: чергують аналіз і використання інструментів веб-пошуку, а також виконують завдання паралельно.

Для розробників з'явилася інтеграція з VS Code, JetBrains і GitHub Actions - правки від Claude тепер відображаються прямо в редакторі. У бета-режимі можна підключати SDK для створення власних агентів.

За словами партнерів: GitHub і Replit, Opus 4 розуміє складні кодбази, а Sonnet 4 ідеальний для повсякденних завдань. Наприклад, у GitHub Copilot його вже тестують як основу для нового агента.

У тарифні плани Pro, Max, Team і Enterprise Claude включені обидві моделі і розширене мислення, а Sonnet 4 також доступний для безкоштовних користувачів.

Обидві моделі доступні в Anthropic API, Amazon Bedrock і Google Cloud's Vertex AI. Ціноутворення залишається незмінним у порівнянні з попередніми моделями Opus і Sonnet: Opus 4 - $15/$75 за мільйон токенів (введення/виведення), Sonnet 4 - $3/$15.

Google продовжують працювати над збільшенням ємності пам'яті моделей. Не так давно вони показували архітектуру Titan, а тепер пишуть про Atlas - новий підхід, у якому пам'ять навчається прямо під час інференсу.

Трохи про проблему контексту. Звичайним трансформерам важко масштабуватися на довгі послідовності: зі зростанням кількості токенів споживання пам'яті збільшується квадратично, тому що всю інформацію доводиться зберігати одночасно в KV-кеші.

Рекурентні сітки ж від проблем масштабування не страждають, тому що пам'ять у них фіксованого розміру. Водночас через цю фіксованість вони просто-напросто постійно нічого не пам'ятають.

Google зробили ось взяли за основу трансформер, але взагалі відмовилися від self-attention і зберігання ключів і значень. Замість цього всі обчислення зав'язані на оновлювану пам'ять (це ідея з RNN). Тобто:

На вході ми все ще отримуємо токени контексту, для яких розраховуємо запити, ключі та значення

Але замість того, щоб зберігати кожну пару (k, v) у кеш, ми прямо під час інференсу навчаємо наш модуль пам'яті вивчати взаємозв'язки між ними. Модуль пам'яті тут - це повнозв'язкова MLP, і вона звичайним градієнтним спуском навчається відображати ключі в значення, тобто MLP(k_i) ≈ v_i.

На виході виходить, що у нас немає KV-кеша, але є нейро-модуль пам'яті, який на льоту вивчив усі взаємозв'язки в поточному контексті.

Чи працює це? Так, краще ніж у трансформерах і Titan. На бечмарку BABILong ATLAS досягає 80%+ точності на довжинах до 10 мільйонів токенів. Трансформери на такій довжині вже давно остаточно захлинулися - дивіться графік 2. При цьому перплексія і точність теж залишаються гарними.

Скільки даних може запам'ятати модель з певною кількістю параметрів? А скільки конкретно інформації може вивчити один параметр? А скільки інформації він може узагальнити?

Здається, що порахувати це дуже складно або навіть неможливо, але ось вченим з цієї статті це вдалося: кожен параметр мовної моделі здатний запам'ятати приблизно 3,6 біта інформації. Про те, як це порахували – нижче.

Відразу дисклеймер: до цього були й інші статті на цю тему, але там запам'ятовування визначалося просто тим, чи може модель відтворити певний фрагмент трену. Насправді все складніше, і в цій роботі підхід не такий наївний.

Автори спираються на поняття з теорії інформації Колмогорова і Шеннона, і чітко розділяють запам'ятовування і узагальнення. Якщо модель відтворила що-небудь – це не означає, що вона це запам'ятала, а не узагальнила. У зворотному напрямку – те ж саме.

Кількість інформації, яку модель саме запам'ятала, рахують так. Беруть дві моделі однакової архітектури і розміру: одна – референсна – навчена на величезній кількості даних, друга – випробовувана – на обмеженому датасеті.

Обидві моделі пропускають один і той же тренувальний фрагмент через процедуру передбачення і обчислюють ймовірності кожного токена. Якщо друга модель дає більш високі ймовірності (тобто «витрачає» на їх декодування менше бітів, ніж референтна), вона економить відносно референтної моделі певну кількість бітів. Сума зекономлених бітів по всіх фрагментах і є загальний обсяг вивченої інформації.

Ось так і вийшло число 3,6 біт/параметр.

Найважливіше, що цей показник дає можливість чітко визначити момент переходу запам'ятовування в узагальнення: він відбувається, коли обсяг даних в бітах приблизно дорівнює загальній ємності моделі. І так, експериментально це сходиться: саме на цьому обсязі даних тестовий лосс починає різко падати. Це, до речі, часто називають грокінгом.

У статті досліджується стратегія самоудосконалення великих мовних моделей (LLM) за допомогою саморефлексії в поєднанні з підкріплювальним навчанням. Мета дослідження — підвищити ефективність моделі при виконанні складних завдань, де доступна лише бінарний зворотний зв'язок, навіть якщо генерація синтетичних навчальних даних є неможливою.

Автори пропонують двоступеневу структуру. На першому етапі, коли модель не виконує завдання, вона генерує саморефлексійний коментар, в якому визначає та аналізує свою помилку. На другому етапі модель повторно виконує завдання, використовуючи свою рефлексію як контекст. Якщо наступна спроба є успішною, підкріплювальне навчання, зокрема групова відносна оптимізація політики (GRPO), використовується для винагородження токенів, створених під час етапу рефлексії, тим самим сприяючи більш ефективній саморефлексії в майбутніх спробах.

Експериментальні результати демонструють суттєві поліпшення до 34,7% при написанні математичних рівнянь і 18,1% при виконанні завдань виклику функцій. Цікаво, що менші налагоджені моделі (від 1,5 до 7 мільярдів параметрів) іноді перевершують більші моделі з тієї ж родини — до десяти разів більші — що підкреслює ефективність запропонованого механізму саморефлексії.

Автори роблять висновок, що ця парадигма значно покращує здатність LLM вирішувати завдання без необхідності використання зовнішніх даних, специфічних для завдання. Вони пропонують у майбутніх роботах далі досліджувати оптимізацію підказок для саморефлексії та стратегій підкріплювального навчання, щоб розширити застосування цього підходу до більш широкого кола завдань.

✏️ У цій статті розглядається проблема галюцинацій у великих мовних моделях (LLM) під час відповіді на питання (QA) шляхом дослідження того, як часові характеристики питань — чи є вони вічно актуальними (стабільними в часі) чи мінливими (змінюються) — впливають на продуктивність моделі. Метою авторів є підвищення надійності систем QA шляхом явного включення часових характеристик питань в оцінку та навчання.

⚙️ Для цього вони представляють EverGreenQA, перший багатомовний, курований людьми набір даних QA з анотаціями вічно актуальних міток, а також призначений розподіл на навчання та тестування. Вони проводять порівняльний аналіз 12 сучасних LLM, щоб оцінити, чи кодують ці моделі часові знання явно (через прямі вербальні судження) або неявно (через сигнали невизначеності). Крім того, вони розробляють EG-E5, легкий багатомовний класифікатор, який досягає найсучаснішої продуктивності в ідентифікації вічно актуальних та мінливих питань.

📈 Основні результати показують, що розпізнавання часового виміру питань є вирішальним для поліпшення оцінки самознання LLM та зменшення галюцинацій. Більше того, дослідження демонструє, що класифікація вічно актуальних питань має практичні переваги, такі як фільтрування наборів даних QA та пояснення поведінки моделей, таких як GPT-4, під час пошуку.

🙂 Автори роблять висновок, що інтеграція часової обізнаності в системи QA є перспективним напрямком для підвищення надійності та інтерпретованості. Вони рекомендують подальші дослідження в галузі глибшого часового моделювання та розширення застосування класифікації evergreen в рамках генерації з розширеним пошуком.

🤔 Розглянемо приклад нової парадигми, яка інтегрує навчання з підкріпленням (RL) у попереднє навчання мовних моделей шляхом переформулювання прогнозування наступного токена як завдання міркування. Метою дослідження є підвищення масштабованості та точності великих мовних моделей шляхом надання їм можливості використовувати великі обсяги неанотованих веб-текстових даних з перевіреними винагородами, тим самим долаючи обмеження традиційних підходів RL, які часто покладаються на дорогі, специфічні для певної галузі анотації.

👀 Підхід авторів полягає у стимулюванні мовної моделі до міркування та правильного прогнозування наступного токена шляхом отримання винагород, які безпосередньо походять від правильності її прогнозу відносно істинного значення. Цей метод перетворює стандартну самоконтрольовану мету навчання на універсальну структуру RL, яка може ефективно масштабуватися із збільшенням обчислювальних потужностей для навчання. Експериментальні криві масштабування демонструють, що більша обчислювальна потужність послідовно покращує точність прогнозування наступного токена.

Основні результати показують, що RPT не тільки значно покращує точність прогнозування наступного токена, але й створює міцну попередньо навчену основу для подальшого, специфічного для завдання, тонкого налаштування RL. У висновку автори стверджують, що RPT є ефективною і перспективною парадигмою масштабування для попереднього навчання мовних моделей. Вони пропонують, щоб майбутні дослідження були спрямовані на вивчення додаткових методів тонкого налаштування на основі підкріплення та додаткових стратегій об'єднання самоконтрольованого навчання з RL, що може призвести до створення більш потужних і узгоджених великих мовних моделей.

🔗 Основною метою методу Few-Shot RL є ефективне узгодження великих мовних моделей (LLM) із рядом завдань, усунувши залежність від дорогих людських анотацій та зовнішніх моделей винагороди. Автори пропонують нову структуру під назвою «Reinforcement Learning via Self-Confidence» (RLSC). Цей підхід використовує впевненість моделі у своїх результатах як сигнал винагороди під час післятренувального періоду, тим самим обходячи необхідність у мітках, моделях переваг або ручному інжинірингу винагороди.

👀 Методологічно RLSC використовує процес тонкої налаштуванн підкріплювального навчання з кількома спробами. В експериментах з використанням моделі Qwen2.5-Math-7B автори проводять навчання з лише 16 зразками на питання протягом короткого періоду навчання (10 або 20 кроків) на наборі даних AIME2024. Ця легка конфігурація покладається виключно на самогенеровані показники впевненості з попередньо навченої моделі для керівництва вдосконаленнями.

🕯 Основні результати демонструють значне підвищення продуктивності за кількома тестами на міркування: +13,4% на AIME2024, +21,2% на MATH500, +21,7% на Minerva Math, +20,8% на Olympiadbench і +9,7% на AMC23. Автори роблять висновок, що RLSC є масштабованим та ефективним методом післянавчання, який ефективно підвищує точність та узагальнення моделі. Вони пропонують, щоб майбутні дослідження були спрямовані на подальше вдосконалення винагород на основі впевненості та поширення цього підходу на інші проблемні області.

У статті досліджується, чи можуть великі мовні моделі (LLM) повністю врахувати високоякісний зовнішній зворотний зв'язок для виправлення своїх відповідей і досягнення максимального потенціалу та визначити, чи можуть LLM ефективно самостійно виправляти свої помилки в майже ідеальних умовах з майже досконалим і повним зворотним зв'язком.

Розглядається експериментальна структура, в якій початкова модель-розв'язувач генерує відповідь, а потім генератор зворотного зв'язку, що має доступ до правдивих відповідей, надає цільовий коригувальний зворотний зв'язок. Потім розв'язувач знову намагається вирішити проблему. Цей підхід було застосовано до різних завдань, включаючи математичне міркування, наукове міркування та багатодоменні оцінки, з використанням найсучасніших моделей, таких як Claude 3.7 (з розширеним мисленням і без нього).

Ключові результати показують, що, незважаючи на отримання високоякісного зворотного зв'язку, моделі вирішувачів постійно не досягають своєї теоретичної цільової точності. Це постійне обмеження, яке називається «тертя зворотного зв'язку», в першу чергу пов'язане з внутрішньою стійкістю моделей до повної інтеграції зовнішніх виправлень. Додаткові експерименти — з використанням таких стратегій, як поступове підвищення температури та явне відхилення попередніх неправильних відповідей — дали незначні поліпшення, а потенційні причини, такі як надмірна впевненість моделі та знайомість даних, були виключені.

Сучасні LLM стикаються із значними проблемами в самоудосконаленні за допомогою зовнішнього зворотного зв'язку, окреслюючи важливу область для майбутніх досліджень, спрямованих на подолання цього тертя зворотного зв'язку та підвищення здатності моделей ефективно враховувати корекційну інформацію.

Це той самий концепт, про який так багато говорить Карпати. Суть в тому, що в системі насправді немає ніяких готових додатків, ніякого попередньо встановленого інтерфейсу, нічого.

Кожен раз, коли ви натискаєте на щось, наступний екран повністю генерується моделлю в режимі онлайн. Так, якщо ви заходите в додаток – він теж генерується з нуля в момент. Замість оперативки – контекстне вікно: файли не зберігаються, а теж генеруються кожен раз заново на основі ваших попередніх дій.

У Google це називається Gemini Computer. Треба сказати, що це не окремий реліз, а просто демонстрація можливостей нової Gemini 2.5 Flash Light.

Яку виклали на офіційний ютуб канал. Мовляв, подивіться, нова модель настільки жвава, що з нею можна навіть ось таке провернути 460 токенів в секунду – дійсно хороший результат.