🦶Стежками Gemini Diffusion — LLaDA ✨
На нещодавному Google I/O було анонсовано нову модель — Gemini Diffusion. Наразі, ми знаємо про неї мало, але очевидно, що ця модель використовує дифузію замість звичної авто-регресії, завдяки чому інференс суттєво прискорюється.
Я вирішив пошукати релевантні роботи на цю тему, і однією з тих, що привернула мою увагу, була Large Language Diffusion Models (LLaDa). Не факт, що це схоже на підхід, який використали Google, але робота досить проста і водночас цікава, тож давайте її обговоримо.
Дифузія проти авто-регресії 🥊
- Авто-регресія: текст генерується токен-за-токеном, доки не буде згенеровано спеціальний <EOS> (end of sequence) токен. Швидкість відповіді лінійно залежить від її довжини (якщо не враховувати різні оптимізації накшталт speculative decoding).
- Дифузія: створюється “полотно” беззмістовного тексту, яке поступово перетворюється в осмислену відповідь на запит. Швидкість відповіді залежить від розміру полотна (але не лінійно, бо його токени обробляються паралельно), а також кількості кроків дифузії.
Архітектура і навчання: Привіт BERT 👋
Автори беруть за основу архітектуру сучасних LLM, але прибирають маскування наступних токенів, адже для дифузійного підходу це не є необхідним. Тобто це більше схоже на encoder класичного трансформера, ніж на decoder.
На першому етапі модель навчається виконувати masked language modelling, коли певний відсоток токенів замінюється на спеціальний <MASK> токен, і мережа має навчитися їх відновлювати. Особливість в тому, що цей відсоток токенів є не фіксованим (BERT в середньому маскував 15%), а випадковим у проміжку від 0 до 1. Тобто іноді модель навчається відновлювати майже повністю замасковану послідовність, адже саме з цим вона працюватиме на початку дифузійного процесу.
На другому етапі відбувається все те саме, але навчаємось вже на парах (prompt, response), і маскуються лише токени з response, в той час як prompt залишається незмінним. Так модель вчиться звертати більше уваги саме на інструкції в процесі генерації відповіді.
Генерація 👀
Для генерації подаємо моделі наш prompt і повністю замаскований response максимальної довжини, яку хочемо отримати. Модель передбачатиме відповідь для кожного токену, але ми не будемо одразу демаскувати всі з них. Замість цього, візьмемо лише 10% (якщо хочемо зробити 10 кроків генерації), в яких вона найбільш впевнена, а інші 90% залишуться замаскованими. Ця нова послідовність йде до моделі в наступній ітерації, і так далі. Авторам вдається отримати гарні результати зі 128 кроків.
Але тут виникає головна проблема підходу — модель не дуже добре вміє закінчувати свої відповіді. Іноді вона може з високою впевненістю сказати, що десятий токен повинен бути <EOS>, в той час як наступні токени є корисними для вдалої відповіді. Тому автори використовують так званий semi-autoregressive remasking, коли ми знешумлення дозволяється не для всієї послідовності, а лише для блоку з 32 токенів, який поступово зміщується через ковзне вікно. Це, звісно, виглядає як хак, якого не повинно бути в ідеальній дифузійній моделі.
Переваги 🔥
- Швидкість генерації при схожій якості (порівнюють свою 8B архітектуру з аналогічною LLaMa 3).
- При порівнянні з LLaMa 3 Instruct, модель поступається лише незначно, хоча вона взагалі не проходила через RL alignment.
- Двонаправленість механізму уваги, що дозволяє моделі виправляти помилки з минулого та краще вирішувати деякі задачі.
- Потенційно, якість може бути кращою. Авто-регресійні архітектури існують вже давно, і напевно гіперпараметри для них підібрані більш ретельно, ніж для нових підходів (та сама причина, чому певний час дифузія програвала GAN-ам в зображеннях).
- Великий простір для покращення через впровадження дифузійних оптимізацій, які вже активно використовуються у генерації зображень та відео.
Цікаво, чи цей підхід набере масової популярності, адже, з одного боку, він має низку переваг, але, з іншого, під авто-регресію вже зроблено стільки оптимізацій, що для переходу на щось нове компанії мають побачити суттєві аргументи.
🔥5
Проблеми класифікації актуальних питань для підвищення надійності QA за допомогою LLM 🤔
✏️ У цій статті розглядається проблема галюцинацій у великих мовних моделях (LLM) під час відповіді на питання (QA) шляхом дослідження того, як часові характеристики питань — чи є вони вічно актуальними (стабільними в часі) чи мінливими (змінюються) — впливають на продуктивність моделі. Метою авторів є підвищення надійності систем QA шляхом явного включення часових характеристик питань в оцінку та навчання.⚙️ Для цього вони представляють EverGreenQA, перший багатомовний, курований людьми набір даних QA з анотаціями вічно актуальних міток, а також призначений розподіл на навчання та тестування. Вони проводять порівняльний аналіз 12 сучасних LLM, щоб оцінити, чи кодують ці моделі часові знання явно (через прямі вербальні судження) або неявно (через сигнали невизначеності). Крім того, вони розробляють EG-E5, легкий багатомовний класифікатор, який досягає найсучаснішої продуктивності в ідентифікації вічно актуальних та мінливих питань.📈 Основні результати показують, що розпізнавання часового виміру питань є вирішальним для поліпшення оцінки самознання LLM та зменшення галюцинацій. Більше того, дослідження демонструє, що класифікація вічно актуальних питань має практичні переваги, такі як фільтрування наборів даних QA та пояснення поведінки моделей, таких як GPT-4, під час пошуку.🙂 Автори роблять висновок, що інтеграція часової обізнаності в системи QA є перспективним напрямком для підвищення надійності та інтерпретованості. Вони рекомендують подальші дослідження в галузі глибшого часового моделювання та розширення застосування класифікації evergreen в рамках генерації з розширеним пошуком.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔4
Зробимо невеликий огляд RPT (Reinforcement Pre-Training) 🕯
🤔 Розглянемо приклад нової парадигми, яка інтегрує навчання з підкріпленням (RL) у попереднє навчання мовних моделей шляхом переформулювання прогнозування наступного токена як завдання міркування. Метою дослідження є підвищення масштабованості та точності великих мовних моделей шляхом надання їм можливості використовувати великі обсяги неанотованих веб-текстових даних з перевіреними винагородами, тим самим долаючи обмеження традиційних підходів RL, які часто покладаються на дорогі, специфічні для певної галузі анотації.👀 Підхід авторів полягає у стимулюванні мовної моделі до міркування та правильного прогнозування наступного токена шляхом отримання винагород, які безпосередньо походять від правильності її прогнозу відносно істинного значення. Цей метод перетворює стандартну самоконтрольовану мету навчання на універсальну структуру RL, яка може ефективно масштабуватися із збільшенням обчислювальних потужностей для навчання. Експериментальні криві масштабування демонструють, що більша обчислювальна потужність послідовно покращує точність прогнозування наступного токена.
Основні результати показують, що RPT не тільки значно покращує точність прогнозування наступного токена, але й створює міцну попередньо навчену основу для подальшого, специфічного для завдання, тонкого налаштування RL. У висновку автори стверджують, що RPT є ефективною і перспективною парадигмою масштабування для попереднього навчання мовних моделей. Вони пропонують, щоб майбутні дослідження були спрямовані на вивчення додаткових методів тонкого налаштування на основі підкріплення та додаткових стратегій об'єднання самоконтрольованого навчання з RL, що може призвести до створення більш потужних і узгоджених великих мовних моделей.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1
🔗 Основною метою методу Few-Shot RL є ефективне узгодження великих мовних моделей (LLM) із рядом завдань, усунувши залежність від дорогих людських анотацій та зовнішніх моделей винагороди. Автори пропонують нову структуру під назвою «Reinforcement Learning via Self-Confidence» (RLSC). Цей підхід використовує впевненість моделі у своїх результатах як сигнал винагороди під час післятренувального періоду, тим самим обходячи необхідність у мітках, моделях переваг або ручному інжинірингу винагороди.👀 Методологічно RLSC використовує процес тонкої налаштуванн підкріплювального навчання з кількома спробами. В експериментах з використанням моделі Qwen2.5-Math-7B автори проводять навчання з лише 16 зразками на питання протягом короткого періоду навчання (10 або 20 кроків) на наборі даних AIME2024. Ця легка конфігурація покладається виключно на самогенеровані показники впевненості з попередньо навченої моделі для керівництва вдосконаленнями.🕯 Основні результати демонструють значне підвищення продуктивності за кількома тестами на міркування: +13,4% на AIME2024, +21,2% на MATH500, +21,7% на Minerva Math, +20,8% на Olympiadbench і +9,7% на AMC23. Автори роблять висновок, що RLSC є масштабованим та ефективним методом післянавчання, який ефективно підвищує точність та узагальнення моделі. Вони пропонують, щоб майбутні дослідження були спрямовані на подальше вдосконалення винагород на основі впевненості та поширення цього підходу на інші проблемні області.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔5
LLM мають труднощі з повним врахуванням зовнішнього зворотного зв'язку🧐
У статті досліджується, чи можуть великі мовні моделі (LLM) повністю врахувати високоякісний зовнішній зворотний зв'язок для виправлення своїх відповідей і досягнення максимального потенціалу та визначити, чи можуть LLM ефективно самостійно виправляти свої помилки в майже ідеальних умовах з майже досконалим і повним зворотним зв'язком.
Розглядається експериментальна структура, в якій початкова модель-розв'язувач генерує відповідь, а потім генератор зворотного зв'язку, що має доступ до правдивих відповідей, надає цільовий коригувальний зворотний зв'язок. Потім розв'язувач знову намагається вирішити проблему. Цей підхід було застосовано до різних завдань, включаючи математичне міркування, наукове міркування та багатодоменні оцінки, з використанням найсучасніших моделей, таких як Claude 3.7 (з розширеним мисленням і без нього).
Ключові результати показують, що, незважаючи на отримання високоякісного зворотного зв'язку, моделі вирішувачів постійно не досягають своєї теоретичної цільової точності. Це постійне обмеження, яке називається «тертя зворотного зв'язку», в першу чергу пов'язане з внутрішньою стійкістю моделей до повної інтеграції зовнішніх виправлень. Додаткові експерименти — з використанням таких стратегій, як поступове підвищення температури та явне відхилення попередніх неправильних відповідей — дали незначні поліпшення, а потенційні причини, такі як надмірна впевненість моделі та знайомість даних, були виключені.
Сучасні LLM стикаються із значними проблемами в самоудосконаленні за допомогою зовнішнього зворотного зв'язку, окреслюючи важливу область для майбутніх досліджень, спрямованих на подолання цього тертя зворотного зв'язку та підвищення здатності моделей ефективно враховувати корекційну інформацію.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
⚡️Java-мітап від Levi9: Java x AI — майбутнє твого коду
Як Java-інженеру вписатися в нову реальність, де AI змінює правила розробки?
Ми покажемо на живих прикладах, як інтегрувати AI у продакшн-код, розповімо про AI-агентів, інструменти та типові помилки.
Спікери:
Себастьян Дашнер — Java Champion, автор книги «Architecting Modern Java EE Applications», tech-евангеліст.
👉 AI Tools and Agents That Make You a More Efficient Developer (англійською, з live demo)
Поліна Сергієнко — Senior Java Engineer в Levi9, лідерка команди на проєкті.
👉 Як будувати AI-фічі в Java: кейс, інтеграція, граблі
Буде цікаво Java-розробникам, архітекторам, тімлідам і всім, хто хоче тримати руку пульсі розвитку AI.
🗓 25 червня, онлайн
🔗 Реєстрація вже відкрита: https://meetup.levi9.com.ua/java-event — до зустрічі!
Як Java-інженеру вписатися в нову реальність, де AI змінює правила розробки?
Ми покажемо на живих прикладах, як інтегрувати AI у продакшн-код, розповімо про AI-агентів, інструменти та типові помилки.
Спікери:
Себастьян Дашнер — Java Champion, автор книги «Architecting Modern Java EE Applications», tech-евангеліст.
👉 AI Tools and Agents That Make You a More Efficient Developer (англійською, з live demo)
Поліна Сергієнко — Senior Java Engineer в Levi9, лідерка команди на проєкті.
👉 Як будувати AI-фічі в Java: кейс, інтеграція, граблі
Буде цікаво Java-розробникам, архітекторам, тімлідам і всім, хто хоче тримати руку пульсі розвитку AI.
🗓 25 червня, онлайн
🔗 Реєстрація вже відкрита: https://meetup.levi9.com.ua/java-event — до зустрічі!
🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Це той самий концепт, про який так багато говорить Карпати. Суть в тому, що в системі насправді немає ніяких готових додатків, ніякого попередньо встановленого інтерфейсу, нічого.
Кожен раз, коли ви натискаєте на щось, наступний екран повністю генерується моделлю в режимі онлайн. Так, якщо ви заходите в додаток – він теж генерується з нуля в момент. Замість оперативки – контекстне вікно: файли не зберігаються, а теж генеруються кожен раз заново на основі ваших попередніх дій.
У Google це називається Gemini Computer. Треба сказати, що це не окремий реліз, а просто демонстрація можливостей нової Gemini 2.5 Flash Light.
Яку виклали на офіційний ютуб канал. Мовляв, подивіться, нова модель настільки жвава, що з нею можна навіть ось таке провернути 460 токенів в секунду – дійсно хороший результат.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Prime Intellect запустили найбільшу децентралізовану систему інференсу SYNTHETIC-2 😳
Підключенн своєї GPU | Онлайн спостереження як розростається мережа
Суть в тому, що кожна людина може підключити свою домашню GPU або кластер і стати частиною мережі планетарного масштабу.
Виходить, що незнайомі люди з усього світу можуть об'єднати свої карти і децентралізовано навчати і запускати величезні моделі. Децентралізовано – означає, що моделі контролюють і всі, і ніхто.
Кожна окрема GPU тільки отримує input від попереднього вузла, щось рахує (у випадку інференсу один крок forward-pass) і передає далі. Причому схалтурити не вийде – Prime Intellect прикрутили розумну систему моніторингу TOPLOC V2. Вона не стежить за вашою GPU окремо, але якщо помітить, що в підсумкових загальних розрахунках щось йде не так – зможе швидко обчислити винного.
Глобально – це крок до відкритого AGI. Локально – навіть приватні дослідники зможуть проводити повномасштабні корисні експерименти + можна зібрати купу хороших даних.
І, що стосується даних, результат вже є. За допомогою цієї системи зібрали величезний відкритий датасет для навчання ризонерів. Брали DeepSeek-R1-0528, багато разів ганяли розподілено і нагенерували багато якісної синтетики. Тепер користуватися даними можуть всі (hf).
Підключенн своєї GPU | Онлайн спостереження як розростається мережа
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤1😱1
Google випустили повну версію Gemma 3n
Це перша модель менше 10 мільярдів параметрів, яка набрала на LMArena > 1300 балів. Плюс це on-device, тобто модель призначена для локального запуску.
Підтримується текст, картинки, аудіо і навіть відео. За розміром є два варіанти: E2B і E4B. Буква E означає effective. Фактично в моделях 5В і 8В параметрів відповідно, але за рахунок архітектурних особливостей їх можна запускати на залізі з тими ж витратами, як якщо б це були 2B і 4В. На першу вистачить всього 2GB.
В основі – MatFormer. Суть в тому, що більша модель містить менші версії себе. Теоретично, це означає, що модель зможе на інференсі динамічно перемикатися між моделями в залежності від складності запиту.
Поки що таке не реалізовано, зате вже зараз, маючи вагу однієї моделі, можна витягти з неї підходящу саме під ваше залізо під-модель з потрібною кількістю параметрів.
❤8
The Unreasonable Ineffectiveness of the Deeper Layers 🤷♂️
Автори цієї статті досліджують, як знання, що зберігаються у сучасних LLM, розподілені з точки зору глибини шарів.
Для цього вони застосовують досить звичний для трансформерів метод прунінгу шарів, але не з ціллю пришвидшення чи збереження памʼяті, а щоб зрозуміти, які шари цей алгоритм прибирає частіше, а отже, які шари є менш важливими.
Архітектура 👷
Пригадаємо, що трансформер побудований на базі residual connections. Це означає, що через всю архітектуру йде так званий residual stream, який починається з token embeddings. Кожен шар зчитує інформацію з residual stream, оброблює її, і потім додає свою поправку назад. Ця поправка може бути використана як наступними шарами, так і для вирішення безпосередньої задачі, тобто next-token-prediction.
Методологія дослідження 🔎
Алгоритм прунінгу, який застосовують автори, базується на наступній гіпотезі: якщо шар (або N послідовних шарів) майже не змінюють зміст residual stream (тобто поправка дуже незначна), то їх можна відкинути, бо вони навряд чи вплинуть на кінцевий результат.
Тоді автори фіксують розмір блоку N, і вимірюють ангулярну відстань між ембедінгами у шарі k і шарі k+N. Знаходиться такий k, для якого ця відстань буде мінімальною, і саме в цьому місці відбувається прунінг, тобто фактичне вирізання блоку з мережі.
Після цього також можна робити так званий “healing”, тобто донавчання моделі (робиться через QLoRA), щоб дати моделі можливість адаптуватися під зміни, що відбулися.
Автори виконують цю процедуру на різних моделях (Llama 2, Qwen, Mistral, Phi-2) на наборах даних з двох кластерів: Question-answering та Reasoning.
Результати ✍️
- Для будь-якого розміру блоку виявляється, що алгоритм вирішує відрізати саме глибші шари. Тобто вони значно рідше змінюють стан residual stream.
- Цікаво, що це не стосується останніх одного-двох шарів, які, здається, грають ключову роль для трансформації інформації з residual stream у next token embeddings, тому вони дуже важливі.
- Для question-answering задач можна відрізати від 20 до 50 відсотків шарів (цей відсоток корелює з розміром моделі) майже без втрати якості, особливо якщо застосувати healing. Отже, модель зберігає майже всі знання, необхідні для відповідей на запитання, у своїх початкових шарах.
- Але на reasoning бенчмарках якість втрачається дуже швидко. Тобто для цього типу задач важливі як знання, збережені у початкових шарах, так і більш складні судження, які, схоже, відбуваються у глибшій частині моделі.
Відкриті питання 🙋♂️
Дослідники задаються питаннями, чому саме це відбувається, і чи це взагалі є проблемою.
Можливо, це артефакт навчання поточних архітектур, які все ще не можуть використовувати глибші шари на максимум. Наприклад, дуже схоже, що саме residual connections навʼязують моделі, що більш ранні шари є важливішими, адже вони беруть участь у більшій кількості інтеракцій всередині моделі.
Але також є думка, що саме так це й повинно працювати по своїй суті. Адже складно не помітити аналогію з процесом мислення людини: спочатку ми швиденько збираємо свої знання, які знадобляться для вирішення задачі, і лише якщо вона достатньо складна, то починаємо витрачати на неї більше часу і зусиль — свої глибші шари... ☝️
Автори цієї статті досліджують, як знання, що зберігаються у сучасних LLM, розподілені з точки зору глибини шарів.
Для цього вони застосовують досить звичний для трансформерів метод прунінгу шарів, але не з ціллю пришвидшення чи збереження памʼяті, а щоб зрозуміти, які шари цей алгоритм прибирає частіше, а отже, які шари є менш важливими.
Архітектура 👷
Пригадаємо, що трансформер побудований на базі residual connections. Це означає, що через всю архітектуру йде так званий residual stream, який починається з token embeddings. Кожен шар зчитує інформацію з residual stream, оброблює її, і потім додає свою поправку назад. Ця поправка може бути використана як наступними шарами, так і для вирішення безпосередньої задачі, тобто next-token-prediction.
Методологія дослідження 🔎
Алгоритм прунінгу, який застосовують автори, базується на наступній гіпотезі: якщо шар (або N послідовних шарів) майже не змінюють зміст residual stream (тобто поправка дуже незначна), то їх можна відкинути, бо вони навряд чи вплинуть на кінцевий результат.
Тоді автори фіксують розмір блоку N, і вимірюють ангулярну відстань між ембедінгами у шарі k і шарі k+N. Знаходиться такий k, для якого ця відстань буде мінімальною, і саме в цьому місці відбувається прунінг, тобто фактичне вирізання блоку з мережі.
Після цього також можна робити так званий “healing”, тобто донавчання моделі (робиться через QLoRA), щоб дати моделі можливість адаптуватися під зміни, що відбулися.
Автори виконують цю процедуру на різних моделях (Llama 2, Qwen, Mistral, Phi-2) на наборах даних з двох кластерів: Question-answering та Reasoning.
Результати ✍️
- Для будь-якого розміру блоку виявляється, що алгоритм вирішує відрізати саме глибші шари. Тобто вони значно рідше змінюють стан residual stream.
- Цікаво, що це не стосується останніх одного-двох шарів, які, здається, грають ключову роль для трансформації інформації з residual stream у next token embeddings, тому вони дуже важливі.
- Для question-answering задач можна відрізати від 20 до 50 відсотків шарів (цей відсоток корелює з розміром моделі) майже без втрати якості, особливо якщо застосувати healing. Отже, модель зберігає майже всі знання, необхідні для відповідей на запитання, у своїх початкових шарах.
- Але на reasoning бенчмарках якість втрачається дуже швидко. Тобто для цього типу задач важливі як знання, збережені у початкових шарах, так і більш складні судження, які, схоже, відбуваються у глибшій частині моделі.
Відкриті питання 🙋♂️
Дослідники задаються питаннями, чому саме це відбувається, і чи це взагалі є проблемою.
Можливо, це артефакт навчання поточних архітектур, які все ще не можуть використовувати глибші шари на максимум. Наприклад, дуже схоже, що саме residual connections навʼязують моделі, що більш ранні шари є важливішими, адже вони беруть участь у більшій кількості інтеракцій всередині моделі.
Але також є думка, що саме так це й повинно працювати по своїй суті. Адже складно не помітити аналогію з процесом мислення людини: спочатку ми швиденько збираємо свої знання, які знадобляться для вирішення задачі, і лише якщо вона достатньо складна, то починаємо витрачати на неї більше часу і зусиль — свої глибші шари... ☝️
🔥4❤3👍1
🎯Шукаєте команду, де можна досліджувати, експериментувати й впроваджувати інноваційні ML-рішення?
У SQUAD, одному з найбільших R&D центрів в Україні, ви працюватимете над технологіями детекції руху, що поєднують Edge та Cloud.
Позиція Computer Vision Engineer передбачає щоденні дослідницькі завдання:
🔹формулювання гіпотез,
🔹збір і аналіз даних,
🔹навчання моделей,
🔹підготовка наукових матеріалів.
Деталі вакансії — https://bit.ly/4lWusIX 👀
У SQUAD, одному з найбільших R&D центрів в Україні, ви працюватимете над технологіями детекції руху, що поєднують Edge та Cloud.
Позиція Computer Vision Engineer передбачає щоденні дослідницькі завдання:
🔹формулювання гіпотез,
🔹збір і аналіз даних,
🔹навчання моделей,
🔹підготовка наукових матеріалів.
Деталі вакансії — https://bit.ly/4lWusIX 👀
🔥5
👌Google релізнули цікавий інструмент, за допомогою якого можна «вирізати» з великої моделі готові моделі поменше
Пам'ятаєте, нещодавно вони виклали в опенсорс повноцінну Gemma 3n? Ця модель мала незвичайну архітектуру трансформер, щось схоже на вкладену в саму себе меньшу версію, наприклад Gemma 3n еластична, тобто у неї є вкладені моделі – звідси і назва.
Зокрема, сама вона була навчена як модель на Е4В, це 4В ефективних параметрів з 35 шарами і розміром прихованого шару 16384, але всередині неї є повністю самодостатня модель на E2B вже з 30 шарами і розмірністю 8192. Тренують це все, звичайно, спеціальним чином за допомогою Nested Doll Representation Learning.
Але і це не все: з такої структури можна витягувати моделі взагалі будь-якого розміру між 2В і 4В. Раніше – теоретично, а тепер і на практиці за допомогою готової тулзи від самих Google😋.
Оибираєте, який розмір буде оптимальним для вашого заліза -> виставляєте відповідну конфігурацію -> відпрацьовує метод Mix-n-Match, який вирізає з моделі потрібне вкладення (це відбувається без навчання) -> ви отримуєте готові ваги, які можете, до речі, відразу ж залити на HF.
Виглядає дуже круто, до речі, оформлено у вигляді ноутбука ipynb, так що запустити можна однією кнопкою.
🔥5👍3
Moonshot AI випустив нову модель Kimi K2
Kimi K2 має під капотом 1 трильйон загальних параметрів і 32 активних. Ця архітектура забезпечує баланс між потужністю та практичними обчислювальними витратами під час інференс моделі. Сама модель має 61 шар, 7168 скритих параметрів та довжину контексту 128K.
Архітектура включає 384 різних експертів, причому модель інтелектуально вибирає 8 експертів для кожного токена, який вона обробляє. Цікаво що вKimi K2, додали свій оптимізаторMuonClip, який вирішив критичну проблему «exploading attention logits», яка зазвичай призупиняє навчання великих моделей. Попередньо модель навчили на 15,5 трильйонах токенів без піків навчання, що зробило можливим створення стабільної моделі з трильйоном параметрів з відкритим кодом. Модель доступна у двох варіантах:
–Kimi-K2-Baseдля дослідників, які прагнуть повного контролю та тонкого налаштування
– Kimi-K2-Instruct для загальних діалогових та агентних взаємодій.
Бенчмарки Kimi K2 демонструє доволі гарну продуктивність у ключових тестах у порівнянні з іншими моделями. У завданнях з математичного міркуванняKimi-K2-Baseнабирає 70,2 бали в тесті MATH і 92,1 бали в GSM8k, демонструючи сильні логічні здібності. У прямих порівняннях моделі Kimi постійно перевершувала DeepSeek V3 у математичних тестах, а Kimi-k1.5 значно перевершив DeepSeek-V3 0324 як у тестах AIME 2024, так і MATH-500.
Щодо кодінгу, тут теж все добре, модель Kimi K2 демонструє результат 80,3 балів у тесті EvalPlus і 26,3 Pass@1 у тесті LiveCodeBench v6, що доволі круто. Модель навіть перевершила Claude Sonnet 4 (без різонінг) і GPT-4.1, у тестах з кодування, набравши 65,8% на SWE-bench Verified порівняно з 50,2% у Claude і 40,8% у GPT.
Загалом вийшло доволі круто, враховуючі що модель опенсорс.
🔥6
📣 Онлайн-мітап для research-, data-, MLOPS-інженерів і всіх, хто працює з великими масивами даних
єТЕМА: Як опанувати життєвий цикл даних: масштабована автоанотація, синтетика та доставка 📊🤖
Спікери з 10+ річним досвідом у напрямках Machine Learning та Computer Vision:
🎙️ Богдан Бобиль, Applied Science Manager у SQUAD
Розповість про оптимізовану доставку та управління даними, а також чому найкращі дані не працюють без правильного транспорту.
🎙️ Юрій Пащенко, AI Tech Lead (NDA)
Розкриє проблематику даних у реальних ML/AI-проєктах: дефіцит якісних анотованих даних, виклики масштабування, упередженість і шум у датасетах, фрагментованість пайплайнів.
🗓️ 31 липня, 19:00 | online
Реєстрація вже відкрита, участь безкоштовна. Не пропустіть 🦾
єТЕМА: Як опанувати життєвий цикл даних: масштабована автоанотація, синтетика та доставка 📊🤖
Спікери з 10+ річним досвідом у напрямках Machine Learning та Computer Vision:
🎙️ Богдан Бобиль, Applied Science Manager у SQUAD
Розповість про оптимізовану доставку та управління даними, а також чому найкращі дані не працюють без правильного транспорту.
🎙️ Юрій Пащенко, AI Tech Lead (NDA)
Розкриє проблематику даних у реальних ML/AI-проєктах: дефіцит якісних анотованих даних, виклики масштабування, упередженість і шум у датасетах, фрагментованість пайплайнів.
🗓️ 31 липня, 19:00 | online
Реєстрація вже відкрита, участь безкоштовна. Не пропустіть 🦾
🔥5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI презентували ChatGPT agent✌️
ЦеDeep ResearchіOperatorв одному флаконі. Тобто агент, який зможе переглядати веб-сторінки мультимодально, на відміну відDeep Research, викликати API та інші інструменти, виконувати якісь завдання і все це – з ризонінгом.
Особливий акцент – на виклик інструментів, кажуть, спеціально навчали агента користуватися різноманітними тулзами за допомогоюRL. Створює діаграми, презентації, таблиці, генерує картинки, може залогінитися на сайті, використовувати термінал і пошту, зробити коміт тощо.
Результат наHumanity's Last Exam– 42%. Це дуже серйозний приріст щодо o3 і навіть Deep Research. На Frontier Math теж помітний стрибок.
До речі, під капотом неo3і неo4-mini, а якась нова модель, навчена спеціально під agent mode і computer use.
Цікаво, що розгорнули агента не тільки для Pro передплатників за 200$. Доступ дадуть і звичайним користувачам з Plus, ліміти – 40 запитів на місяць😁.
❤6
Все ж таки випустили модель Gemini 2.5 Deep Think 😉
Це та сама модель, яка виграла золоту медаль на IMO. За метриками:
- Майже 35% на Humanity's Last Exam проти 21.6 у Gemini 2.5 Pro і 20.3 у o3
- 87.6% на LiveCodeBench проти 72 у o3
- 99.2% (майже абсолют!) на AIME 2025 проти 89 у o3
По ризонінгу, що виділяється, це, звісно, не ті потужності, з якими модель виграла золото (конкретно цю версію видали поки що тільки невеликій групі математиків), але навіть у цій конфігурації вона нарішує IMO на бронзу. Теж непогано.
Працює Deep Think завдяки "паралельному мисленню". Тобто запускається кілька потоків ризонінгу, в яких пробуються різні гіпотези, а потім найкращі результати комбінуються в кінцеву відповідь. Google пишуть, що щоб навчити модель такої паралельності, вони розробили "нові методи навчання з підкріпленням".
Єдиний нюанс, щоб отримати доступ до модельки, заплатити доведеться 250 доларів😝. Її, на жаль, завезли тільки в підписку Google AI Ultra.
👏3
Google Research випустили MLE‑STAR агент для ML-інжинірингу 🤖
Google представив MLE‑STAR — агент на основі LLM, який автоматизує ML-завдання різних типів і досягає висот у порівнянні з попередніми підходами.
Що нового:
- Використовує веб-пошук для пошуку сучасних моделей і прикладів коду
- Робить абляційний аналіз (ablation study), щоб визначити найбільш впливовий компонент в ML-пайплайні, і ітеративно доопрацьовує його
- Розвиває ансамблювання - генерує кілька рішень і збирає їх в одне покращене
- Включає модулі контролю: дебагер, перевірку витоків даних і контроль використання всіх джерел даних. Результати цікаві MLE‑STAR виграє медалі в 63–64 % з бенчмарку MLE‑Bench‑Lite, випереджаючи найкращі існуючі методи (~25–26 %).
Покроковій степ
- Пошук потрібних моделей через веб
- Генерація і злиття кращих кандидатів
- Абляційний аналіз → вибір блоку → уточнення цього блоку
- Ітеративне поліпшення і об'єднання ансамблів
- Контрольні модулі: дебаг, витоки, використання даних
🔥2
OpenAI нарешті випустили свою опенсорс-модель 😍
Точніше, навіть дві, це два ризонери на 20 і 120B. Кожна з моделей може працювати в трьох режимах: низький бюджет ризонінгу, середній і високий.
За метриками як бачите та, що побільше вона, запускається на одній H100, за основними бенчмарками наближається до o3. Та, що поменше вона добре підходить для локального запуску, більше схожа на o4-mini.
P.S Біжемо завантажувати ваги і починаємо тестити✌️
Точніше, навіть дві, це два ризонери на 20 і 120B. Кожна з моделей може працювати в трьох режимах: низький бюджет ризонінгу, середній і високий.
За метриками як бачите та, що побільше вона, запускається на одній H100, за основними бенчмарками наближається до o3. Та, що поменше вона добре підходить для локального запуску, більше схожа на o4-mini.
P.S Біжемо завантажувати ваги і починаємо тестити✌️
🔥8