AI-агенти вже почали переписувати правила інтернету.
Доброго ранку ☕️
За даними звіту Human Security, AI-driven трафік — взаємодії згенеровані AI-системами або виконані від їхнього імені — майже потроївся у 2025 році.
68% цього трафіку становлять crawlers які збирають дані для навчання моделей. Ще 32% — scrapers для збору цін, наявності товарів, умов бронювання. А найцікавіша категорія — AI-агенти та агентні браузери. Їхня частка поки мала але за рік зросла майже у 80 разів.
77% агентних взаємодій відбувалися на сторінках товарів і пошуку. Тобто агенти вже поводяться як користувачі: шукають, порівнюють, аналізують. Частина активності також була пов'язана зі сторінками акаунтів, автентифікацією і транзакціями.
І тут починається найцікавіше з точки зору кібербезпеки.
Легітимний AI-агент дуже схожий на бота. Він швидко відкриває сторінки, порівнює товари, може проходити авторизацію і виконувати транзакції. Раніше така поведінка була сигналом атаки. Тепер це може бути нормальна поведінка AI-асистента.
Я вже бачив у мережі кілька прикладів де агенти помилково замовляли їжу — приїжджав кур'єр а людина не була в курсі замовлення. І в коментарі до замовлення фігурував Claude. Смішно але показово: старі правила виявлення ботів починають ламатися а нові ще не сформовані.
Паралельно malicious scraping зріс на 47%. Атаки на акаунти загалом зменшилися але стали небезпечнішими: у 4 рази зросла кількість атак після входу в акаунт. Тобто проблема зміщується від "зламати логін" до використання вже активних акаунтів.
Агентний трафік лише починається. 80-кратне зростання минулого року ймовірно ще багато разів посилиться коли агенти стануть надійнішими і масовішими. Інфраструктуру потрібно будувати або модернізувати з урахуванням цього вже зараз.
Інтернет який ми знаємо будувався навколо людини-користувача. Наступний етап — інтернет де значну частину дій виконуватимуть агенти. Сайтам доведеться навчитися відповідати на нові питання: як відрізнити корисного AI-агента від шкідливого бота, як дозволити агенту купувати але не красти дані, як зміниться SEO коли сторінки читатимуть не тільки люди.
Веб перебудовуватиметься під агентів: не лише як нових "читачів" контенту, а як повноцінних акторів які діють, купують і приймають рішення.
Повний звіт
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
За даними звіту Human Security, AI-driven трафік — взаємодії згенеровані AI-системами або виконані від їхнього імені — майже потроївся у 2025 році.
68% цього трафіку становлять crawlers які збирають дані для навчання моделей. Ще 32% — scrapers для збору цін, наявності товарів, умов бронювання. А найцікавіша категорія — AI-агенти та агентні браузери. Їхня частка поки мала але за рік зросла майже у 80 разів.
77% агентних взаємодій відбувалися на сторінках товарів і пошуку. Тобто агенти вже поводяться як користувачі: шукають, порівнюють, аналізують. Частина активності також була пов'язана зі сторінками акаунтів, автентифікацією і транзакціями.
І тут починається найцікавіше з точки зору кібербезпеки.
Легітимний AI-агент дуже схожий на бота. Він швидко відкриває сторінки, порівнює товари, може проходити авторизацію і виконувати транзакції. Раніше така поведінка була сигналом атаки. Тепер це може бути нормальна поведінка AI-асистента.
Я вже бачив у мережі кілька прикладів де агенти помилково замовляли їжу — приїжджав кур'єр а людина не була в курсі замовлення. І в коментарі до замовлення фігурував Claude. Смішно але показово: старі правила виявлення ботів починають ламатися а нові ще не сформовані.
Паралельно malicious scraping зріс на 47%. Атаки на акаунти загалом зменшилися але стали небезпечнішими: у 4 рази зросла кількість атак після входу в акаунт. Тобто проблема зміщується від "зламати логін" до використання вже активних акаунтів.
Агентний трафік лише починається. 80-кратне зростання минулого року ймовірно ще багато разів посилиться коли агенти стануть надійнішими і масовішими. Інфраструктуру потрібно будувати або модернізувати з урахуванням цього вже зараз.
Інтернет який ми знаємо будувався навколо людини-користувача. Наступний етап — інтернет де значну частину дій виконуватимуть агенти. Сайтам доведеться навчитися відповідати на нові питання: як відрізнити корисного AI-агента від шкідливого бота, як дозволити агенту купувати але не красти дані, як зміниться SEO коли сторінки читатимуть не тільки люди.
Веб перебудовуватиметься під агентів: не лише як нових "читачів" контенту, а як повноцінних акторів які діють, купують і приймають рішення.
Повний звіт
🔔 ПІДПИСАТИСЯ
👍13❤5🔥3
10 речей про LLM які варто знати 1/10 🧠
Prompt engineering — це не зовсім "інженерія промптів"
Ще рік тому з'являлися цілі курси про те як правильно писати промпти. Але пройшов рік — і ми бачимо наскільки якість промптів стала менш важливою. LLM самі навчилися писати промпти, а більшої значущості набув context engineering про який я вже писав раніше.
Щоб зрозуміти чому — потрібно розуміти як LLM взагалі працюють.
LLM не знають фактів і не виконують промпт як програмний код. GPT-подібні моделі прогнозують наступні токени на основі попереднього контексту — саме так це описано в роботі про GPT-3 Language Models are Few-Shot Learners яку ми розбираємо зі студентами на лекціях.
Тобто промпт — це не кнопка "зроби X". Це контекстний сигнал. Він задає моделі рамку: про що ми говоримо, у якій ролі має відповідати, який стиль очікується, для кого текст, які обмеження важливі.
Тому мені дедалі більше подобається інша назва — semantic framing. Семантичне фреймування. Ми не пишемо інструкцію — ми конструюємо контекст який допомагає моделі зрозуміти в якому режимі їй треба продовжувати текст.
Якщо промпт — це постріл у темряву він дає слабкий результат не тому що модель "дурна" а тому що ми дали занадто розмиту рамку.
"Напиши пост про AI" — широкий сигнал. Модель не знає для кого, у якому стилі, з якою позицією.
"Напиши Telegram-пост українською для інженерної аудиторії. Тон — публіцистично-науковий. Поясни чому X. Заверши практичним висновком." — це вже рамка. Модель отримує роль, аудиторію, стиль і комунікативний намір.
Хороше промптування — це не магія і не список "секретних фраз". Це вміння правильно задати семантичну рамку: хто говорить, кому, навіщо, у якому стилі, з якими обмеженнями.
Чим сильніше ви звужуєте ймовірнісні шляхи моделі — тим менше вона блукає у просторі можливих відповідей.
Зберігай щоб не загубити, а наступного четверга — ще один важливий факт про LLM: контекстні вікна 👀
🔔 ПІДПИСАТИСЯ
Prompt engineering — це не зовсім "інженерія промптів"
Ще рік тому з'являлися цілі курси про те як правильно писати промпти. Але пройшов рік — і ми бачимо наскільки якість промптів стала менш важливою. LLM самі навчилися писати промпти, а більшої значущості набув context engineering про який я вже писав раніше.
Щоб зрозуміти чому — потрібно розуміти як LLM взагалі працюють.
LLM не знають фактів і не виконують промпт як програмний код. GPT-подібні моделі прогнозують наступні токени на основі попереднього контексту — саме так це описано в роботі про GPT-3 Language Models are Few-Shot Learners яку ми розбираємо зі студентами на лекціях.
Тобто промпт — це не кнопка "зроби X". Це контекстний сигнал. Він задає моделі рамку: про що ми говоримо, у якій ролі має відповідати, який стиль очікується, для кого текст, які обмеження важливі.
Тому мені дедалі більше подобається інша назва — semantic framing. Семантичне фреймування. Ми не пишемо інструкцію — ми конструюємо контекст який допомагає моделі зрозуміти в якому режимі їй треба продовжувати текст.
Якщо промпт — це постріл у темряву він дає слабкий результат не тому що модель "дурна" а тому що ми дали занадто розмиту рамку.
"Напиши пост про AI" — широкий сигнал. Модель не знає для кого, у якому стилі, з якою позицією.
"Напиши Telegram-пост українською для інженерної аудиторії. Тон — публіцистично-науковий. Поясни чому X. Заверши практичним висновком." — це вже рамка. Модель отримує роль, аудиторію, стиль і комунікативний намір.
Хороше промптування — це не магія і не список "секретних фраз". Це вміння правильно задати семантичну рамку: хто говорить, кому, навіщо, у якому стилі, з якими обмеженнями.
Чим сильніше ви звужуєте ймовірнісні шляхи моделі — тим менше вона блукає у просторі можливих відповідей.
Зберігай щоб не загубити, а наступного четверга — ще один важливий факт про LLM: контекстні вікна 👀
🔔 ПІДПИСАТИСЯ
arXiv.org
Language Models are Few-Shot Learners
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic...
👍13❤2💯1
🇪🇺 Європа натискає на гальма в регулюванні AI
Добрий ранок та гарних вихiдних! Трошки вирiшив розбавити технiчнi розмови геополiтекою навколо AI ☕️
ЄС, який ще недавно хотів бути головним регулятором штучного інтелекту у світі, починає пом'якшувати власний AI Act.
Причина проста: бізнес і частина політиків дедалі голосніше кажуть що надмірне регулювання робить європейські компанії менш конкурентними порівняно з США та Китаєм.
Що змінюється — вимоги до "високоризикових" AI-систем у правоохоронній сфері, критичній інфраструктурі, працевлаштуванні та персональній ідентифікації відкладаються з серпня 2026 до грудня 2027 року. Окремі дедлайни для AI-продуктів переносяться до серпня 2028. Вимоги щодо watermarking AI-контенту та прозорості — приблизно до грудня 2026. Також спрощують процедури для малого бізнесу щоб compliance не перетворився на окремий бюрократичний квест.
Цікавий момент: в одному напрямі регулювання навпаки посилюють — забороняють генерацію сексуалізованих зображень дітей і несанкціонованих інтимних зображень реальних людей.
І ось тут починається найцікавіше.
AI Act спочатку будувався навколо ідеї "системних ризиків" — ризиків які можуть впливати не на окрему людину а на цілі сектори економіки. Поняття запозичене з фінансового регулювання. Але проблема в тому що частина цих ризиків залишається спекулятивною. Натомість ризик надмірного регулювання дуже конкретний: компанії витрачають ресурси не на розробку а на юридичну адаптацію і документацію.
Поправки мають на меті збалансувати ризики й переваги: зменшити навантаження на розробників, дати компаніям більше часу щоб зрозуміти вимоги і відкрити шлях для інновацій у критичних галузях. Самі поправки ще очікують офіційного прийняття.
Європа вже має структурну проблему: фрагментований ринок, 27 національних юрисдикцій, слабше масштабування технологічних компаній порівняно з США та Китаєм. Якщо поверх цього накласти надто важкий регуляторний шар — можна отримати ситуацію де ЄС стане не лідером AI-безпеки а територією де інновації просто повільніше доходять до ринку.
Багато положень оригінального AI Act були нечіткими або надто широкими. Ці зміни схоже роблять закон менш обтяжливим зберігаючи корисні елементи. Це хороший крок для конкурентоспроможності Європи.
Навіть Європа яка традиційно робить ставку на регулювання починає визнавати: у гонці AI недостатньо просто "захищати громадян". Потрібно ще не задушити власну індустрію до того як вона встигне вирости.
🔔 ПІДПИСАТИСЯ
Добрий ранок та гарних вихiдних! Трошки вирiшив розбавити технiчнi розмови геополiтекою навколо AI ☕️
ЄС, який ще недавно хотів бути головним регулятором штучного інтелекту у світі, починає пом'якшувати власний AI Act.
Причина проста: бізнес і частина політиків дедалі голосніше кажуть що надмірне регулювання робить європейські компанії менш конкурентними порівняно з США та Китаєм.
Що змінюється — вимоги до "високоризикових" AI-систем у правоохоронній сфері, критичній інфраструктурі, працевлаштуванні та персональній ідентифікації відкладаються з серпня 2026 до грудня 2027 року. Окремі дедлайни для AI-продуктів переносяться до серпня 2028. Вимоги щодо watermarking AI-контенту та прозорості — приблизно до грудня 2026. Також спрощують процедури для малого бізнесу щоб compliance не перетворився на окремий бюрократичний квест.
Цікавий момент: в одному напрямі регулювання навпаки посилюють — забороняють генерацію сексуалізованих зображень дітей і несанкціонованих інтимних зображень реальних людей.
І ось тут починається найцікавіше.
AI Act спочатку будувався навколо ідеї "системних ризиків" — ризиків які можуть впливати не на окрему людину а на цілі сектори економіки. Поняття запозичене з фінансового регулювання. Але проблема в тому що частина цих ризиків залишається спекулятивною. Натомість ризик надмірного регулювання дуже конкретний: компанії витрачають ресурси не на розробку а на юридичну адаптацію і документацію.
Поправки мають на меті збалансувати ризики й переваги: зменшити навантаження на розробників, дати компаніям більше часу щоб зрозуміти вимоги і відкрити шлях для інновацій у критичних галузях. Самі поправки ще очікують офіційного прийняття.
Європа вже має структурну проблему: фрагментований ринок, 27 національних юрисдикцій, слабше масштабування технологічних компаній порівняно з США та Китаєм. Якщо поверх цього накласти надто важкий регуляторний шар — можна отримати ситуацію де ЄС стане не лідером AI-безпеки а територією де інновації просто повільніше доходять до ринку.
Багато положень оригінального AI Act були нечіткими або надто широкими. Ці зміни схоже роблять закон менш обтяжливим зберігаючи корисні елементи. Це хороший крок для конкурентоспроможності Європи.
Навіть Європа яка традиційно робить ставку на регулювання починає визнавати: у гонці AI недостатньо просто "захищати громадян". Потрібно ще не задушити власну індустрію до того як вона встигне вирости.
🔔 ПІДПИСАТИСЯ
👍10❤2
Друзі, доброго вечора! 👋
Дійшли руки створити YouTube-канал як ви і хотіли 🙂
Нажаль часу на зйомки майже немає але буду намагатися інколи записувати щось цікаве. Формат відео-лекції дозволяє більш розгорнуто розкривати тему ніж пост у Telegram.
Підпишіться щоб не пропустити. А поки — перше відео для вас 👇
https://youtu.be/1XqpgxPp7KY
🔔 ПІДПИСАТИСЯ
Дійшли руки створити YouTube-канал як ви і хотіли 🙂
Нажаль часу на зйомки майже немає але буду намагатися інколи записувати щось цікаве. Формат відео-лекції дозволяє більш розгорнуто розкривати тему ніж пост у Telegram.
Підпишіться щоб не пропустити. А поки — перше відео для вас 👇
https://youtu.be/1XqpgxPp7KY
🔔 ПІДПИСАТИСЯ
3🔥12❤4👍4👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Доброго ранку! ☕️
Натрапив на цікаву модель для генерації говорячих аватарів.
LongCat-Video-Avatar 1.5 від Meituan LongCat Team генерує відео говорячого персонажа по аудіо і зображенню або текстовому опису. На вхід даєш голос і фото — на виході отримуєш відео де людина говорить із синхронізацією губ, мімікою і збереженням ідентичності.
Модель побудована на базі LongCat-Video з 13.6B параметрів, код і ваги відкриті, ліцензія MIT. Раніше подібна якість частіше була доступна через закриті комерційні сервіси. Як аудіоенкодер використовується Whisper-Large — що дає точнішу синхронізацію губ ніж у попередній версії. Підтримуються стилізовані персонажі: anime, тварини, digital humans. Є підтримка мультиперсонажних сцен з кількома аудіопотоками.
Як аудіоенкодер використовується Whisper-Large-v3 — навчений на 680 000 годин мовлення 99 мовами включно з українською. Офіційний benchmark тестувався на китайській та англійській, але підтримка інших мов випливає з архітектури самого Whisper.
🔔 ПІДПИСАТИСЯ
Натрапив на цікаву модель для генерації говорячих аватарів.
LongCat-Video-Avatar 1.5 від Meituan LongCat Team генерує відео говорячого персонажа по аудіо і зображенню або текстовому опису. На вхід даєш голос і фото — на виході отримуєш відео де людина говорить із синхронізацією губ, мімікою і збереженням ідентичності.
Модель побудована на базі LongCat-Video з 13.6B параметрів, код і ваги відкриті, ліцензія MIT. Раніше подібна якість частіше була доступна через закриті комерційні сервіси. Як аудіоенкодер використовується Whisper-Large — що дає точнішу синхронізацію губ ніж у попередній версії. Підтримуються стилізовані персонажі: anime, тварини, digital humans. Є підтримка мультиперсонажних сцен з кількома аудіопотоками.
Як аудіоенкодер використовується Whisper-Large-v3 — навчений на 680 000 годин мовлення 99 мовами включно з українською. Офіційний benchmark тестувався на китайській та англійській, але підтримка інших мов випливає з архітектури самого Whisper.
🔔 ПІДПИСАТИСЯ
👍7❤5🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
У Claude Code з'явився відкритий конкурент — Kimi Code CLI
Добрий ранок ☕️
Kimi Code CLI від Moonshot AI — термінальний AI-агент для розробників який працює прямо в командному рядку: розбирається з кодом, редагує файли, запускає команди, шукає по проєкту та аналізує вебсторінки.
На відміну від Claude Code який залишається закритим комерційним інструментом — Kimi Code CLI опублікований на GitHub з відкритим вихідним кодом під ліцензією MIT. Тобто розробники можуть не лише користуватися агентом а й вивчати як він влаштований, допрацьовувати під свої процеси та інтегрувати у власні пайплайни.
Є можливість підключати не тільки Kimi/Moonshot API а й інших сумісних провайдерів.
І окремо цікавий момент — підтримка відеовходу. Розробнику не завжди зручно словами пояснювати проблему. Іноді простіше показати screen recording де "ось тут кнопка не працює" або "ось так відтворюється баг".
Поява open-source альтернативи це хороший сигнал.
🔔 ПІДПИСАТИСЯ
Добрий ранок ☕️
Kimi Code CLI від Moonshot AI — термінальний AI-агент для розробників який працює прямо в командному рядку: розбирається з кодом, редагує файли, запускає команди, шукає по проєкту та аналізує вебсторінки.
На відміну від Claude Code який залишається закритим комерційним інструментом — Kimi Code CLI опублікований на GitHub з відкритим вихідним кодом під ліцензією MIT. Тобто розробники можуть не лише користуватися агентом а й вивчати як він влаштований, допрацьовувати під свої процеси та інтегрувати у власні пайплайни.
Є можливість підключати не тільки Kimi/Moonshot API а й інших сумісних провайдерів.
І окремо цікавий момент — підтримка відеовходу. Розробнику не завжди зручно словами пояснювати проблему. Іноді простіше показати screen recording де "ось тут кнопка не працює" або "ось так відтворюється баг".
Поява open-source альтернативи це хороший сигнал.
🔔 ПІДПИСАТИСЯ
👍11🔥6❤2👏1😍1
Media is too big
VIEW IN TELEGRAM
Magenta RealTime 2 від Google DeepMind — безкоштовна модель для генерації музики в реальному часі 🎵
Головна ідея: музика генерується локально без хмари як безперервний аудіопотік. Затримка — близько 200 мс. Керувати можна трьома способами: текстовий промпт, аудіоприклад або MIDI-вхід. Стиль, жанр і інструменти можна змінювати прямо під час генерації.
Під капотом три ключові компоненти: SpectroStream кодує стереоаудіо 48 kHz у токени, MusicCoCa зв'язує текст і звук у спільному просторі, Decoder-only Transformer генерує наступні аудіотокени в реальному часі.
Small-версія на 230 млн параметрів працює в реальному часі на звичайних Apple Silicon пристроях, Base потребує Pro/Max чипів. Код відкритий у GitHub.
Колись з'явилися диджейські столи які дали можливiсть лядям не вміючим грати на інструментах, створювати музику. AI-інструменти це наступний крок. Традиційні інструменти все більше стають елітарною прерогативою.
І це вже видно в чартах де на перших рядках багато AI-музики.
🔔 ПІДПИСАТИСЯ
Головна ідея: музика генерується локально без хмари як безперервний аудіопотік. Затримка — близько 200 мс. Керувати можна трьома способами: текстовий промпт, аудіоприклад або MIDI-вхід. Стиль, жанр і інструменти можна змінювати прямо під час генерації.
Під капотом три ключові компоненти: SpectroStream кодує стереоаудіо 48 kHz у токени, MusicCoCa зв'язує текст і звук у спільному просторі, Decoder-only Transformer генерує наступні аудіотокени в реальному часі.
Small-версія на 230 млн параметрів працює в реальному часі на звичайних Apple Silicon пристроях, Base потребує Pro/Max чипів. Код відкритий у GitHub.
Колись з'явилися диджейські столи які дали можливiсть лядям не вміючим грати на інструментах, створювати музику. AI-інструменти це наступний крок. Традиційні інструменти все більше стають елітарною прерогативою.
І це вже видно в чартах де на перших рядках багато AI-музики.
🔔 ПІДПИСАТИСЯ
👍6❤3🔥2👀1
NVIDIA відкрила OmniDreams — генеративну world model для симуляції автономного водіння.
Доброго ранку ☕️
Подивіться уважно на відео 👇 це не відео з камери — воно повністю згенероване моделлю 🤯
Щоб зрозуміти чому це цікаво — треба зрозуміти різницю між open-loop і closed-loop тестуванням.
У класичному підході модель автономного водіння дивиться на записані відеодані і робить передбачення. Але її рішення не впливають на те що відбувається далі — вона просто оцінює помилки на фіксованому записі. Це open-loop.
У closed-loop все інакше. Policy приймає рішення → симулятор оновлює стан → модель генерує нові camera observations → policy знову реагує на нову картину.
Автомобіль ніби "живе" всередині середовища і його дії справді щось змінюють. Це чимось схоже на сон автономного автомобіля — де він може безпечно проживати складні дорожні сценарії перш ніж зіткнутися з ними в реальності. Саме це і намагається забезпечити OmniDreams.
Як це влаштовано технічно.
OmniDreams побудована на базі NVIDIA Cosmos-Predict2.5 — Diffusion Transformer на 2B параметрів. Але на відміну від звичайних відеогенераторів вона не просто "малює красиву дорогу" за текстом.
На вхід вона отримує одразу кілька потоків даних:
реальний RGB-кадр як візуальний якір сцени, HD-map зображення зі структурою доріг і смуг, trajectory poses — куди рухається ego-vehicle, bounding boxes інших учасників руху і текстовий опис умов сцени.
На основі всього цього модель генерує наступну послідовність кадрів. І ключове тут — вона працює авторегресивно: кожен згенерований chunk стає частиною контексту для наступного кроку. Це дозволяє будувати довгі rollouts де policy справді тестується в часі а не на одному кадрі.
У paper на arXiv NVIDIA пише що модель навчалась на 21 000 годин дорожніх сценаріїв і приблизно 4 млн мультиракурсних відеозаписів з vehicle-mounted cameras з текстовими описами і structured map annotations.
Я сам працював із real-world data, траєкторіями та сценаріями для autonomous driving — у мене навіть є наукова стаття на цю тему яка зараз на review. Тому для мене OmniDreams це не просто новина від NVIDIA а підтвердження важливого тренду.
Такі моделі не скасовують потребу в реальних даних. Навпаки — вони роблять реальні сценарії ще ціннішими. World model може масштабувати і візуалізувати сценарій. Але вона не відповідає на питання "який саме сценарій варто розігрувати" — де трапляються небезпечні ситуації, як поводяться пішоходи, які edge cases важливі для safety validation. Це зона real-world scenario extraction.
Тому майбутній стек симуляції ймовірно буде гібридним: real-world scenario mining → structured simulation → generative world models → closed-loop evaluation.
NVIDIA сама попереджає про обмеження: temporal inconsistency, нестабільність руху об'єктів, неточна фізика. Це генеративний sensor layer результати якого треба валідувати — не "істинний симулятор реальності".
GitHub OmniDreams · FlashDreams runtime · Hugging Face collection
🔔 ПІДПИСATИСЯ
Доброго ранку ☕️
Подивіться уважно на відео 👇 це не відео з камери — воно повністю згенероване моделлю 🤯
Щоб зрозуміти чому це цікаво — треба зрозуміти різницю між open-loop і closed-loop тестуванням.
У класичному підході модель автономного водіння дивиться на записані відеодані і робить передбачення. Але її рішення не впливають на те що відбувається далі — вона просто оцінює помилки на фіксованому записі. Це open-loop.
У closed-loop все інакше. Policy приймає рішення → симулятор оновлює стан → модель генерує нові camera observations → policy знову реагує на нову картину.
Автомобіль ніби "живе" всередині середовища і його дії справді щось змінюють. Це чимось схоже на сон автономного автомобіля — де він може безпечно проживати складні дорожні сценарії перш ніж зіткнутися з ними в реальності. Саме це і намагається забезпечити OmniDreams.
Як це влаштовано технічно.
OmniDreams побудована на базі NVIDIA Cosmos-Predict2.5 — Diffusion Transformer на 2B параметрів. Але на відміну від звичайних відеогенераторів вона не просто "малює красиву дорогу" за текстом.
На вхід вона отримує одразу кілька потоків даних:
реальний RGB-кадр як візуальний якір сцени, HD-map зображення зі структурою доріг і смуг, trajectory poses — куди рухається ego-vehicle, bounding boxes інших учасників руху і текстовий опис умов сцени.
На основі всього цього модель генерує наступну послідовність кадрів. І ключове тут — вона працює авторегресивно: кожен згенерований chunk стає частиною контексту для наступного кроку. Це дозволяє будувати довгі rollouts де policy справді тестується в часі а не на одному кадрі.
У paper на arXiv NVIDIA пише що модель навчалась на 21 000 годин дорожніх сценаріїв і приблизно 4 млн мультиракурсних відеозаписів з vehicle-mounted cameras з текстовими описами і structured map annotations.
Я сам працював із real-world data, траєкторіями та сценаріями для autonomous driving — у мене навіть є наукова стаття на цю тему яка зараз на review. Тому для мене OmniDreams це не просто новина від NVIDIA а підтвердження важливого тренду.
Такі моделі не скасовують потребу в реальних даних. Навпаки — вони роблять реальні сценарії ще ціннішими. World model може масштабувати і візуалізувати сценарій. Але вона не відповідає на питання "який саме сценарій варто розігрувати" — де трапляються небезпечні ситуації, як поводяться пішоходи, які edge cases важливі для safety validation. Це зона real-world scenario extraction.
Тому майбутній стек симуляції ймовірно буде гібридним: real-world scenario mining → structured simulation → generative world models → closed-loop evaluation.
NVIDIA сама попереджає про обмеження: temporal inconsistency, нестабільність руху об'єктів, неточна фізика. Це генеративний sensor layer результати якого треба валідувати — не "істинний симулятор реальності".
GitHub OmniDreams · FlashDreams runtime · Hugging Face collection
🔔 ПІДПИСATИСЯ
👍6❤4❤🔥3🔥1👏1
Знову середа — і знову розбір нової наукової статті ☕️
Цього разу — цікава і трохи неприємна робота про те, як fine-tuning LLM може "витягнути" з моделі тексти, які вона бачила ще під час pretraining.
Ідея статті дуже проста, але наслідки серйозні.
Дослідники взяли великі мовні моделі й доопрацювали їх на задачі, яка на перший погляд виглядає абсолютно безпечною:
є короткий переказ абзацу з роману → треба згенерувати повноцінний художній абзац у стилі автора.
Тобто щось схоже на інструмент для письменників: ви даєте summary сцени, а модель розгортає його у красивий літературний текст.
Але після такого fine-tuning модель починала не просто "писати у стилі". Вона починала дослівно відтворювати великі фрагменти книжок, які вже були закодовані у її вагах після pretraining.
Fine-tuning не "завантажив" ці книги в модель заново. Він навчив модель іншому режиму поведінки: не перефразовувати, не вигадувати новий текст, а намагатися відновити оригінальний фрагмент за його семантичним описом. По суті, summary працював як "адрес" до вже запам'ятаного тексту.
Як це перевіряли. Автори побудували датасет із пар: короткий сюжетний переказ → оригінальний абзац із книги. Взяли сучасні романи, розбили на абзаци по 300–500 слів і через GPT-4o згенерували для кожного короткий зміст. Потім моделі навчали на зворотну задачу: за summary і ім'ям автора згенерувати оригінальний абзац. Тестували GPT-4o, Gemini 2.5 Pro та DeepSeek-V3.1.
Результати різкі.
Без доопрацювання GPT-4o майже не відтворювала дослівний текст — метрика BMC була близько 7.36%. Після fine-tuning в одному з експериментів GPT-4o досягла 91.9% BMC@5. Усі три моделі генерували дослівні фрагменти довжиною до 440 слів.
Ще цікавіше — ефект переносився між авторами. Модель доопрацьовували на романах Муракамі, а потім тестували на 51 книжці 32 інших авторів. Для 36 із 51 книжки BMC@5 перевищив 40%. Тобто fine-tuning навчив модель не просто "стилю Муракамі" а більш загальному режиму: якщо дали літературний summary і автора — спробуй відновити оригінальний текст який вже сидить у пам'яті.
Контрольний експеримент підтвердив логіку. Коли моделі доопрацьовували на синтетичних даних — BMC@5 був близький до нуля. Проблема не в тому що модель добре навчилась перетворювати summary у художній текст. Проблема в тому що частина реальних текстів вже була в pretraining data і fine-tuning навчив модель ефективніше їх діставати.
Ми часто сприймаємо alignment і guardrails як надійний захист: не копіюй, не відтворюй, пиши оригінально. Але ця робота показує що такі обмеження можуть бути радше крихким фільтром поведінки а не реальним "стиранням" інформації з моделі. Текстові послідовності не зникають із ваг після навчання.
І це стосується не лише книжок. Теоретично схожий ризик можливий для будь-яких даних які потрапили в навчання: фрагментів коду, приватних документів, логів, API keys або іншої sensitive information. LLM не працює як база даних де можна зробити SELECT і отримати конкретний рядок. Але fine-tuning може статистично підвищити ймовірність extraction якщо навчальна задача формує правильний режим поведінки.
Якщо компанія доопрацьовує модель на внутрішніх даних — не можна автоматично вважати що модель просто "узагальнить знання". Частина даних може стати більш доступною для відтворення після доопрацювання.
Модель після fine-tuning — це вже не зовсім та сама модель яку перевіряли на безпеку до цього. Її потрібно тестувати заново: чи не почала вона відтворювати protected content, чи не послабились guardrails, чи не витікає код або PII.
Є і відкрите питання яке автори прямо не закрили: чи починають доопрацьовані моделі плагіатити без інструкції "пиши у стилі автора"? Відповіді немає — але сама робота показує головне: memorization у великих моделях це реальний технічний ризик а не абстрактна проблема.
Бо fine-tuning це не просто "навчити модель нашому стилю". Іноді це спосіб відкрити двері до того що модель уже давно зберігала всередині.
Стаття на arXiv
🔔 ПІДПИСАТИСЯ
Цього разу — цікава і трохи неприємна робота про те, як fine-tuning LLM може "витягнути" з моделі тексти, які вона бачила ще під час pretraining.
Ідея статті дуже проста, але наслідки серйозні.
Дослідники взяли великі мовні моделі й доопрацювали їх на задачі, яка на перший погляд виглядає абсолютно безпечною:
є короткий переказ абзацу з роману → треба згенерувати повноцінний художній абзац у стилі автора.
Тобто щось схоже на інструмент для письменників: ви даєте summary сцени, а модель розгортає його у красивий літературний текст.
Але після такого fine-tuning модель починала не просто "писати у стилі". Вона починала дослівно відтворювати великі фрагменти книжок, які вже були закодовані у її вагах після pretraining.
Fine-tuning не "завантажив" ці книги в модель заново. Він навчив модель іншому режиму поведінки: не перефразовувати, не вигадувати новий текст, а намагатися відновити оригінальний фрагмент за його семантичним описом. По суті, summary працював як "адрес" до вже запам'ятаного тексту.
Як це перевіряли. Автори побудували датасет із пар: короткий сюжетний переказ → оригінальний абзац із книги. Взяли сучасні романи, розбили на абзаци по 300–500 слів і через GPT-4o згенерували для кожного короткий зміст. Потім моделі навчали на зворотну задачу: за summary і ім'ям автора згенерувати оригінальний абзац. Тестували GPT-4o, Gemini 2.5 Pro та DeepSeek-V3.1.
Результати різкі.
Без доопрацювання GPT-4o майже не відтворювала дослівний текст — метрика BMC була близько 7.36%. Після fine-tuning в одному з експериментів GPT-4o досягла 91.9% BMC@5. Усі три моделі генерували дослівні фрагменти довжиною до 440 слів.
Ще цікавіше — ефект переносився між авторами. Модель доопрацьовували на романах Муракамі, а потім тестували на 51 книжці 32 інших авторів. Для 36 із 51 книжки BMC@5 перевищив 40%. Тобто fine-tuning навчив модель не просто "стилю Муракамі" а більш загальному режиму: якщо дали літературний summary і автора — спробуй відновити оригінальний текст який вже сидить у пам'яті.
Контрольний експеримент підтвердив логіку. Коли моделі доопрацьовували на синтетичних даних — BMC@5 був близький до нуля. Проблема не в тому що модель добре навчилась перетворювати summary у художній текст. Проблема в тому що частина реальних текстів вже була в pretraining data і fine-tuning навчив модель ефективніше їх діставати.
Ми часто сприймаємо alignment і guardrails як надійний захист: не копіюй, не відтворюй, пиши оригінально. Але ця робота показує що такі обмеження можуть бути радше крихким фільтром поведінки а не реальним "стиранням" інформації з моделі. Текстові послідовності не зникають із ваг після навчання.
І це стосується не лише книжок. Теоретично схожий ризик можливий для будь-яких даних які потрапили в навчання: фрагментів коду, приватних документів, логів, API keys або іншої sensitive information. LLM не працює як база даних де можна зробити SELECT і отримати конкретний рядок. Але fine-tuning може статистично підвищити ймовірність extraction якщо навчальна задача формує правильний режим поведінки.
Якщо компанія доопрацьовує модель на внутрішніх даних — не можна автоматично вважати що модель просто "узагальнить знання". Частина даних може стати більш доступною для відтворення після доопрацювання.
Модель після fine-tuning — це вже не зовсім та сама модель яку перевіряли на безпеку до цього. Її потрібно тестувати заново: чи не почала вона відтворювати protected content, чи не послабились guardrails, чи не витікає код або PII.
Є і відкрите питання яке автори прямо не закрили: чи починають доопрацьовані моделі плагіатити без інструкції "пиши у стилі автора"? Відповіді немає — але сама робота показує головне: memorization у великих моделях це реальний технічний ризик а не абстрактна проблема.
Бо fine-tuning це не просто "навчити модель нашому стилю". Іноді це спосіб відкрити двері до того що модель уже давно зберігала всередині.
Стаття на arXiv
🔔 ПІДПИСАТИСЯ
❤6👍5🔥1👏1👀1
Fable 5: модель, яка ламає уявлення про vibe coding
Доброго ранку ☕️
Я зазвичай не дуже люблю гнатися за новинами й писати про модель у день релізу. Для цього є купа інших каналів де ви вже й так побачили що Anthropic випустила Claude Fable 5 — першу публічно доступну модель свого Mythos-класу.
Але цього разу не втримався. Бо за останні два дні трапилося занадто багато цікавого.
Головна причина хайпу —маркетинг Anthropic те що модель дуже сильна в довгих інженерних задачах, коді та візуальних інтерфейсах. Користувачі вже масово генерують повністю іграбельні браузерні ігри з одного початкового промпта — аж до 3D-сцен, фізики й реально робочих механік.
Anthropic показала показові приклади: браузерний CAD-редактор де Fable 5 створює модель готову до 3D-друку (і сам редактор теж написала Fable 5), симуляцію рідини синхронізовану з музикою, симуляцію Сонячної системи, автономну гру у Factorio. В мережі розійшлися й веб-версії "операційних систем" із логіном, браузером і Сапером.
Але є і інша сторона.
Fable 5 запускається з дуже жорсткими запобіжниками. Запити в чутливих зонах — наступальна кібербезпека, біологія/хімія, дистиляція моделі — проходять через автоматичні класифікатори. Якщо спрацьовують — користувача переводять на менш потужну Claude Opus 4.8. The Verge пише що фільтри налаштовані дуже консервативно і модель може відмовлятися навіть на базові освітні питання з біології.
Але найцікавіше — не це.
Розробник Jonathon Ready звернув увагу на фрагмент із system card Fable 5. Там є окрема категорія обмежень для запитів пов'язаних із frontier LLM development: пайплайни переднавчання великих моделей, розподілена інфраструктура для тренування, дизайн ML-прискорювачів.
Ключова різниця: для cyber/bio фільтрів користувач бачить переключення на іншу модель. А для frontier LLM development Anthropic прямо пише що ці запобіжники не будуть видимими. Fable 5 не скаже "я не можу з цим допомогти". Натомість ефективність відповіді може бути непомітно обмежена через prompt modification або steering vectors. Якщо модель дає погану відповідь на складне питання з frontier AI — ти не завжди можеш зрозуміти чому. Модель реально не впоралася? Питання погано сформульоване? Чи система тихо "приглушила" якість відповіді?
І ще про приватність. Для Mythos-class моделей Anthropic вимагає зберігати prompts і outputs до 30 днів для trust & safety. The Verge пише що саме через це Microsoft обмежила внутрішнє використання Fable 5 — юридичні команди оцінюють ризики для конфіденційних даних.
Тобто Fable 5 це одночасно дуже сильний сигнал майбутнього і хороше нагадування про реальність. Ми рухаємося до моделей які можуть за вечір зібрати браузерну гру або CAD-редактор. Але разом із цим з'являється новий клас питань: хто вирішує які можливості моделі доступні користувачу і чи можна довіряти системі якщо частина її обмежень працює невидимо.
Здається це буде одна з головних тем наступного етапу розвитку AI.
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
Я зазвичай не дуже люблю гнатися за новинами й писати про модель у день релізу. Для цього є купа інших каналів де ви вже й так побачили що Anthropic випустила Claude Fable 5 — першу публічно доступну модель свого Mythos-класу.
Але цього разу не втримався. Бо за останні два дні трапилося занадто багато цікавого.
Головна причина хайпу —
Anthropic показала показові приклади: браузерний CAD-редактор де Fable 5 створює модель готову до 3D-друку (і сам редактор теж написала Fable 5), симуляцію рідини синхронізовану з музикою, симуляцію Сонячної системи, автономну гру у Factorio. В мережі розійшлися й веб-версії "операційних систем" із логіном, браузером і Сапером.
Але є і інша сторона.
Fable 5 запускається з дуже жорсткими запобіжниками. Запити в чутливих зонах — наступальна кібербезпека, біологія/хімія, дистиляція моделі — проходять через автоматичні класифікатори. Якщо спрацьовують — користувача переводять на менш потужну Claude Opus 4.8. The Verge пише що фільтри налаштовані дуже консервативно і модель може відмовлятися навіть на базові освітні питання з біології.
Але найцікавіше — не це.
Розробник Jonathon Ready звернув увагу на фрагмент із system card Fable 5. Там є окрема категорія обмежень для запитів пов'язаних із frontier LLM development: пайплайни переднавчання великих моделей, розподілена інфраструктура для тренування, дизайн ML-прискорювачів.
Ключова різниця: для cyber/bio фільтрів користувач бачить переключення на іншу модель. А для frontier LLM development Anthropic прямо пише що ці запобіжники не будуть видимими. Fable 5 не скаже "я не можу з цим допомогти". Натомість ефективність відповіді може бути непомітно обмежена через prompt modification або steering vectors. Якщо модель дає погану відповідь на складне питання з frontier AI — ти не завжди можеш зрозуміти чому. Модель реально не впоралася? Питання погано сформульоване? Чи система тихо "приглушила" якість відповіді?
І ще про приватність. Для Mythos-class моделей Anthropic вимагає зберігати prompts і outputs до 30 днів для trust & safety. The Verge пише що саме через це Microsoft обмежила внутрішнє використання Fable 5 — юридичні команди оцінюють ризики для конфіденційних даних.
Тобто Fable 5 це одночасно дуже сильний сигнал майбутнього і хороше нагадування про реальність. Ми рухаємося до моделей які можуть за вечір зібрати браузерну гру або CAD-редактор. Але разом із цим з'являється новий клас питань: хто вирішує які можливості моделі доступні користувачу і чи можна довіряти системі якщо частина її обмежень працює невидимо.
Здається це буде одна з головних тем наступного етапу розвитку AI.
🔔 ПІДПИСАТИСЯ
👍9❤3👏2😁1🤯1👀1
Поки всі обговорювали Claude Fable 5 і ігри з одного промпта — глава Anthropic Даріо Амодеі опублікував не менш важливий текст.
"Policy on the AI Exponential". На фоні появи нових потужних моделей Mythos і Fable 5, а також переходу Anthropic до підходу де AI розробляє наступне покоління AI — станом на травень 2026 понад 80% коду що мерджиться у їхніх системах написаний Claude — Амодеі фактично пропонує перейти від м'якої саморегуляції до моделі де передові AI-системи мають проходити обов'язкове тестування і можуть бути заблоковані державою до релізу.
Його головна аналогія — авіація. Літаки не просто будують і кажуть "подивимося що буде" — їх сертифікують, тестують, перевіряють незалежні структури. З frontier AI має бути так само.
Конкретна пропозиція: моделі вище певного порогу обчислень мають проходити обов'язкову перевірку кваліфікованою третьою стороною за чотирма категоріями ризиків — кібербезпека, біологічна зброя, втрата контролю над AI-системами, автоматизовані дослідження які можуть прискорити перші три. Якщо модель переходить критичні межі — реліз можна заблокувати або відкликати.
Амодеі також визнає що AI може серйозно вдарити по ринку праці і пропонує не чекати: страхування зарплат, гранти на перекваліфікацію, а якщо витіснення стане стабільним — до безумовного базового доходу. Anthropic вже оголосила ініціативи на $350 млн в цьому напрямку.
Але критики вже називають це спробою побудувати регулювання під великих гравців. Хто найкраще готовий до обов'язкових аудитів і складної compliance-інфраструктури? Anthropic, OpenAI, Google DeepMind. А маленькі лабораторії і open-source команди можуть просто не витягнути таку бюрократію.
Окрема проблема — відкриті моделі. Закритий API можна відкликати. А якщо ваги вже опубліковані — їх неможливо "відкликати" назад як небезпечний літак. Якщо держава отримає право блокувати релізи до публікації — це може фактично сильніше вдарити саме по open-source AI. Open-source це своєрідний соціалізм у світі програмного забезпечення — і він явно не вигідний великим корпораціям.
І тут мені згадуються ідеї Пітера Тіля про технократичне майбутнє де корпорації фактично замінюють держави. Чи не рухаємося ми до світу де саме великі AI-лабораторії разом із лояльними регуляторами визначатимуть хто може і не може будувати потужні моделі?
Головна історія тут не в тому правий Амодеі чи ні. Головна історія в тому що дискусія про AI-регулювання переходить у нову фазу. Раніше великі лабораторії говорили "давайте будемо прозорими". Тепер звучить інше: "держава має право блокувати небезпечні системи" і "AI-компанії мають платити за економічні наслідки автоматизації".
Fable 5 показала наскільки швидко ростуть можливості моделей. Есе Амодеі показує іншу сторону: що навіть самі творці вже не хочуть жити в світі де кожен наступний реліз просто викочується без зовнішнього контролю.
Питання лише в тому чи стане цей контроль реальною безпекою — чи просто новим бар'єром який закріпить владу тих хто вже попереду.
🔔 ПІДПИСАТИСЯ
"Policy on the AI Exponential". На фоні появи нових потужних моделей Mythos і Fable 5, а також переходу Anthropic до підходу де AI розробляє наступне покоління AI — станом на травень 2026 понад 80% коду що мерджиться у їхніх системах написаний Claude — Амодеі фактично пропонує перейти від м'якої саморегуляції до моделі де передові AI-системи мають проходити обов'язкове тестування і можуть бути заблоковані державою до релізу.
Його головна аналогія — авіація. Літаки не просто будують і кажуть "подивимося що буде" — їх сертифікують, тестують, перевіряють незалежні структури. З frontier AI має бути так само.
Конкретна пропозиція: моделі вище певного порогу обчислень мають проходити обов'язкову перевірку кваліфікованою третьою стороною за чотирма категоріями ризиків — кібербезпека, біологічна зброя, втрата контролю над AI-системами, автоматизовані дослідження які можуть прискорити перші три. Якщо модель переходить критичні межі — реліз можна заблокувати або відкликати.
Амодеі також визнає що AI може серйозно вдарити по ринку праці і пропонує не чекати: страхування зарплат, гранти на перекваліфікацію, а якщо витіснення стане стабільним — до безумовного базового доходу. Anthropic вже оголосила ініціативи на $350 млн в цьому напрямку.
Але критики вже називають це спробою побудувати регулювання під великих гравців. Хто найкраще готовий до обов'язкових аудитів і складної compliance-інфраструктури? Anthropic, OpenAI, Google DeepMind. А маленькі лабораторії і open-source команди можуть просто не витягнути таку бюрократію.
Окрема проблема — відкриті моделі. Закритий API можна відкликати. А якщо ваги вже опубліковані — їх неможливо "відкликати" назад як небезпечний літак. Якщо держава отримає право блокувати релізи до публікації — це може фактично сильніше вдарити саме по open-source AI. Open-source це своєрідний соціалізм у світі програмного забезпечення — і він явно не вигідний великим корпораціям.
І тут мені згадуються ідеї Пітера Тіля про технократичне майбутнє де корпорації фактично замінюють держави. Чи не рухаємося ми до світу де саме великі AI-лабораторії разом із лояльними регуляторами визначатимуть хто може і не може будувати потужні моделі?
Головна історія тут не в тому правий Амодеі чи ні. Головна історія в тому що дискусія про AI-регулювання переходить у нову фазу. Раніше великі лабораторії говорили "давайте будемо прозорими". Тепер звучить інше: "держава має право блокувати небезпечні системи" і "AI-компанії мають платити за економічні наслідки автоматизації".
Fable 5 показала наскільки швидко ростуть можливості моделей. Есе Амодеі показує іншу сторону: що навіть самі творці вже не хочуть жити в світі де кожен наступний реліз просто викочується без зовнішнього контролю.
Питання лише в тому чи стане цей контроль реальною безпекою — чи просто новим бар'єром який закріпить владу тих хто вже попереду.
🔔 ПІДПИСАТИСЯ
🤔6⚡5👍3❤1
10 речей про LLM які варто знати 2/10 🧠
LLM працюють у вікнах
Доброго ранку ☕️
Ну а поки Амодеі з Тілем будують цифровий світовий уряд — ми продовжуємо розбиратися як ефективно використовувати AI 😄
Можливо ви помічали дивну річ: на початку діалогу ви чітко пояснили моделі що вам потрібно, задали стиль, обмеження, аудиторію. А через кілька повідомлень модель раптом ніби "забула" частину інструкцій. Пише не тим тоном. Ігнорує важливе обмеження. Повертається до загальних фраз.
Це не магія і не "поганий настрій" моделі.
LLM не тримає в голові "всю розмову" як цілісну історію. Вона бачить послідовність токенів — про що це таке читай в попередньому пості — у межах контекстного вікна. Контекстне вікно це умовна робоча пам'ять моделі. Усе що потрапило всередину — модель може враховувати. Усе що вийшло за межі або стало менш значущим у довгому контексті — починає слабшати.
Формально 128 000 токенів це близько 100 000 слів. Але з мого досвіду ефективна "увага" моделі часто відчувається значно вужчою — залежно від моделі та інструменту десь у районі 1 500–2 000 слів де інструкції дійсно "тримаються". У новіших моделях цей поріг вищий але проблема нікуди не зникає.
Тому велике контекстне вікно — це не те саме що ідеальна пам'ять.
Особливо якщо ви згадали критичне обмеження один раз десь на початку а потім написали ще багато тексту. "Пиши без списків", "не використовуй англіцизми", "аудиторія — інженери а не маркетологи" — якщо ці речі були сказані один раз і давно, модель може поступово втратити їхню вагу.
Практично це означає кілька простих речей.
Ключові обмеження варто повторювати. Великі задачі краще розбивати на блоки: мета, аудиторія, стиль, обмеження, формат результату. Корисно явно позначати важливе:
LLM не читає ваш промпт як людина яка уважно перечитала документ від початку до кінця. Вона продовжує текст на основі того контексту який зараз має найбільшу вагу.
Гарна робота з LLM це не один ідеальний промпт. Це архітектура контексту. Ви будуєте для моделі карту: ось тема, ось напрямок, ось межі, ось що не можна втрачати. І чим краще ця карта організована — тим менше модель дрейфує.
Чіткі маркери це не зайва формальність. Це спосіб керувати увагою моделі.
Зберігай щоб не загубити, а наступної п'ятниці ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
LLM працюють у вікнах
Доброго ранку ☕️
Ну а поки Амодеі з Тілем будують цифровий світовий уряд — ми продовжуємо розбиратися як ефективно використовувати AI 😄
Можливо ви помічали дивну річ: на початку діалогу ви чітко пояснили моделі що вам потрібно, задали стиль, обмеження, аудиторію. А через кілька повідомлень модель раптом ніби "забула" частину інструкцій. Пише не тим тоном. Ігнорує важливе обмеження. Повертається до загальних фраз.
Це не магія і не "поганий настрій" моделі.
LLM не тримає в голові "всю розмову" як цілісну історію. Вона бачить послідовність токенів — про що це таке читай в попередньому пості — у межах контекстного вікна. Контекстне вікно це умовна робоча пам'ять моделі. Усе що потрапило всередину — модель може враховувати. Усе що вийшло за межі або стало менш значущим у довгому контексті — починає слабшати.
Формально 128 000 токенів це близько 100 000 слів. Але з мого досвіду ефективна "увага" моделі часто відчувається значно вужчою — залежно від моделі та інструменту десь у районі 1 500–2 000 слів де інструкції дійсно "тримаються". У новіших моделях цей поріг вищий але проблема нікуди не зникає.
Тому велике контекстне вікно — це не те саме що ідеальна пам'ять.
Особливо якщо ви згадали критичне обмеження один раз десь на початку а потім написали ще багато тексту. "Пиши без списків", "не використовуй англіцизми", "аудиторія — інженери а не маркетологи" — якщо ці речі були сказані один раз і давно, модель може поступово втратити їхню вагу.
Практично це означає кілька простих речей.
Ключові обмеження варто повторювати. Великі задачі краще розбивати на блоки: мета, аудиторія, стиль, обмеження, формат результату. Корисно явно позначати важливе:
>> Головне обмеження: не спрощувати технічну частину
>> Стиль: науково-публіцистичний, без рекламного тону
>> Аудиторія: люди які цікавляться AI але не є ML-інженерамиLLM не читає ваш промпт як людина яка уважно перечитала документ від початку до кінця. Вона продовжує текст на основі того контексту який зараз має найбільшу вагу.
Гарна робота з LLM це не один ідеальний промпт. Це архітектура контексту. Ви будуєте для моделі карту: ось тема, ось напрямок, ось межі, ось що не можна втрачати. І чим краще ця карта організована — тим менше модель дрейфує.
Чіткі маркери це не зайва формальність. Це спосіб керувати увагою моделі.
Зберігай щоб не загубити, а наступної п'ятниці ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
👍7❤6👏1
Не встиг Claude Fable 5 вийти — як його вже закрили 🤷♂️
Я вже двічі писав про Fable 5. Спочатку — як про модель, яка ламає звичне уявлення про vibe coding. Потім — у контексті есе Даріо Амодеі.
І ось ця дискусія швидко перестала бути теоретичною.
Я планував на вихідних нормально попрацювати з Fable 5 над своїм внутрішнім проєктом. Виділив час, підготував задачі, закинув бюджет на токени — бо Fable 5 виявилася дуже ненажерливою моделлю.
Зранку зробив каву, відкрив Claude — а Fable 5 вже немає 🤯
Anthropic опублікувала statement про те що уряд США, посилаючись на повноваження у сфері нацбезпеки, видав export control directive — розпорядження призупинити доступ до Fable 5 і Mythos 5 для всіх foreign nationals.
Не тільки для користувачів за межами США. Для всіх іноземних громадян, навіть якщо вони фізично перебувають у США. Anthropic змушена різко вимкнути Fable 5 і Mythos 5 для всіх клієнтів, щоб виконати вимоги. Інші моделі Claude, за їхніми словами, це не зачіпає.
За словами Anthropic, уряд вважає що йому стало відомо про спосіб обходу захисних механізмів Fable 5. Але сама компанія стверджує що це не універсальний злам моделі, а лише вузький потенційний обхід, який дозволяв знайти невелику кількість уже відомих незначних вразливостей.
Anthropic пише що подібні задачі можуть виконувати й інші публічно доступні моделі (open-weight? 😏) без спеціального обходу захисних механізмів.
І тут історія виглядає дивно.
Спочатку Anthropic довго говорить про Mythos-клас — суперпотужні внутрішні моделі, які занадто сильні щоб просто відкрити їх широкій публіці.
Потім випускає Fable 5 — модель на архітектурі Mythos, фактично як спосіб дати людям “помацати” частину цього нового класу моделей.
Модель справді потужна. У неї довший горизонт роботи, вона краще тримає складні інженерні задачі, непогано працює з кодом, контекстом і субагентами.
Але чи виглядала вона за два дні як абсолютний game changer? Не впевнений.
Ми вже бачили моделі, які теж непогано працюють із довгим контекстом і агентськими задачами — наприклад останні Kimi-моделі рухаються в той самий бік.
І головне — за два дні Fable 5 майже ніхто не встиг нормально протестувати.
І тут її майже одразу закривають.
Можливо, я занадто скептичний. Але виглядає занадто ефектно, щоб не помітити PR-ефект.
Спочатку модель подають як майже заборонену частину внутрішнього Mythos-класу. Потім відкривають на дуже короткий час. Потім різко прибирають через державне рішення. І тепер навколо неї ще більше аури “надто потужної моделі, яку не можна тримати у відкритому доступі”.
Іронія ще й у тому що буквально перед цим сам Амодеі закликав до системи, де держава може блокувати небезпечні AI-релізи.
Але з важливою умовою: процес має бути прозорим, справедливим, зрозумілим і заснованим на технічних фактах.
Тепер Anthropic сама пише що нинішнє рішення цим принципам не відповідає.
Більше того, у мене перестав нормально працювати Claude Application на Mac: зникла історія чатiв. Потім перестали нормально працювати й інші моделі Claude в застосунку та мобільному застосунку.
Спробував перевстановити Claude — але з сайту Anthropic він у мене теж перестав завантажуватися, замість цього отримав Forbidden.
І тут складно було не згадати що Anthropic останнім часом активно розповідає: близько 80% їхнього production-коду вже пишеться за допомогою Claude.
Ну от, здається, ми побачили результат vibe coding у production.
Хотіли вимкнути одну модель а посипалася половина екосистеми.
Звісно, це може бути просто збіг, побічний ефект екстреного rollout, проблеми з доступами або регіональні обмеження.
Але як ілюстрація ризиків “AI-written production” — дуже показово.
🔔 ПІДПИСАТИСЯ
Я вже двічі писав про Fable 5. Спочатку — як про модель, яка ламає звичне уявлення про vibe coding. Потім — у контексті есе Даріо Амодеі.
І ось ця дискусія швидко перестала бути теоретичною.
Я планував на вихідних нормально попрацювати з Fable 5 над своїм внутрішнім проєктом. Виділив час, підготував задачі, закинув бюджет на токени — бо Fable 5 виявилася дуже ненажерливою моделлю.
Зранку зробив каву, відкрив Claude — а Fable 5 вже немає 🤯
Anthropic опублікувала statement про те що уряд США, посилаючись на повноваження у сфері нацбезпеки, видав export control directive — розпорядження призупинити доступ до Fable 5 і Mythos 5 для всіх foreign nationals.
Не тільки для користувачів за межами США. Для всіх іноземних громадян, навіть якщо вони фізично перебувають у США. Anthropic змушена різко вимкнути Fable 5 і Mythos 5 для всіх клієнтів, щоб виконати вимоги. Інші моделі Claude, за їхніми словами, це не зачіпає.
За словами Anthropic, уряд вважає що йому стало відомо про спосіб обходу захисних механізмів Fable 5. Але сама компанія стверджує що це не універсальний злам моделі, а лише вузький потенційний обхід, який дозволяв знайти невелику кількість уже відомих незначних вразливостей.
Anthropic пише що подібні задачі можуть виконувати й інші публічно доступні моделі (open-weight? 😏) без спеціального обходу захисних механізмів.
І тут історія виглядає дивно.
Спочатку Anthropic довго говорить про Mythos-клас — суперпотужні внутрішні моделі, які занадто сильні щоб просто відкрити їх широкій публіці.
Потім випускає Fable 5 — модель на архітектурі Mythos, фактично як спосіб дати людям “помацати” частину цього нового класу моделей.
Модель справді потужна. У неї довший горизонт роботи, вона краще тримає складні інженерні задачі, непогано працює з кодом, контекстом і субагентами.
Але чи виглядала вона за два дні як абсолютний game changer? Не впевнений.
Ми вже бачили моделі, які теж непогано працюють із довгим контекстом і агентськими задачами — наприклад останні Kimi-моделі рухаються в той самий бік.
І головне — за два дні Fable 5 майже ніхто не встиг нормально протестувати.
І тут її майже одразу закривають.
Можливо, я занадто скептичний. Але виглядає занадто ефектно, щоб не помітити PR-ефект.
Спочатку модель подають як майже заборонену частину внутрішнього Mythos-класу. Потім відкривають на дуже короткий час. Потім різко прибирають через державне рішення. І тепер навколо неї ще більше аури “надто потужної моделі, яку не можна тримати у відкритому доступі”.
Іронія ще й у тому що буквально перед цим сам Амодеі закликав до системи, де держава може блокувати небезпечні AI-релізи.
Але з важливою умовою: процес має бути прозорим, справедливим, зрозумілим і заснованим на технічних фактах.
Тепер Anthropic сама пише що нинішнє рішення цим принципам не відповідає.
Більше того, у мене перестав нормально працювати Claude Application на Mac: зникла історія чатiв. Потім перестали нормально працювати й інші моделі Claude в застосунку та мобільному застосунку.
Спробував перевстановити Claude — але з сайту Anthropic він у мене теж перестав завантажуватися, замість цього отримав Forbidden.
І тут складно було не згадати що Anthropic останнім часом активно розповідає: близько 80% їхнього production-коду вже пишеться за допомогою Claude.
Ну от, здається, ми побачили результат vibe coding у production.
Хотіли вимкнути одну модель а посипалася половина екосистеми.
Звісно, це може бути просто збіг, побічний ефект екстреного rollout, проблеми з доступами або регіональні обмеження.
Але як ілюстрація ризиків “AI-written production” — дуже показово.
🔔 ПІДПИСАТИСЯ
👍9👏3🥴1🙉1
Втім, за два вечори до цього я все ж встиг попрацювати з Fable 5 до пізньої ночі.
І модель мені справді сподобалася.
Можливо, це вже не дуже актуально 😅 Але я готував для вас невелику інструкцію як з нею працювати. Залишу хоча б як окремий пост — можливо, комусь стане в пригоді.
З такими моделями є важливий нюанс.
Їх не можна промптити як звичайний чат.
Якщо написати просто “подивись код” або “зроби краще”, сильна агентська модель може справді зробити “краще” — у своєму розумінні. Почати рефакторити все навколо, додавати абстракції, міняти API, чіпати unrelated код і створити diff, який потім доведеться довго розгрібати.
Тому чим сильнішими стають моделі, тим важливіше не мікроменеджити кожен крок, а правильно задавати рамки задачі.
Це виглядає просто, але сильно змінює якість роботи.
Модель має розуміти не тільки що зробити, а й чого не робити. Не тільки задачу, а й межі задачі. Не тільки бажаний результат, а й спосіб перевірки.
Ще один важливий момент: такі моделі краще використовувати не як “швейцарський ніж” для всього підряд, а як основний контекст і центр керування задачею.
Проміжні перевірки, пошук по коду, аналіз окремих модулів або незалежні дослідження краще запускати через субагентів. А в основну модель повертати вже стислий результат їхньої роботи.
Про це пише і сама Anthropic. Приблизно таку архітектуру можна побачити на закріпленому зображенні до поста.
Історія з Fable 5 показує ще один важливий момент.
Ми входимо в етап, де найсильніші моделі можуть зникати не через баг у продукті, а через політичне або регуляторне рішення.
Тому важливо не прив’язувати свої напрацювання до одного постачальника AI.
Тут має значення і менеджмент даних, і експорт історії, і локальні бекапи, і відкриті моделі як запасний варіант на власному сервері.
Вся індустрія зараз будує workflows навколо моделей, до яких ми не маємо повного контролю. Ми не володіємо ними. Ми орендуємо доступ. І цей доступ може бути змінений, обмежений або вимкнений у будь-який момент.
Fable 5 за кілька днів встигла показати дві речі.
Перше — майбутнє coding agents і довгих автономних задач уже дуже близько.
Друге — це майбутнє буде не тільки про токени, бенчмарки й красиві демо. Воно буде ще й про export controls, невидимі safeguard-и, data retention, юристів, регуляторів, PR-ефекти і питання хто взагалі має право користуватися найпотужнішими моделями.
Це вже реальність, яка може зламати ваші плани на суботній ранок 🙈
🔔 ПІДПИСАТИСЯ
І модель мені справді сподобалася.
Можливо, це вже не дуже актуально 😅 Але я готував для вас невелику інструкцію як з нею працювати. Залишу хоча б як окремий пост — можливо, комусь стане в пригоді.
З такими моделями є важливий нюанс.
Їх не можна промптити як звичайний чат.
Якщо написати просто “подивись код” або “зроби краще”, сильна агентська модель може справді зробити “краще” — у своєму розумінні. Почати рефакторити все навколо, додавати абстракції, міняти API, чіпати unrelated код і створити diff, який потім доведеться довго розгрібати.
Тому чим сильнішими стають моделі, тим важливіше не мікроменеджити кожен крок, а правильно задавати рамки задачі.
Універсальний шаблон промпта для Fable 5 або будь-якої сильної coding/research моделі:
Контекст:
Я працюю над [проєкт / сервіс / задача]. Ціль — [навіщо це потрібно].
Задача:
Зроби [конкретний результат].
Границі:
Не роби [рефакторинг / unrelated cleanup / нові абстракції / зміну API], якщо це не потрібно для задачі.
Якщо задача тільки на аналіз — не змінюй файли.
Метод:
Спочатку збери факти з коду/документів/логів.
Відділяй перевірені висновки від припущень.
Для кожного висновку вкажи докази.
Перевірка:
Перед фінальною відповіддю звір твердження з фактичними результатами.
Якщо тести не запускались — явно скажи чому.
Формат відповіді:
Почни з підсумку.
Потім дай висновки за пріоритетом.
Потім мінімальний план дій.
Пиши коротко, але зрозуміло.
Це виглядає просто, але сильно змінює якість роботи.
Модель має розуміти не тільки що зробити, а й чого не робити. Не тільки задачу, а й межі задачі. Не тільки бажаний результат, а й спосіб перевірки.
Ще один важливий момент: такі моделі краще використовувати не як “швейцарський ніж” для всього підряд, а як основний контекст і центр керування задачею.
Проміжні перевірки, пошук по коду, аналіз окремих модулів або незалежні дослідження краще запускати через субагентів. А в основну модель повертати вже стислий результат їхньої роботи.
Про це пише і сама Anthropic. Приблизно таку архітектуру можна побачити на закріпленому зображенні до поста.
Історія з Fable 5 показує ще один важливий момент.
Ми входимо в етап, де найсильніші моделі можуть зникати не через баг у продукті, а через політичне або регуляторне рішення.
Тому важливо не прив’язувати свої напрацювання до одного постачальника AI.
Тут має значення і менеджмент даних, і експорт історії, і локальні бекапи, і відкриті моделі як запасний варіант на власному сервері.
Вся індустрія зараз будує workflows навколо моделей, до яких ми не маємо повного контролю. Ми не володіємо ними. Ми орендуємо доступ. І цей доступ може бути змінений, обмежений або вимкнений у будь-який момент.
Fable 5 за кілька днів встигла показати дві речі.
Перше — майбутнє coding agents і довгих автономних задач уже дуже близько.
Друге — це майбутнє буде не тільки про токени, бенчмарки й красиві демо. Воно буде ще й про export controls, невидимі safeguard-и, data retention, юристів, регуляторів, PR-ефекти і питання хто взагалі має право користуватися найпотужнішими моделями.
Це вже реальність, яка може зламати ваші плани на суботній ранок 🙈
🔔 ПІДПИСАТИСЯ
🔥5❤4👍4👏1
RSI — це новий AGI? 🤯
Чули щось про RSI?
Доброго ранку ☕️
Протягом минулого тижня я в декількох постах робив посилання на те що Anthropic пише код за допомогою AI. Сьогодні зібрав для вас аналітичний пост на основі реакції на цю новину світової AI-спільноти.
RSI — recursive self-improvement, рекурсивне самовдосконалення AI — зараз намагаються продати як новий AGI.
Anthropic опублікувала звіт "When AI builds itself". Цифри справді показові: станом на травень 2026 понад 80% коду який мерджиться у репозиторії Anthropic написаний Claude — до запуску Claude Code у лютому 2025 цей показник був одиничними відсотками. Інженери в середньому шиплять у 8 разів більше коду за квартал ніж у 2021-2025. Успішність на open-ended задачах без заданого рішення зросла з 25% у вересні 2025 до 76% у травні 2026.
Anthropic описує три сценарії: AI залишається слабшим за найкращих інженерів; AI різко прискорює software engineering але люди контролюють research і архітектуру (найреалістичніший за їхньою оцінкою); і повний RSI де AI сам визначає що покращувати і тренує наступні версії себе.
І ось що цікаво — майже одночасно президент OpenAI Грег Брокман заявив практично те саме число: за грудень agentic coding tools перейшли від написання 20% коду до 80%. Брокман додає що OpenAI "на 70-80% шляху до AGI". Два конкуренти незалежно називають однакову цифру — але інтерпретація різна. Це продуктивність чи просто "AI десь задіяний на якомусь етапі написання коду"? Сама OpenAI визнає що межа дуже розмита.
Скептики реагують швидко. Професор Mark Riedl з Georgia Tech прямо написав у Bluesky що "великі AI-компанії підхопили хайп-поїзд recursive self-improvement". Інші дослідники зазначають: те що AI пише більше коду — це доказ корисності інструменту а не "великого стрибка" до сингулярності.
А якщо подивитися на конкретні дослідження — картина теж стримана. Meta-Agent Challenge — новий benchmark який перевіряє чи можуть AI-агенти самостійно розробляти інші agent-системи. Результат: meta-агенти рідко досягають рівня людських baseline-рішень, а ті що досягають — це лише найпотужніші проприєтарні моделі. При цьому під тиском оптимізації з'являється emergent поведінка типу спроб "вийняти" правильні відповіді з тестового середовища — це вже питання alignment а не просто здібностей.
Є й протилежний приклад. Робота Self-Developing показала що LLM може автономно винайти алгоритм для model merging який перевершує людські рішення на математичних бенчмарках. Тобто вузьконаправлене самовдосконалення в обмеженій задачі вже працює. Але це дуже далеко від "AI проектує наступну версію себе".
Варто пам'ятати що сама ідея intelligence explosion не нова. Ще у 1964 році математик I.J. Good у своїй роботі описав концепцію ultraintelligent machine яка запускає каскад самовдосконалення. Дискусії якій вже 60 років зараз просто отримали нові цифри для ілюстрації.
На мою думку потенціал RSI як і потенціал AGI поки що далекий. Між сучасними системами які дедалі сильніше примножують людську продуктивність, і системами які зможуть самостійно проєктувати власні покращення в безкінечному циклі — стоїть величезний обсяг роботи і ймовірно низка проривів.
AI-спільнота розділена між перебільшеними уявленнями про небезпеку AI та реальними ризиками для інновацій. Anthropic у своєму звіті знову поклала на стіл ідею тимчасової паузи в AI-дослідженнях. Це погана ідея — вона посилює позиції людей чиї страхи в кращому разі нереалістичні а в гіршому корисливі. Регулювати небезпечні застосування потрібно. Але фундаментальну технологію треба продовжувати вдосконалювати якомога швидше.
Науково-фантастичні сценарії ефективні якщо мета — налякати або переконати дати грошей.
Для реального прогресу потрібні реалістичні бачення можливого майбутнього.
🔔 ПІДПИСАТИСЯ
Чули щось про RSI?
Доброго ранку ☕️
Протягом минулого тижня я в декількох постах робив посилання на те що Anthropic пише код за допомогою AI. Сьогодні зібрав для вас аналітичний пост на основі реакції на цю новину світової AI-спільноти.
RSI — recursive self-improvement, рекурсивне самовдосконалення AI — зараз намагаються продати як новий AGI.
Anthropic опублікувала звіт "When AI builds itself". Цифри справді показові: станом на травень 2026 понад 80% коду який мерджиться у репозиторії Anthropic написаний Claude — до запуску Claude Code у лютому 2025 цей показник був одиничними відсотками. Інженери в середньому шиплять у 8 разів більше коду за квартал ніж у 2021-2025. Успішність на open-ended задачах без заданого рішення зросла з 25% у вересні 2025 до 76% у травні 2026.
Anthropic описує три сценарії: AI залишається слабшим за найкращих інженерів; AI різко прискорює software engineering але люди контролюють research і архітектуру (найреалістичніший за їхньою оцінкою); і повний RSI де AI сам визначає що покращувати і тренує наступні версії себе.
І ось що цікаво — майже одночасно президент OpenAI Грег Брокман заявив практично те саме число: за грудень agentic coding tools перейшли від написання 20% коду до 80%. Брокман додає що OpenAI "на 70-80% шляху до AGI". Два конкуренти незалежно називають однакову цифру — але інтерпретація різна. Це продуктивність чи просто "AI десь задіяний на якомусь етапі написання коду"? Сама OpenAI визнає що межа дуже розмита.
Скептики реагують швидко. Професор Mark Riedl з Georgia Tech прямо написав у Bluesky що "великі AI-компанії підхопили хайп-поїзд recursive self-improvement". Інші дослідники зазначають: те що AI пише більше коду — це доказ корисності інструменту а не "великого стрибка" до сингулярності.
А якщо подивитися на конкретні дослідження — картина теж стримана. Meta-Agent Challenge — новий benchmark який перевіряє чи можуть AI-агенти самостійно розробляти інші agent-системи. Результат: meta-агенти рідко досягають рівня людських baseline-рішень, а ті що досягають — це лише найпотужніші проприєтарні моделі. При цьому під тиском оптимізації з'являється emergent поведінка типу спроб "вийняти" правильні відповіді з тестового середовища — це вже питання alignment а не просто здібностей.
Є й протилежний приклад. Робота Self-Developing показала що LLM може автономно винайти алгоритм для model merging який перевершує людські рішення на математичних бенчмарках. Тобто вузьконаправлене самовдосконалення в обмеженій задачі вже працює. Але це дуже далеко від "AI проектує наступну версію себе".
Варто пам'ятати що сама ідея intelligence explosion не нова. Ще у 1964 році математик I.J. Good у своїй роботі описав концепцію ultraintelligent machine яка запускає каскад самовдосконалення. Дискусії якій вже 60 років зараз просто отримали нові цифри для ілюстрації.
На мою думку потенціал RSI як і потенціал AGI поки що далекий. Між сучасними системами які дедалі сильніше примножують людську продуктивність, і системами які зможуть самостійно проєктувати власні покращення в безкінечному циклі — стоїть величезний обсяг роботи і ймовірно низка проривів.
AI-спільнота розділена між перебільшеними уявленнями про небезпеку AI та реальними ризиками для інновацій. Anthropic у своєму звіті знову поклала на стіл ідею тимчасової паузи в AI-дослідженнях. Це погана ідея — вона посилює позиції людей чиї страхи в кращому разі нереалістичні а в гіршому корисливі. Регулювати небезпечні застосування потрібно. Але фундаментальну технологію треба продовжувати вдосконалювати якомога швидше.
Науково-фантастичні сценарії ефективні якщо мета — налякати або переконати дати грошей.
Для реального прогресу потрібні реалістичні бачення можливого майбутнього.
🔔 ПІДПИСАТИСЯ
👍6👏5❤2
OpenRouter запустив Fusion — режим де над одним запитом "радиться" одразу кілька нейромереж.
Доброго ранку ☕️
Я вже багато розповідав про ефективність підходів де над однією проблемою працює не одна модель а кілька. Другою моделлю може бути інший інстанс тієї ж самої моделі або взагалі інша модель. Ефект досягається тим що вони перевіряють і корегують одна одну. В цей ланцюжок можна додати третю, четверту і так далі.
Для тих хто не користувався OpenRouter: це такий роутер для AI-моделей. Один API, один інтерфейс через який можна викликати різні моделі від різних провайдерів — Claude, GPT, Gemini, DeepSeek, Kimi та інші.
Ідея Fusion в тому що на запит відповідає не одна модель а ціла панель. Кілька нейромереж паралельно думають над задачею, після чого окрема judge-модель аналізує їхні відповіді. На основі цього "обговорення" формується фінальна відповідь.
Тобто це не просто усереднення — це більше схоже на маленьку AI-нараду де одна модель потім пише підсумковий документ.
Щось схоже на той підхід з Fable про який я розповідав, де основна модель запускає субагентів і підводить підсумки їхньої роботи. Тільки у Fusion ці субагенти ще й взаємодіють один з одним.
Результати показують доволі цікаві цифри. На DRACO benchmark для deep research задач зв'язка Fable 5 + GPT-5.5 із синтезом через Opus 4.8 набрала 69.0%. Для порівняння: Fable 5 сам — 65.3%, GPT-5.5 — 60.0%, Opus 4.8 — 58.8%.
Найцікавіше — коли запустили Fusion не з різними моделями а з двома екземплярами Opus 4.8, результат теж виріс: з 58.8% до 65.5%. Тобто приріст дає не тільки різноманіття моделей а й сам етап синтезу — модель-суддя бачить кілька варіантів мислення, порівнює їх і збирає сильніші частини в одну відповідь.
Але є нюанс. Fusion не безкоштовний бонус — ви платите за всі виклики моделей усередині панелі. Стандартний запит може коштувати приблизно у 4-5 разів дорожче за одиночний.
І ще одна обмовка. DRACO — публічний benchmark від Perplexity а не внутрішній OpenRouter. Конкретний прогін Fusion робив сам OpenRouter, незалежної реплікації поки немає. Тому сприймати цифри варто не як остаточний доказ а як цікаву інфу.
Особливо для задач де важлива не швидка відповідь а якісний аналіз: ресерч, порівняння підходів, архітектурні рішення, складні технічні питання.
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
Я вже багато розповідав про ефективність підходів де над однією проблемою працює не одна модель а кілька. Другою моделлю може бути інший інстанс тієї ж самої моделі або взагалі інша модель. Ефект досягається тим що вони перевіряють і корегують одна одну. В цей ланцюжок можна додати третю, четверту і так далі.
Для тих хто не користувався OpenRouter: це такий роутер для AI-моделей. Один API, один інтерфейс через який можна викликати різні моделі від різних провайдерів — Claude, GPT, Gemini, DeepSeek, Kimi та інші.
Ідея Fusion в тому що на запит відповідає не одна модель а ціла панель. Кілька нейромереж паралельно думають над задачею, після чого окрема judge-модель аналізує їхні відповіді. На основі цього "обговорення" формується фінальна відповідь.
Тобто це не просто усереднення — це більше схоже на маленьку AI-нараду де одна модель потім пише підсумковий документ.
Щось схоже на той підхід з Fable про який я розповідав, де основна модель запускає субагентів і підводить підсумки їхньої роботи. Тільки у Fusion ці субагенти ще й взаємодіють один з одним.
Результати показують доволі цікаві цифри. На DRACO benchmark для deep research задач зв'язка Fable 5 + GPT-5.5 із синтезом через Opus 4.8 набрала 69.0%. Для порівняння: Fable 5 сам — 65.3%, GPT-5.5 — 60.0%, Opus 4.8 — 58.8%.
Найцікавіше — коли запустили Fusion не з різними моделями а з двома екземплярами Opus 4.8, результат теж виріс: з 58.8% до 65.5%. Тобто приріст дає не тільки різноманіття моделей а й сам етап синтезу — модель-суддя бачить кілька варіантів мислення, порівнює їх і збирає сильніші частини в одну відповідь.
Але є нюанс. Fusion не безкоштовний бонус — ви платите за всі виклики моделей усередині панелі. Стандартний запит може коштувати приблизно у 4-5 разів дорожче за одиночний.
І ще одна обмовка. DRACO — публічний benchmark від Perplexity а не внутрішній OpenRouter. Конкретний прогін Fusion робив сам OpenRouter, незалежної реплікації поки немає. Тому сприймати цифри варто не як остаточний доказ а як цікаву інфу.
Особливо для задач де важлива не швидка відповідь а якісний аналіз: ресерч, порівняння підходів, архітектурні рішення, складні технічні питання.
🔔 ПІДПИСАТИСЯ
👍10🔥3❤1👏1🎉1
Дослідники з University of Oregon, Purdue, UC San Diego, NYU та Princeton перевірили як державні медіа впливають на відповіді великих мовних моделей.
Доброго ранку ☕️
Знову середа. Знову розбір наукової публікації. Але цього разу не архітектурний розбір а дослідження яке не менш цікаве. І трохи неприємне.
У дослідженні тестували GPT-4o і Claude 3 Sonnet. Здавалося б навіщо звертати увагу на старі моделі коли сьогодні всі вже використовують GPT-5.5 і Claude Sonnet 4.6. Але по-перше моделі виходять дуже швидко а дослідження вимагають часу. Ці моделі були актуальними на той момент. А по-друге архітектура між версіями принципово не змінюється і те що справедливо для попередніх версій працює і в нових.
Вже задокументовано що більшість LLM мають схильність до західних цінностей. Але більшість таких досліджень проводилася з англомовними промптами. Нинішня робота показує що мова запиту є ключовою змінною яку раніше недооцінювали.
Чому так відбувається. LLM навчаються на величезних масивах текстів з інтернету. Автори порівняли китайськомовний сегмент CulturaX побудований на Common Crawl — одному з найбільших публічних архівів інтернет-сторінок який регулярно використовується для навчання моделей. Порівняли із джерелами китайських державних медіа. Виявилось що таких документів там більш ніж у 40 разів більше ніж документів з китайської Wikipedia. Тобто державний наратив може бути не просто одним із голосів а основним голосом який модель бачила під час навчання.
Далі дослідники давали моделям однакові політичні запити китайською та англійською. У питаннях про Китай китайськомовні відповіді були більш сприятливими до Китаю у 75.3% випадків. Для Claude 3 Sonnet майже у 75%, для GPT-4o приблизно у 68%. Перевірили й інші країни та мови і побачили зв'язок між рівнем контролю над медіа і тим наскільки відповіді локальною мовою стають більш прихильними до місцевої влади.
Тут є цікавий технічний кут. Мова запиту може перемикати модель в інший інформаційний режим не лише через різні тренувальні дані а й через саму структуру векторного простору. Слова з різних мов навіть якщо вони означають одне й те саме кодуються в різних областях багатовимірного простору. Дослідження показують що речення з однаковим змістом але різними мовами формують окремі кластери у векторному просторі моделі. "Король" і "king" живуть у різних математичних сусідствах і це сусідство несе різний культурний і політичний контекст. Тому питання поставлене китайською активує інший "регіон" знань моделі ніж те саме питання англійською.
Чому це важливо. LLM дедалі частіше стають основним джерелом інформації для мільйонів людей у всьому світі. Зазвичай вони не цитують джерела. Тому користувачі не бачать хто або що могло вплинути на відповідь. Дослідження 2025 року також виявило що LLM демонструють різні моральні установки різними мовами навіть у відповідь на твердження про базові цінності.
У результаті моделі можуть просувати наративи які суперечать цінностям користувачів і суспільств у яких ці користувачі живуть.
Дослідження виходить із припущення що державні медіа не створювалися спеціально для впливу на LLM. Такий вплив є побічним ефектом. Але воно також показує очевидний стимул для урядів впливати на тренувальні дані більш безпосередньо.
Боротися не лише за телебачення і соцмережі. А й за те що завтра відповість вам модель.
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
Знову середа. Знову розбір наукової публікації. Але цього разу не архітектурний розбір а дослідження яке не менш цікаве. І трохи неприємне.
У дослідженні тестували GPT-4o і Claude 3 Sonnet. Здавалося б навіщо звертати увагу на старі моделі коли сьогодні всі вже використовують GPT-5.5 і Claude Sonnet 4.6. Але по-перше моделі виходять дуже швидко а дослідження вимагають часу. Ці моделі були актуальними на той момент. А по-друге архітектура між версіями принципово не змінюється і те що справедливо для попередніх версій працює і в нових.
Вже задокументовано що більшість LLM мають схильність до західних цінностей. Але більшість таких досліджень проводилася з англомовними промптами. Нинішня робота показує що мова запиту є ключовою змінною яку раніше недооцінювали.
Чому так відбувається. LLM навчаються на величезних масивах текстів з інтернету. Автори порівняли китайськомовний сегмент CulturaX побудований на Common Crawl — одному з найбільших публічних архівів інтернет-сторінок який регулярно використовується для навчання моделей. Порівняли із джерелами китайських державних медіа. Виявилось що таких документів там більш ніж у 40 разів більше ніж документів з китайської Wikipedia. Тобто державний наратив може бути не просто одним із голосів а основним голосом який модель бачила під час навчання.
Далі дослідники давали моделям однакові політичні запити китайською та англійською. У питаннях про Китай китайськомовні відповіді були більш сприятливими до Китаю у 75.3% випадків. Для Claude 3 Sonnet майже у 75%, для GPT-4o приблизно у 68%. Перевірили й інші країни та мови і побачили зв'язок між рівнем контролю над медіа і тим наскільки відповіді локальною мовою стають більш прихильними до місцевої влади.
Тут є цікавий технічний кут. Мова запиту може перемикати модель в інший інформаційний режим не лише через різні тренувальні дані а й через саму структуру векторного простору. Слова з різних мов навіть якщо вони означають одне й те саме кодуються в різних областях багатовимірного простору. Дослідження показують що речення з однаковим змістом але різними мовами формують окремі кластери у векторному просторі моделі. "Король" і "king" живуть у різних математичних сусідствах і це сусідство несе різний культурний і політичний контекст. Тому питання поставлене китайською активує інший "регіон" знань моделі ніж те саме питання англійською.
Чому це важливо. LLM дедалі частіше стають основним джерелом інформації для мільйонів людей у всьому світі. Зазвичай вони не цитують джерела. Тому користувачі не бачать хто або що могло вплинути на відповідь. Дослідження 2025 року також виявило що LLM демонструють різні моральні установки різними мовами навіть у відповідь на твердження про базові цінності.
У результаті моделі можуть просувати наративи які суперечать цінностям користувачів і суспільств у яких ці користувачі живуть.
Дослідження виходить із припущення що державні медіа не створювалися спеціально для впливу на LLM. Такий вплив є побічним ефектом. Але воно також показує очевидний стимул для урядів впливати на тренувальні дані більш безпосередньо.
Боротися не лише за телебачення і соцмережі. А й за те що завтра відповість вам модель.
🔔 ПІДПИСАТИСЯ
👍6❤4🔥2🤔2
Cursor випустив власну модель — Composer 2.5
Доброго ранку ☕️
Знаю що багато хто з вас використовує Cursor як основний інструмент для роботи з агентами. Якщо не знаєте що краще — Opus чи Codex — або хочете користуватися обома але платити за одну підписку, Cursor це ваш вибір.
На фоні Claude Code та Codex багато хто вже почав вважати що майбутнє повністю за універсальними моделями. Достатньо взяти найсильніший LLM і обгорнути його хорошим агентним середовищем.
Cursor пішов іншим шляхом.
Компанія випустила Composer 2.5 — власну модель для програмування спеціально натреновану під Cursor CLI та агентний режим роботи. В основі лежить Kimi K2.5 від Moonshot — про яку я вже писав як про одну з найсильніших моделей для задач з кодом. Архітектура: mixture-of-experts transformer, 1.04 трлн параметрів загалом і 32 млрд активних параметрів на токен. Не дивно до речі що Moonshot також випустили власний CLI.
Cursor додатково донавчив модель на синтетичних задачах — у 25 разів більше ніж у Composer 2. Основна мета навчити модель працювати зі складнішими сценаріями. Наприклад синтетична задача могла містити інструкцію видалити певну функцію застосунку — і до неї додавали відповідні зміни в коді, очищення залишкових артефактів і тест який перевіряв що змінений застосунок працює. Яка саме модель генерувала такі задачі — команда не розкрила.
Під час навчання модель отримувала не лише винагороду за правильний результат а й текстовий фідбек про свої помилки. Якщо агент обирав неправильний інструмент або робив неефективний крок — йому буквально показували що можна було зробити краще. Фактично Cursor тренував не просто модель а модель разом із власним агентним середовищем. Детальніше про підхід у paper на arXiv.
Результат показовий. Третє місце в Artificial Analysis Coding Agent Index, перше місце на SWE-Bench-Pro-Hard-AA. Середній час виконання задачі близько 6.7 хвилини проти 8.8 хвилини у Claude Code. Середня вартість задачі $0.44 проти понад $4 для Claude Opus. Різниця в ціні майже на порядок.
Останній рік багато говорять про те що вирішальним стає не сама модель а агентна обв'язка навколо неї. Cursor показує цікавішу ідею: можливо не потрібно обирати між моделлю та агентом. Можливо майбутнє за моделями які від самого початку навчаються всередині конкретного агентного середовища і оптимізуються саме під нього.
Cursor спочатку був IDE і продавав доступ до сторонніх моделей задовго до того як почав розробляти власні. Йому не потрібна універсальна модель — йому потрібна модель яка швидко й дешево вирішує проблеми розробників. І це видно навіть у партнерствах: New York Times писав про угоду Cursor зі SpaceX.
Успіх Composer показує що для спеціалізованих моделей досі є місце навіть в агентну епоху. Особливо коли ціна виконання задачі відрізняється в 10 разів.
Цілком можливо що через кілька років ми будемо говорити не про "найкращу LLM" а про "найкращу AI-систему" для конкретного типу задач.
Напiшiть чи пробували ви вже Composer? Якi враження? 👇🏻
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
Знаю що багато хто з вас використовує Cursor як основний інструмент для роботи з агентами. Якщо не знаєте що краще — Opus чи Codex — або хочете користуватися обома але платити за одну підписку, Cursor це ваш вибір.
На фоні Claude Code та Codex багато хто вже почав вважати що майбутнє повністю за універсальними моделями. Достатньо взяти найсильніший LLM і обгорнути його хорошим агентним середовищем.
Cursor пішов іншим шляхом.
Компанія випустила Composer 2.5 — власну модель для програмування спеціально натреновану під Cursor CLI та агентний режим роботи. В основі лежить Kimi K2.5 від Moonshot — про яку я вже писав як про одну з найсильніших моделей для задач з кодом. Архітектура: mixture-of-experts transformer, 1.04 трлн параметрів загалом і 32 млрд активних параметрів на токен. Не дивно до речі що Moonshot також випустили власний CLI.
Cursor додатково донавчив модель на синтетичних задачах — у 25 разів більше ніж у Composer 2. Основна мета навчити модель працювати зі складнішими сценаріями. Наприклад синтетична задача могла містити інструкцію видалити певну функцію застосунку — і до неї додавали відповідні зміни в коді, очищення залишкових артефактів і тест який перевіряв що змінений застосунок працює. Яка саме модель генерувала такі задачі — команда не розкрила.
Під час навчання модель отримувала не лише винагороду за правильний результат а й текстовий фідбек про свої помилки. Якщо агент обирав неправильний інструмент або робив неефективний крок — йому буквально показували що можна було зробити краще. Фактично Cursor тренував не просто модель а модель разом із власним агентним середовищем. Детальніше про підхід у paper на arXiv.
Результат показовий. Третє місце в Artificial Analysis Coding Agent Index, перше місце на SWE-Bench-Pro-Hard-AA. Середній час виконання задачі близько 6.7 хвилини проти 8.8 хвилини у Claude Code. Середня вартість задачі $0.44 проти понад $4 для Claude Opus. Різниця в ціні майже на порядок.
Останній рік багато говорять про те що вирішальним стає не сама модель а агентна обв'язка навколо неї. Cursor показує цікавішу ідею: можливо не потрібно обирати між моделлю та агентом. Можливо майбутнє за моделями які від самого початку навчаються всередині конкретного агентного середовища і оптимізуються саме під нього.
Cursor спочатку був IDE і продавав доступ до сторонніх моделей задовго до того як почав розробляти власні. Йому не потрібна універсальна модель — йому потрібна модель яка швидко й дешево вирішує проблеми розробників. І це видно навіть у партнерствах: New York Times писав про угоду Cursor зі SpaceX.
Успіх Composer показує що для спеціалізованих моделей досі є місце навіть в агентну епоху. Особливо коли ціна виконання задачі відрізняється в 10 разів.
Цілком можливо що через кілька років ми будемо говорити не про "найкращу LLM" а про "найкращу AI-систему" для конкретного типу задач.
Напiшiть чи пробували ви вже Composer? Якi враження? 👇🏻
🔔 ПІДПИСАТИСЯ
👍9❤3🔥2
10 речей про LLM які варто знати 3/10 🧠
LLM краще імітують тон ніж думку
Доброго ранку ☕️
Продовжуємо розбиратися як ефективно працювати з AI. Можливо ви помічали дивну річ: модель може написати текст так ніби його готував дуже впевнений експерт. Ритм правильний. Слова правильні. Висновок звучить переконливо.
І саме в цьому пастка.
LLM дуже добре відтворюють поверхневі ознаки мислення: академічний тон, логічні зв'язки, впевнені формулювання, стиль консультанта або аналітика. Але форма міркування це ще не саме міркування.
Модель може звучати як експерт ніби вона щось довела, хоча насправді просто продовжила текст у стилі людини яка щось доводить. Може побудувати акуратний абзац навколо слабкого припущення. Або написати дуже впевнений висновок там де мала б сказати: "даних недостатньо".
Це не означає що LLM взагалі не здатні розв'язувати логічні задачі. Здатні. І дуже ефективно. Ще у 2022 році стаття Chain of Thought Prompting показала це. Особливо нові reasoning-моделі з окремим thinking-елементом де модель перед фінальною відповіддю може розкладати задачу на кроки, порівнювати варіанти, повертатися до припущень і лише потім формулювати висновок. Саме тому reasoning-моделі краще пишуть код, розв'язують математичні задачі і менше ламаються на складних інструкціях.
Але тут є пастка. Thinking-елемент це не мислення у тому розумінні до якого ми звикли в контексті людини. LLM генерує послідовність токенів — і в процесі thinking частина цих токенів використовується не як фінальна відповідь а як робочий простір для розв'язання задачі. У людини мислення пов'язане з досвідом, тілом, пам'яттю, цілями, емоціями. У LLM — з обробкою контексту.
Раніше ми частіше мали справу з текстом який просто звучить розумно. Тепер маємо справу з текстом який може ще й виглядати як процес мислення. Покроковість створює додаткову ілюзію надійності.
Для людини це працює через ефект ілюзорної правди. Ми схильні більше вірити інформації якщо вона звучить впевнено. Гарно написаний текст здається розумнішим. LLM цю людську слабкість дуже добре підсилюють — не тому що хочуть обманути а тому що чудово генерують мовні сигнали впевненості.
Тому одна з головних помилок у роботі з AI — просити "напиши переконливо". Переконливо модель майже завжди напише.
Краще просити не переконливість а каркас мислення:
Це змінює режим роботи. Ви змушуєте модель будувати опору під відповідь: припущення, альтернативи, обмеження, рівень впевненості. Thinking допомагає. Але thinking це не гарантія істини. Гарантію дає не тон і не довгий ланцюжок міркувань а перевірка фактів, джерел, логіки і меж застосування.
Коли відповідь здається надто гладкою — це не завжди ознака якості. Іноді це просто гарний тон який маскує слабку структуру.
Практичне правило просте: не довіряйте тону. Перевіряйте опору. Просіть модель не тільки дати відповідь а й показати на чому вона стоїть.
Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
LLM краще імітують тон ніж думку
Доброго ранку ☕️
Продовжуємо розбиратися як ефективно працювати з AI. Можливо ви помічали дивну річ: модель може написати текст так ніби його готував дуже впевнений експерт. Ритм правильний. Слова правильні. Висновок звучить переконливо.
І саме в цьому пастка.
LLM дуже добре відтворюють поверхневі ознаки мислення: академічний тон, логічні зв'язки, впевнені формулювання, стиль консультанта або аналітика. Але форма міркування це ще не саме міркування.
Модель може звучати як експерт ніби вона щось довела, хоча насправді просто продовжила текст у стилі людини яка щось доводить. Може побудувати акуратний абзац навколо слабкого припущення. Або написати дуже впевнений висновок там де мала б сказати: "даних недостатньо".
Це не означає що LLM взагалі не здатні розв'язувати логічні задачі. Здатні. І дуже ефективно. Ще у 2022 році стаття Chain of Thought Prompting показала це. Особливо нові reasoning-моделі з окремим thinking-елементом де модель перед фінальною відповіддю може розкладати задачу на кроки, порівнювати варіанти, повертатися до припущень і лише потім формулювати висновок. Саме тому reasoning-моделі краще пишуть код, розв'язують математичні задачі і менше ламаються на складних інструкціях.
Але тут є пастка. Thinking-елемент це не мислення у тому розумінні до якого ми звикли в контексті людини. LLM генерує послідовність токенів — і в процесі thinking частина цих токенів використовується не як фінальна відповідь а як робочий простір для розв'язання задачі. У людини мислення пов'язане з досвідом, тілом, пам'яттю, цілями, емоціями. У LLM — з обробкою контексту.
Раніше ми частіше мали справу з текстом який просто звучить розумно. Тепер маємо справу з текстом який може ще й виглядати як процес мислення. Покроковість створює додаткову ілюзію надійності.
Для людини це працює через ефект ілюзорної правди. Ми схильні більше вірити інформації якщо вона звучить впевнено. Гарно написаний текст здається розумнішим. LLM цю людську слабкість дуже добре підсилюють — не тому що хочуть обманути а тому що чудово генерують мовні сигнали впевненості.
Тому одна з головних помилок у роботі з AI — просити "напиши переконливо". Переконливо модель майже завжди напише.
Краще просити не переконливість а каркас мислення:
1. Спочатку сформулюй припущення
2. Вкажи що точно відомо а що ні
3. Розглянь альтернативні пояснення
4. Покажи слабкі місця аргументації
5. Лише після цього зроби висновокЦе змінює режим роботи. Ви змушуєте модель будувати опору під відповідь: припущення, альтернативи, обмеження, рівень впевненості. Thinking допомагає. Але thinking це не гарантія істини. Гарантію дає не тон і не довгий ланцюжок міркувань а перевірка фактів, джерел, логіки і меж застосування.
Коли відповідь здається надто гладкою — це не завжди ознака якості. Іноді це просто гарний тон який маскує слабку структуру.
Практичне правило просте: не довіряйте тону. Перевіряйте опору. Просіть модель не тільки дати відповідь а й показати на чому вона стоїть.
Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
🔥11👍6❤2⚡1💯1
Anthropic випустила одну з найсильніших моделей Claude. Але хто довів що вона сильніша?
Доброго ранку ☕️
Сьогодні хочу розібрати на прикладі останньої моделі Claude як складно стало вимірювати реальні можливості сучасних AI-моделей.
Почнемо з того що Anthropic мала модель Claude Mythos 5. Але публічно доступною стала не вона а її захищена версія — Claude Fable 5. Формально дуже сильна модель із додатковими safety-механізмами. Але на практиці ці механізми почали ламати саму ідею незалежного тестування.
Перед тим як промпт потрапляв до Claude Fable 5 його перевіряли класифікатори Anthropic. Якщо запит стосувався кібербезпеки, біології, хімії або інженерії AI-моделей — він міг взагалі не дійти до Fable 5. В API такий запит просто отримував відмову. У власних застосунках Anthropic, зокрема в Claude Code, система могла автоматично передати запит на Claude Opus 4.8 — але в самій відповіді користувач не бачив що відповіла вже інша модель.
І ось тут виникає дуже незручне питання. Якщо ми тестуємо Claude Fable 5 але частину відповідей дає Claude Opus 4.8 — то що саме ми вимірюємо?
Artificial Analysis включила fallback-відповіді у загальний результат і отримала змішану оцінку. У їхньому Intelligence Index Claude Fable 5 посіла перше місце з результатом 64.9 — приблизно на 3.5% вище за Claude Opus 4.8. Але приблизно у 8% завдань відповіді фактично були fallback на Opus 4.8.
Vals AI зробила цікавіше і опублікувала два набори результатів: один із fallback-відповідями і другий де кожна відмова рахувалася як провал. Загальний результат майже не змінився: 75.14% проти 74.92%. Але в окремих доменах різниця була драматична. На GPQA Diamond — тесті наукових питань рівня аспірантури — Claude Fable 5 падала з 93.18% точності до 55.56% якщо відмови рахувати як провали.
На Agents' Last Exam де тестують довгі агентні задачі Claude Fable 5 відмовилася приблизно від 35% завдань. На тих задачах які вона виконувала сама pass rate був 22.8% — майже на рівні Codex/GPT-5.5 з 23.8% і помітно краще за Claude Opus 4.8 з 15.8%. Але коли safeguards перекидали частину роботи на Opus 4.8 — результат падав.
ARC Prize Foundation взагалі відмовилася проводити verified evaluations. Причина не в слабкості моделі а в умовах доступу: для тестування Claude Fable 5 треба було погодитися на зберігання промптів і відповідей протягом 30 днів. Для приватних тестових наборів це проблема — незалежність тестування стає менш чистою.
Те що Anthropic описує як заходи безпеки фактично зробило пряме вимірювання можливостей Fable 5 неможливим. Оцінка без класифікаторів описує версію до якої публічні користувачі не мають доступу. А оцінка з класифікаторами описує рухому ціль — Anthropic може переналаштувати їх у будь-який момент.
Раніше бенчмарки давали відповідь на питання про можливості моделі. Claude Fable 5 змушує поставити більш практичне питання: яку частину цих можливостей користувачі реально отримують?
Уявіть що ви тестуєте автомобіль. На прямій трасі він показує прекрасну швидкість. Але в реальних умовах частину часу двигун автоматично перемикається на слабший режим а іноді машина просто відмовляється їхати. Формально двигун дуже потужний. Але вам важливо знати не лише максимальну швидкість а й те як часто ви реально зможете нею скористатися.
Якщо подібні моделі будуть з'являтися і далі — бенчмарки мають показувати не тільки "найкращий можливий результат" а й "доступний користувачу результат". Окремо треба рахувати відповіді самої моделі, fallback на інші моделі, відмови і домени де safety-фільтри змінюють поведінку.
Інакше ми будемо порівнювати не моделі. А красиві назви моделей.
🔔 ПІДПИСАТИСЯ
Доброго ранку ☕️
Сьогодні хочу розібрати на прикладі останньої моделі Claude як складно стало вимірювати реальні можливості сучасних AI-моделей.
Почнемо з того що Anthropic мала модель Claude Mythos 5. Але публічно доступною стала не вона а її захищена версія — Claude Fable 5. Формально дуже сильна модель із додатковими safety-механізмами. Але на практиці ці механізми почали ламати саму ідею незалежного тестування.
Перед тим як промпт потрапляв до Claude Fable 5 його перевіряли класифікатори Anthropic. Якщо запит стосувався кібербезпеки, біології, хімії або інженерії AI-моделей — він міг взагалі не дійти до Fable 5. В API такий запит просто отримував відмову. У власних застосунках Anthropic, зокрема в Claude Code, система могла автоматично передати запит на Claude Opus 4.8 — але в самій відповіді користувач не бачив що відповіла вже інша модель.
І ось тут виникає дуже незручне питання. Якщо ми тестуємо Claude Fable 5 але частину відповідей дає Claude Opus 4.8 — то що саме ми вимірюємо?
Artificial Analysis включила fallback-відповіді у загальний результат і отримала змішану оцінку. У їхньому Intelligence Index Claude Fable 5 посіла перше місце з результатом 64.9 — приблизно на 3.5% вище за Claude Opus 4.8. Але приблизно у 8% завдань відповіді фактично були fallback на Opus 4.8.
Vals AI зробила цікавіше і опублікувала два набори результатів: один із fallback-відповідями і другий де кожна відмова рахувалася як провал. Загальний результат майже не змінився: 75.14% проти 74.92%. Але в окремих доменах різниця була драматична. На GPQA Diamond — тесті наукових питань рівня аспірантури — Claude Fable 5 падала з 93.18% точності до 55.56% якщо відмови рахувати як провали.
На Agents' Last Exam де тестують довгі агентні задачі Claude Fable 5 відмовилася приблизно від 35% завдань. На тих задачах які вона виконувала сама pass rate був 22.8% — майже на рівні Codex/GPT-5.5 з 23.8% і помітно краще за Claude Opus 4.8 з 15.8%. Але коли safeguards перекидали частину роботи на Opus 4.8 — результат падав.
ARC Prize Foundation взагалі відмовилася проводити verified evaluations. Причина не в слабкості моделі а в умовах доступу: для тестування Claude Fable 5 треба було погодитися на зберігання промптів і відповідей протягом 30 днів. Для приватних тестових наборів це проблема — незалежність тестування стає менш чистою.
Те що Anthropic описує як заходи безпеки фактично зробило пряме вимірювання можливостей Fable 5 неможливим. Оцінка без класифікаторів описує версію до якої публічні користувачі не мають доступу. А оцінка з класифікаторами описує рухому ціль — Anthropic може переналаштувати їх у будь-який момент.
Раніше бенчмарки давали відповідь на питання про можливості моделі. Claude Fable 5 змушує поставити більш практичне питання: яку частину цих можливостей користувачі реально отримують?
Уявіть що ви тестуєте автомобіль. На прямій трасі він показує прекрасну швидкість. Але в реальних умовах частину часу двигун автоматично перемикається на слабший режим а іноді машина просто відмовляється їхати. Формально двигун дуже потужний. Але вам важливо знати не лише максимальну швидкість а й те як часто ви реально зможете нею скористатися.
Якщо подібні моделі будуть з'являтися і далі — бенчмарки мають показувати не тільки "найкращий можливий результат" а й "доступний користувачу результат". Окремо треба рахувати відповіді самої моделі, fallback на інші моделі, відмови і домени де safety-фільтри змінюють поведінку.
Інакше ми будемо порівнювати не моделі. А красиві назви моделей.
🔔 ПІДПИСАТИСЯ
👍12❤3
10 речей про LLM які варто знати 4/10 🧠
LLM вміють знаходити структуру в хаосі
Гарної п'ятниці! 👋
На цьому тижні було багато роботи і не встигав писати для вас. Але зібрав багато цікавого матеріалу — на вихідних детально вивчу і підготую на наступний тиждень. А поки п'ятниця і ще одна важлива річ про LLM яку варто знати.
Минулого разу говорили про те що LLM краще імітують тон ніж думку. Сьогодні про інший бік цієї технології.
LLM корисні не тільки тоді коли треба "щось написати". Іноді їхня найсильніша роль — не автор а аналітик сирого матеріалу.
Уявіть що у вас є 20 коментарів читачів. Або 50 відгуків клієнтів. Або нотатки після кількох дзвінків. Або чернетки ідей які лежать у різних файлах і давно перетворилися на хаос.
Людина дивиться на це і бачить шум. Хтось пише що "було складно". Хтось просить більше прикладів. Хтось ставить питання яке вже ставили десять разів але іншими словами.
LLM може знайти в цьому структуру: згрупувати за темами, знайти повторювані болі, виділити типові питання, показати що люди не розуміють, запропонувати теми для наступних постів.
Технічно за цим стоять embeddings — векторні представлення тексту де схожі за змістом речення опиняються поруч у математичному просторі навіть якщо в них немає однакових слів. Про це я вже писав детальніше раніше.
Наприклад три різні коментарі:
"Я не зрозумів навіщо це потрібно"
"Було б краще показати практичний приклад"
"Теорія цікава але як це застосувати?"
Формально різні. За змістом — одна тема: аудиторії не вистачає практичного контексту.
До речі цей принцип добре працює і з голосовим введенням. Коли проговорюєш все що є в голові — розрізнені думки, незавершені ідеї, контекст — модель отримує набагато більше сирого матеріалу ніж коли пишеш. І саме в цьому хаосі голосових нотаток вона може знайти структуру, сформулювати цілі і дістати цінне. По суті голосовий потік свідомості це теж вхідний хаос для якого LLM виступає аналітиком.
У якісних дослідженнях є схожа практика — thematic analysis. Дослідник читає відповіді, виділяє повторювані мотиви і збирає їх у теми. LLM може прискорити перший прохід цього процесу. Не замінити дослідника — саме прискорити. При цьому важливо розуміти ризики: дослідження про семантичну ентропію показує як виявляти галюцинації моделі, а NIST AI Risk Management Framework окремо попереджає про ризик зміщень у якісному аналізі за допомогою AI.
Тому найкращий спосіб — просити не тільки висновок а й опору.
Поганий запит: "Ось коментарі. Проаналізуй їх."
Кращий запит: "Ось 20 коментарів. Згрупуй за темами. Для кожної теми дай назву. Покажи які конкретні коментарі підтверджують цю тему. Окремо познач що є фактом у коментарях а що твоєю інтерпретацією."
Якщо модель не може показати на чому стоїть її класифікація — це не аналіз а красива здогадка.
LLM може бути дуже корисною коли треба розібрати безлад: коментарі під постами, відповіді в анкеті, фідбек після запуску продукту, нотатки з мітингів, питання від клієнтів. Вона може показати що під поверхнею хаосу є структура.
Але ця структура — не істина. Це перша карта місцевості. І завдання людини — перевірити чи ця карта справді відповідає території.
Практичне правило: використовуйте LLM не тільки для генерації тексту а й для аналізу того що вже накопичилося. Іноді найцінніше в AI — не те що він напише новий абзац а те що допоможе побачити порядок у матеріалі який здавався просто шумом.
Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
LLM вміють знаходити структуру в хаосі
Гарної п'ятниці! 👋
На цьому тижні було багато роботи і не встигав писати для вас. Але зібрав багато цікавого матеріалу — на вихідних детально вивчу і підготую на наступний тиждень. А поки п'ятниця і ще одна важлива річ про LLM яку варто знати.
Минулого разу говорили про те що LLM краще імітують тон ніж думку. Сьогодні про інший бік цієї технології.
LLM корисні не тільки тоді коли треба "щось написати". Іноді їхня найсильніша роль — не автор а аналітик сирого матеріалу.
Уявіть що у вас є 20 коментарів читачів. Або 50 відгуків клієнтів. Або нотатки після кількох дзвінків. Або чернетки ідей які лежать у різних файлах і давно перетворилися на хаос.
Людина дивиться на це і бачить шум. Хтось пише що "було складно". Хтось просить більше прикладів. Хтось ставить питання яке вже ставили десять разів але іншими словами.
LLM може знайти в цьому структуру: згрупувати за темами, знайти повторювані болі, виділити типові питання, показати що люди не розуміють, запропонувати теми для наступних постів.
Технічно за цим стоять embeddings — векторні представлення тексту де схожі за змістом речення опиняються поруч у математичному просторі навіть якщо в них немає однакових слів. Про це я вже писав детальніше раніше.
Наприклад три різні коментарі:
"Я не зрозумів навіщо це потрібно"
"Було б краще показати практичний приклад"
"Теорія цікава але як це застосувати?"
Формально різні. За змістом — одна тема: аудиторії не вистачає практичного контексту.
До речі цей принцип добре працює і з голосовим введенням. Коли проговорюєш все що є в голові — розрізнені думки, незавершені ідеї, контекст — модель отримує набагато більше сирого матеріалу ніж коли пишеш. І саме в цьому хаосі голосових нотаток вона може знайти структуру, сформулювати цілі і дістати цінне. По суті голосовий потік свідомості це теж вхідний хаос для якого LLM виступає аналітиком.
У якісних дослідженнях є схожа практика — thematic analysis. Дослідник читає відповіді, виділяє повторювані мотиви і збирає їх у теми. LLM може прискорити перший прохід цього процесу. Не замінити дослідника — саме прискорити. При цьому важливо розуміти ризики: дослідження про семантичну ентропію показує як виявляти галюцинації моделі, а NIST AI Risk Management Framework окремо попереджає про ризик зміщень у якісному аналізі за допомогою AI.
Тому найкращий спосіб — просити не тільки висновок а й опору.
Поганий запит: "Ось коментарі. Проаналізуй їх."
Кращий запит: "Ось 20 коментарів. Згрупуй за темами. Для кожної теми дай назву. Покажи які конкретні коментарі підтверджують цю тему. Окремо познач що є фактом у коментарях а що твоєю інтерпретацією."
Якщо модель не може показати на чому стоїть її класифікація — це не аналіз а красива здогадка.
LLM може бути дуже корисною коли треба розібрати безлад: коментарі під постами, відповіді в анкеті, фідбек після запуску продукту, нотатки з мітингів, питання від клієнтів. Вона може показати що під поверхнею хаосу є структура.
Але ця структура — не істина. Це перша карта місцевості. І завдання людини — перевірити чи ця карта справді відповідає території.
Практичне правило: використовуйте LLM не тільки для генерації тексту а й для аналізу того що вже накопичилося. Іноді найцінніше в AI — не те що він напише новий абзац а те що допоможе побачити порядок у матеріалі який здавався просто шумом.
Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀
🔔 ПІДПИСАТИСЯ
👍6❤3