​Знову середа — і знову розбір нової наукової статті ☕️

Цього разу — цікава і трохи неприємна робота про те, як fine-tuning LLM може "витягнути" з моделі тексти, які вона бачила ще під час pretraining.

Ідея статті дуже проста, але наслідки серйозні.

Дослідники взяли великі мовні моделі й доопрацювали їх на задачі, яка на перший погляд виглядає абсолютно безпечною:

є короткий переказ абзацу з роману → треба згенерувати повноцінний художній абзац у стилі автора.

Тобто щось схоже на інструмент для письменників: ви даєте summary сцени, а модель розгортає його у красивий літературний текст.

Але після такого fine-tuning модель починала не просто "писати у стилі". Вона починала дослівно відтворювати великі фрагменти книжок, які вже були закодовані у її вагах після pretraining.

Fine-tuning не "завантажив" ці книги в модель заново. Він навчив модель іншому режиму поведінки: не перефразовувати, не вигадувати новий текст, а намагатися відновити оригінальний фрагмент за його семантичним описом. По суті, summary працював як "адрес" до вже запам'ятаного тексту.

Як це перевіряли. Автори побудували датасет із пар: короткий сюжетний переказ → оригінальний абзац із книги. Взяли сучасні романи, розбили на абзаци по 300–500 слів і через GPT-4o згенерували для кожного короткий зміст. Потім моделі навчали на зворотну задачу: за summary і ім'ям автора згенерувати оригінальний абзац. Тестували GPT-4o, Gemini 2.5 Pro та DeepSeek-V3.1.

Результати різкі.

Без доопрацювання GPT-4o майже не відтворювала дослівний текст — метрика BMC була близько 7.36%. Після fine-tuning в одному з експериментів GPT-4o досягла 91.9% BMC@5. Усі три моделі генерували дослівні фрагменти довжиною до 440 слів.

Ще цікавіше — ефект переносився між авторами. Модель доопрацьовували на романах Муракамі, а потім тестували на 51 книжці 32 інших авторів. Для 36 із 51 книжки BMC@5 перевищив 40%. Тобто fine-tuning навчив модель не просто "стилю Муракамі" а більш загальному режиму: якщо дали літературний summary і автора — спробуй відновити оригінальний текст який вже сидить у пам'яті.

Контрольний експеримент підтвердив логіку. Коли моделі доопрацьовували на синтетичних даних — BMC@5 був близький до нуля. Проблема не в тому що модель добре навчилась перетворювати summary у художній текст. Проблема в тому що частина реальних текстів вже була в pretraining data і fine-tuning навчив модель ефективніше їх діставати.

Ми часто сприймаємо alignment і guardrails як надійний захист: не копіюй, не відтворюй, пиши оригінально. Але ця робота показує що такі обмеження можуть бути радше крихким фільтром поведінки а не реальним "стиранням" інформації з моделі. Текстові послідовності не зникають із ваг після навчання.

І це стосується не лише книжок. Теоретично схожий ризик можливий для будь-яких даних які потрапили в навчання: фрагментів коду, приватних документів, логів, API keys або іншої sensitive information. LLM не працює як база даних де можна зробити SELECT і отримати конкретний рядок. Але fine-tuning може статистично підвищити ймовірність extraction якщо навчальна задача формує правильний режим поведінки.

Якщо компанія доопрацьовує модель на внутрішніх даних — не можна автоматично вважати що модель просто "узагальнить знання". Частина даних може стати більш доступною для відтворення після доопрацювання.

Модель після fine-tuning — це вже не зовсім та сама модель яку перевіряли на безпеку до цього. Її потрібно тестувати заново: чи не почала вона відтворювати protected content, чи не послабились guardrails, чи не витікає код або PII.

Є і відкрите питання яке автори прямо не закрили: чи починають доопрацьовані моделі плагіатити без інструкції "пиши у стилі автора"? Відповіді немає — але сама робота показує головне: memorization у великих моделях це реальний технічний ризик а не абстрактна проблема.

Бо fine-tuning це не просто "навчити модель нашому стилю". Іноді це спосіб відкрити двері до того що модель уже давно зберігала всередині.

Стаття на arXiv

🔔 ПІДПИСАТИСЯ

​Fable 5: модель, яка ламає уявлення про vibe coding

Доброго ранку ☕️

Я зазвичай не дуже люблю гнатися за новинами й писати про модель у день релізу. Для цього є купа інших каналів де ви вже й так побачили що Anthropic випустила Claude Fable 5 — першу публічно доступну модель свого Mythos-класу.

Але цього разу не втримався. Бо за останні два дні трапилося занадто багато цікавого.

Головна причина хайпу — маркетинг Anthropic те що модель дуже сильна в довгих інженерних задачах, коді та візуальних інтерфейсах. Користувачі вже масово генерують повністю іграбельні браузерні ігри з одного початкового промпта — аж до 3D-сцен, фізики й реально робочих механік.

Anthropic показала показові приклади: браузерний CAD-редактор де Fable 5 створює модель готову до 3D-друку (і сам редактор теж написала Fable 5), симуляцію рідини синхронізовану з музикою, симуляцію Сонячної системи, автономну гру у Factorio. В мережі розійшлися й веб-версії "операційних систем" із логіном, браузером і Сапером.

Але є і інша сторона.

Fable 5 запускається з дуже жорсткими запобіжниками. Запити в чутливих зонах — наступальна кібербезпека, біологія/хімія, дистиляція моделі — проходять через автоматичні класифікатори. Якщо спрацьовують — користувача переводять на менш потужну Claude Opus 4.8. The Verge пише що фільтри налаштовані дуже консервативно і модель може відмовлятися навіть на базові освітні питання з біології.

Але найцікавіше — не це.

Розробник Jonathon Ready звернув увагу на фрагмент із system card Fable 5. Там є окрема категорія обмежень для запитів пов'язаних із frontier LLM development: пайплайни переднавчання великих моделей, розподілена інфраструктура для тренування, дизайн ML-прискорювачів.

Ключова різниця: для cyber/bio фільтрів користувач бачить переключення на іншу модель. А для frontier LLM development Anthropic прямо пише що ці запобіжники не будуть видимими. Fable 5 не скаже "я не можу з цим допомогти". Натомість ефективність відповіді може бути непомітно обмежена через prompt modification або steering vectors. Якщо модель дає погану відповідь на складне питання з frontier AI — ти не завжди можеш зрозуміти чому. Модель реально не впоралася? Питання погано сформульоване? Чи система тихо "приглушила" якість відповіді?

І ще про приватність. Для Mythos-class моделей Anthropic вимагає зберігати prompts і outputs до 30 днів для trust & safety. The Verge пише що саме через це Microsoft обмежила внутрішнє використання Fable 5 — юридичні команди оцінюють ризики для конфіденційних даних.

Тобто Fable 5 це одночасно дуже сильний сигнал майбутнього і хороше нагадування про реальність. Ми рухаємося до моделей які можуть за вечір зібрати браузерну гру або CAD-редактор. Але разом із цим з'являється новий клас питань: хто вирішує які можливості моделі доступні користувачу і чи можна довіряти системі якщо частина її обмежень працює невидимо.

Здається це буде одна з головних тем наступного етапу розвитку AI.

🔔 ПІДПИСАТИСЯ

Поки всі обговорювали Claude Fable 5 і ігри з одного промпта — глава Anthropic Даріо Амодеі опублікував не менш важливий текст.

"Policy on the AI Exponential". На фоні появи нових потужних моделей Mythos і Fable 5, а також переходу Anthropic до підходу де AI розробляє наступне покоління AI — станом на травень 2026 понад 80% коду що мерджиться у їхніх системах написаний Claude — Амодеі фактично пропонує перейти від м'якої саморегуляції до моделі де передові AI-системи мають проходити обов'язкове тестування і можуть бути заблоковані державою до релізу.

Його головна аналогія — авіація. Літаки не просто будують і кажуть "подивимося що буде" — їх сертифікують, тестують, перевіряють незалежні структури. З frontier AI має бути так само.

Конкретна пропозиція: моделі вище певного порогу обчислень мають проходити обов'язкову перевірку кваліфікованою третьою стороною за чотирма категоріями ризиків — кібербезпека, біологічна зброя, втрата контролю над AI-системами, автоматизовані дослідження які можуть прискорити перші три. Якщо модель переходить критичні межі — реліз можна заблокувати або відкликати.

Амодеі також визнає що AI може серйозно вдарити по ринку праці і пропонує не чекати: страхування зарплат, гранти на перекваліфікацію, а якщо витіснення стане стабільним — до безумовного базового доходу. Anthropic вже оголосила ініціативи на $350 млн в цьому напрямку.

Але критики вже називають це спробою побудувати регулювання під великих гравців. Хто найкраще готовий до обов'язкових аудитів і складної compliance-інфраструктури? Anthropic, OpenAI, Google DeepMind. А маленькі лабораторії і open-source команди можуть просто не витягнути таку бюрократію.

Окрема проблема — відкриті моделі. Закритий API можна відкликати. А якщо ваги вже опубліковані — їх неможливо "відкликати" назад як небезпечний літак. Якщо держава отримає право блокувати релізи до публікації — це може фактично сильніше вдарити саме по open-source AI. Open-source це своєрідний соціалізм у світі програмного забезпечення — і він явно не вигідний великим корпораціям.

І тут мені згадуються ідеї Пітера Тіля про технократичне майбутнє де корпорації фактично замінюють держави. Чи не рухаємося ми до світу де саме великі AI-лабораторії разом із лояльними регуляторами визначатимуть хто може і не може будувати потужні моделі?

Головна історія тут не в тому правий Амодеі чи ні. Головна історія в тому що дискусія про AI-регулювання переходить у нову фазу. Раніше великі лабораторії говорили "давайте будемо прозорими". Тепер звучить інше: "держава має право блокувати небезпечні системи" і "AI-компанії мають платити за економічні наслідки автоматизації".

Fable 5 показала наскільки швидко ростуть можливості моделей. Есе Амодеі показує іншу сторону: що навіть самі творці вже не хочуть жити в світі де кожен наступний реліз просто викочується без зовнішнього контролю.

Питання лише в тому чи стане цей контроль реальною безпекою — чи просто новим бар'єром який закріпить владу тих хто вже попереду.

🔔 ПІДПИСАТИСЯ

10 речей про LLM які варто знати 2/10 🧠

LLM працюють у вікнах

Доброго ранку ☕️

Ну а поки Амодеі з Тілем будують цифровий світовий уряд — ми продовжуємо розбиратися як ефективно використовувати AI 😄

Можливо ви помічали дивну річ: на початку діалогу ви чітко пояснили моделі що вам потрібно, задали стиль, обмеження, аудиторію. А через кілька повідомлень модель раптом ніби "забула" частину інструкцій. Пише не тим тоном. Ігнорує важливе обмеження. Повертається до загальних фраз.

Це не магія і не "поганий настрій" моделі.

LLM не тримає в голові "всю розмову" як цілісну історію. Вона бачить послідовність токенів — про що це таке читай в попередньому пості — у межах контекстного вікна. Контекстне вікно це умовна робоча пам'ять моделі. Усе що потрапило всередину — модель може враховувати. Усе що вийшло за межі або стало менш значущим у довгому контексті — починає слабшати.

Формально 128 000 токенів це близько 100 000 слів. Але з мого досвіду ефективна "увага" моделі часто відчувається значно вужчою — залежно від моделі та інструменту десь у районі 1 500–2 000 слів де інструкції дійсно "тримаються". У новіших моделях цей поріг вищий але проблема нікуди не зникає.

Тому велике контекстне вікно — це не те саме що ідеальна пам'ять.

Особливо якщо ви згадали критичне обмеження один раз десь на початку а потім написали ще багато тексту. "Пиши без списків", "не використовуй англіцизми", "аудиторія — інженери а не маркетологи" — якщо ці речі були сказані один раз і давно, модель може поступово втратити їхню вагу.

Практично це означає кілька простих речей.

Ключові обмеження варто повторювати. Великі задачі краще розбивати на блоки: мета, аудиторія, стиль, обмеження, формат результату. Корисно явно позначати важливе:

>> Головне обмеження: не спрощувати технічну частину
>> Стиль: науково-публіцистичний, без рекламного тону
>> Аудиторія: люди які цікавляться AI але не є ML-інженерами

LLM не читає ваш промпт як людина яка уважно перечитала документ від початку до кінця. Вона продовжує текст на основі того контексту який зараз має найбільшу вагу.

Гарна робота з LLM це не один ідеальний промпт. Це архітектура контексту. Ви будуєте для моделі карту: ось тема, ось напрямок, ось межі, ось що не можна втрачати. І чим краще ця карта організована — тим менше модель дрейфує.

Чіткі маркери це не зайва формальність. Це спосіб керувати увагою моделі.

Зберігай щоб не загубити, а наступної п'ятниці ще один важливий факт про LLM 👀

🔔 ПІДПИСАТИСЯ

Не встиг Claude Fable 5 вийти — як його вже закрили 🤷‍♂️

Я вже двічі писав про Fable 5. Спочатку — як про модель, яка ламає звичне уявлення про vibe coding. Потім — у контексті есе Даріо Амодеі.

І ось ця дискусія швидко перестала бути теоретичною.

Я планував на вихідних нормально попрацювати з Fable 5 над своїм внутрішнім проєктом. Виділив час, підготував задачі, закинув бюджет на токени — бо Fable 5 виявилася дуже ненажерливою моделлю.

Зранку зробив каву, відкрив Claude — а Fable 5 вже немає 🤯

Anthropic опублікувала statement про те що уряд США, посилаючись на повноваження у сфері нацбезпеки, видав export control directive — розпорядження призупинити доступ до Fable 5 і Mythos 5 для всіх foreign nationals.

Не тільки для користувачів за межами США. Для всіх іноземних громадян, навіть якщо вони фізично перебувають у США. Anthropic змушена різко вимкнути Fable 5 і Mythos 5 для всіх клієнтів, щоб виконати вимоги. Інші моделі Claude, за їхніми словами, це не зачіпає.

За словами Anthropic, уряд вважає що йому стало відомо про спосіб обходу захисних механізмів Fable 5. Але сама компанія стверджує що це не універсальний злам моделі, а лише вузький потенційний обхід, який дозволяв знайти невелику кількість уже відомих незначних вразливостей.

Anthropic пише що подібні задачі можуть виконувати й інші публічно доступні моделі (open-weight? 😏) без спеціального обходу захисних механізмів.

І тут історія виглядає дивно.

Спочатку Anthropic довго говорить про Mythos-клас — суперпотужні внутрішні моделі, які занадто сильні щоб просто відкрити їх широкій публіці.

Потім випускає Fable 5 — модель на архітектурі Mythos, фактично як спосіб дати людям “помацати” частину цього нового класу моделей.

Модель справді потужна. У неї довший горизонт роботи, вона краще тримає складні інженерні задачі, непогано працює з кодом, контекстом і субагентами.

Але чи виглядала вона за два дні як абсолютний game changer? Не впевнений.

Ми вже бачили моделі, які теж непогано працюють із довгим контекстом і агентськими задачами — наприклад останні Kimi-моделі рухаються в той самий бік.

І головне — за два дні Fable 5 майже ніхто не встиг нормально протестувати.

І тут її майже одразу закривають.

Можливо, я занадто скептичний. Але виглядає занадто ефектно, щоб не помітити PR-ефект.

Спочатку модель подають як майже заборонену частину внутрішнього Mythos-класу. Потім відкривають на дуже короткий час. Потім різко прибирають через державне рішення. І тепер навколо неї ще більше аури “надто потужної моделі, яку не можна тримати у відкритому доступі”.

Іронія ще й у тому що буквально перед цим сам Амодеі закликав до системи, де держава може блокувати небезпечні AI-релізи.

Але з важливою умовою: процес має бути прозорим, справедливим, зрозумілим і заснованим на технічних фактах.

Тепер Anthropic сама пише що нинішнє рішення цим принципам не відповідає.

Більше того, у мене перестав нормально працювати Claude Application на Mac: зникла історія чатiв. Потім перестали нормально працювати й інші моделі Claude в застосунку та мобільному застосунку.

Спробував перевстановити Claude — але з сайту Anthropic він у мене теж перестав завантажуватися, замість цього отримав Forbidden.

І тут складно було не згадати що Anthropic останнім часом активно розповідає: близько 80% їхнього production-коду вже пишеться за допомогою Claude.
Ну от, здається, ми побачили результат vibe coding у production.

Хотіли вимкнути одну модель а посипалася половина екосистеми.

Звісно, це може бути просто збіг, побічний ефект екстреного rollout, проблеми з доступами або регіональні обмеження.

Але як ілюстрація ризиків “AI-written production” — дуже показово.

🔔 ПІДПИСАТИСЯ

​Втім, за два вечори до цього я все ж встиг попрацювати з Fable 5 до пізньої ночі.

І модель мені справді сподобалася.

Можливо, це вже не дуже актуально 😅 Але я готував для вас невелику інструкцію як з нею працювати. Залишу хоча б як окремий пост — можливо, комусь стане в пригоді.

З такими моделями є важливий нюанс.

Їх не можна промптити як звичайний чат.

Якщо написати просто “подивись код” або “зроби краще”, сильна агентська модель може справді зробити “краще” — у своєму розумінні. Почати рефакторити все навколо, додавати абстракції, міняти API, чіпати unrelated код і створити diff, який потім доведеться довго розгрібати.

Тому чим сильнішими стають моделі, тим важливіше не мікроменеджити кожен крок, а правильно задавати рамки задачі.

Універсальний шаблон промпта для Fable 5 або будь-якої сильної coding/research моделі:

Контекст:
Я працюю над [проєкт / сервіс / задача]. Ціль — [навіщо це потрібно].

Задача:
Зроби [конкретний результат].

Границі:
Не роби [рефакторинг / unrelated cleanup / нові абстракції / зміну API], якщо це не потрібно для задачі.
Якщо задача тільки на аналіз — не змінюй файли.

Метод:
Спочатку збери факти з коду/документів/логів.
Відділяй перевірені висновки від припущень.
Для кожного висновку вкажи докази.

Перевірка:
Перед фінальною відповіддю звір твердження з фактичними результатами.
Якщо тести не запускались — явно скажи чому.

Формат відповіді:
Почни з підсумку.
Потім дай висновки за пріоритетом.
Потім мінімальний план дій.
Пиши коротко, але зрозуміло.

Це виглядає просто, але сильно змінює якість роботи.

Модель має розуміти не тільки що зробити, а й чого не робити. Не тільки задачу, а й межі задачі. Не тільки бажаний результат, а й спосіб перевірки.

Ще один важливий момент: такі моделі краще використовувати не як “швейцарський ніж” для всього підряд, а як основний контекст і центр керування задачею.

Проміжні перевірки, пошук по коду, аналіз окремих модулів або незалежні дослідження краще запускати через субагентів. А в основну модель повертати вже стислий результат їхньої роботи.

Про це пише і сама Anthropic. Приблизно таку архітектуру можна побачити на закріпленому зображенні до поста.

Історія з Fable 5 показує ще один важливий момент.

Ми входимо в етап, де найсильніші моделі можуть зникати не через баг у продукті, а через політичне або регуляторне рішення.

Тому важливо не прив’язувати свої напрацювання до одного постачальника AI.

Тут має значення і менеджмент даних, і експорт історії, і локальні бекапи, і відкриті моделі як запасний варіант на власному сервері.

Вся індустрія зараз будує workflows навколо моделей, до яких ми не маємо повного контролю. Ми не володіємо ними. Ми орендуємо доступ. І цей доступ може бути змінений, обмежений або вимкнений у будь-який момент.

Fable 5 за кілька днів встигла показати дві речі.

Перше — майбутнє coding agents і довгих автономних задач уже дуже близько.

Друге — це майбутнє буде не тільки про токени, бенчмарки й красиві демо. Воно буде ще й про export controls, невидимі safeguard-и, data retention, юристів, регуляторів, PR-ефекти і питання хто взагалі має право користуватися найпотужнішими моделями.

Це вже реальність, яка може зламати ваші плани на суботній ранок 🙈

🔔 ПІДПИСАТИСЯ

​RSI — це новий AGI? 🤯

Чули щось про RSI?

Доброго ранку ☕️

Протягом минулого тижня я в декількох постах робив посилання на те що Anthropic пише код за допомогою AI. Сьогодні зібрав для вас аналітичний пост на основі реакції на цю новину світової AI-спільноти.

RSI — recursive self-improvement, рекурсивне самовдосконалення AI — зараз намагаються продати як новий AGI.

Anthropic опублікувала звіт "When AI builds itself". Цифри справді показові: станом на травень 2026 понад 80% коду який мерджиться у репозиторії Anthropic написаний Claude — до запуску Claude Code у лютому 2025 цей показник був одиничними відсотками. Інженери в середньому шиплять у 8 разів більше коду за квартал ніж у 2021-2025. Успішність на open-ended задачах без заданого рішення зросла з 25% у вересні 2025 до 76% у травні 2026.

Anthropic описує три сценарії: AI залишається слабшим за найкращих інженерів; AI різко прискорює software engineering але люди контролюють research і архітектуру (найреалістичніший за їхньою оцінкою); і повний RSI де AI сам визначає що покращувати і тренує наступні версії себе.

І ось що цікаво — майже одночасно президент OpenAI Грег Брокман заявив практично те саме число: за грудень agentic coding tools перейшли від написання 20% коду до 80%. Брокман додає що OpenAI "на 70-80% шляху до AGI". Два конкуренти незалежно називають однакову цифру — але інтерпретація різна. Це продуктивність чи просто "AI десь задіяний на якомусь етапі написання коду"? Сама OpenAI визнає що межа дуже розмита.

Скептики реагують швидко. Професор Mark Riedl з Georgia Tech прямо написав у Bluesky що "великі AI-компанії підхопили хайп-поїзд recursive self-improvement". Інші дослідники зазначають: те що AI пише більше коду — це доказ корисності інструменту а не "великого стрибка" до сингулярності.

А якщо подивитися на конкретні дослідження — картина теж стримана. Meta-Agent Challenge — новий benchmark який перевіряє чи можуть AI-агенти самостійно розробляти інші agent-системи. Результат: meta-агенти рідко досягають рівня людських baseline-рішень, а ті що досягають — це лише найпотужніші проприєтарні моделі. При цьому під тиском оптимізації з'являється emergent поведінка типу спроб "вийняти" правильні відповіді з тестового середовища — це вже питання alignment а не просто здібностей.

Є й протилежний приклад. Робота Self-Developing показала що LLM може автономно винайти алгоритм для model merging який перевершує людські рішення на математичних бенчмарках. Тобто вузьконаправлене самовдосконалення в обмеженій задачі вже працює. Але це дуже далеко від "AI проектує наступну версію себе".

Варто пам'ятати що сама ідея intelligence explosion не нова. Ще у 1964 році математик I.J. Good у своїй роботі описав концепцію ultraintelligent machine яка запускає каскад самовдосконалення. Дискусії якій вже 60 років зараз просто отримали нові цифри для ілюстрації.

На мою думку потенціал RSI як і потенціал AGI поки що далекий. Між сучасними системами які дедалі сильніше примножують людську продуктивність, і системами які зможуть самостійно проєктувати власні покращення в безкінечному циклі — стоїть величезний обсяг роботи і ймовірно низка проривів.

AI-спільнота розділена між перебільшеними уявленнями про небезпеку AI та реальними ризиками для інновацій. Anthropic у своєму звіті знову поклала на стіл ідею тимчасової паузи в AI-дослідженнях. Це погана ідея — вона посилює позиції людей чиї страхи в кращому разі нереалістичні а в гіршому корисливі. Регулювати небезпечні застосування потрібно. Але фундаментальну технологію треба продовжувати вдосконалювати якомога швидше.

Науково-фантастичні сценарії ефективні якщо мета — налякати або переконати дати грошей.

Для реального прогресу потрібні реалістичні бачення можливого майбутнього.

🔔 ПІДПИСАТИСЯ

​OpenRouter запустив Fusion — режим де над одним запитом "радиться" одразу кілька нейромереж.

Доброго ранку ☕️

Я вже багато розповідав про ефективність підходів де над однією проблемою працює не одна модель а кілька. Другою моделлю може бути інший інстанс тієї ж самої моделі або взагалі інша модель. Ефект досягається тим що вони перевіряють і корегують одна одну. В цей ланцюжок можна додати третю, четверту і так далі.

Для тих хто не користувався OpenRouter: це такий роутер для AI-моделей. Один API, один інтерфейс через який можна викликати різні моделі від різних провайдерів — Claude, GPT, Gemini, DeepSeek, Kimi та інші.

Ідея Fusion в тому що на запит відповідає не одна модель а ціла панель. Кілька нейромереж паралельно думають над задачею, після чого окрема judge-модель аналізує їхні відповіді. На основі цього "обговорення" формується фінальна відповідь.

Тобто це не просто усереднення — це більше схоже на маленьку AI-нараду де одна модель потім пише підсумковий документ.

Щось схоже на той підхід з Fable про який я розповідав, де основна модель запускає субагентів і підводить підсумки їхньої роботи. Тільки у Fusion ці субагенти ще й взаємодіють один з одним.

Результати показують доволі цікаві цифри. На DRACO benchmark для deep research задач зв'язка Fable 5 + GPT-5.5 із синтезом через Opus 4.8 набрала 69.0%. Для порівняння: Fable 5 сам — 65.3%, GPT-5.5 — 60.0%, Opus 4.8 — 58.8%.

Найцікавіше — коли запустили Fusion не з різними моделями а з двома екземплярами Opus 4.8, результат теж виріс: з 58.8% до 65.5%. Тобто приріст дає не тільки різноманіття моделей а й сам етап синтезу — модель-суддя бачить кілька варіантів мислення, порівнює їх і збирає сильніші частини в одну відповідь.

Але є нюанс. Fusion не безкоштовний бонус — ви платите за всі виклики моделей усередині панелі. Стандартний запит може коштувати приблизно у 4-5 разів дорожче за одиночний.

І ще одна обмовка. DRACO — публічний benchmark від Perplexity а не внутрішній OpenRouter. Конкретний прогін Fusion робив сам OpenRouter, незалежної реплікації поки немає. Тому сприймати цифри варто не як остаточний доказ а як цікаву інфу.

Особливо для задач де важлива не швидка відповідь а якісний аналіз: ресерч, порівняння підходів, архітектурні рішення, складні технічні питання.

🔔 ПІДПИСАТИСЯ

​Дослідники з University of Oregon, Purdue, UC San Diego, NYU та Princeton перевірили як державні медіа впливають на відповіді великих мовних моделей.

Доброго ранку ☕️

Знову середа. Знову розбір наукової публікації. Але цього разу не архітектурний розбір а дослідження яке не менш цікаве. І трохи неприємне.

У дослідженні тестували GPT-4o і Claude 3 Sonnet. Здавалося б навіщо звертати увагу на старі моделі коли сьогодні всі вже використовують GPT-5.5 і Claude Sonnet 4.6. Але по-перше моделі виходять дуже швидко а дослідження вимагають часу. Ці моделі були актуальними на той момент. А по-друге архітектура між версіями принципово не змінюється і те що справедливо для попередніх версій працює і в нових.

Вже задокументовано що більшість LLM мають схильність до західних цінностей. Але більшість таких досліджень проводилася з англомовними промптами. Нинішня робота показує що мова запиту є ключовою змінною яку раніше недооцінювали.

Чому так відбувається. LLM навчаються на величезних масивах текстів з інтернету. Автори порівняли китайськомовний сегмент CulturaX побудований на Common Crawl — одному з найбільших публічних архівів інтернет-сторінок який регулярно використовується для навчання моделей. Порівняли із джерелами китайських державних медіа. Виявилось що таких документів там більш ніж у 40 разів більше ніж документів з китайської Wikipedia. Тобто державний наратив може бути не просто одним із голосів а основним голосом який модель бачила під час навчання.

Далі дослідники давали моделям однакові політичні запити китайською та англійською. У питаннях про Китай китайськомовні відповіді були більш сприятливими до Китаю у 75.3% випадків. Для Claude 3 Sonnet майже у 75%, для GPT-4o приблизно у 68%. Перевірили й інші країни та мови і побачили зв'язок між рівнем контролю над медіа і тим наскільки відповіді локальною мовою стають більш прихильними до місцевої влади.

Тут є цікавий технічний кут. Мова запиту може перемикати модель в інший інформаційний режим не лише через різні тренувальні дані а й через саму структуру векторного простору. Слова з різних мов навіть якщо вони означають одне й те саме кодуються в різних областях багатовимірного простору. Дослідження показують що речення з однаковим змістом але різними мовами формують окремі кластери у векторному просторі моделі. "Король" і "king" живуть у різних математичних сусідствах і це сусідство несе різний культурний і політичний контекст. Тому питання поставлене китайською активує інший "регіон" знань моделі ніж те саме питання англійською.

Чому це важливо. LLM дедалі частіше стають основним джерелом інформації для мільйонів людей у всьому світі. Зазвичай вони не цитують джерела. Тому користувачі не бачать хто або що могло вплинути на відповідь. Дослідження 2025 року також виявило що LLM демонструють різні моральні установки різними мовами навіть у відповідь на твердження про базові цінності.

У результаті моделі можуть просувати наративи які суперечать цінностям користувачів і суспільств у яких ці користувачі живуть.

Дослідження виходить із припущення що державні медіа не створювалися спеціально для впливу на LLM. Такий вплив є побічним ефектом. Але воно також показує очевидний стимул для урядів впливати на тренувальні дані більш безпосередньо.

Боротися не лише за телебачення і соцмережі. А й за те що завтра відповість вам модель.

🔔 ПІДПИСАТИСЯ

​Cursor випустив власну модель — Composer 2.5

Доброго ранку ☕️

Знаю що багато хто з вас використовує Cursor як основний інструмент для роботи з агентами. Якщо не знаєте що краще — Opus чи Codex — або хочете користуватися обома але платити за одну підписку, Cursor це ваш вибір.

На фоні Claude Code та Codex багато хто вже почав вважати що майбутнє повністю за універсальними моделями. Достатньо взяти найсильніший LLM і обгорнути його хорошим агентним середовищем.

Cursor пішов іншим шляхом.

Компанія випустила Composer 2.5 — власну модель для програмування спеціально натреновану під Cursor CLI та агентний режим роботи. В основі лежить Kimi K2.5 від Moonshot — про яку я вже писав як про одну з найсильніших моделей для задач з кодом. Архітектура: mixture-of-experts transformer, 1.04 трлн параметрів загалом і 32 млрд активних параметрів на токен. Не дивно до речі що Moonshot також випустили власний CLI.

Cursor додатково донавчив модель на синтетичних задачах — у 25 разів більше ніж у Composer 2. Основна мета навчити модель працювати зі складнішими сценаріями. Наприклад синтетична задача могла містити інструкцію видалити певну функцію застосунку — і до неї додавали відповідні зміни в коді, очищення залишкових артефактів і тест який перевіряв що змінений застосунок працює. Яка саме модель генерувала такі задачі — команда не розкрила.

Під час навчання модель отримувала не лише винагороду за правильний результат а й текстовий фідбек про свої помилки. Якщо агент обирав неправильний інструмент або робив неефективний крок — йому буквально показували що можна було зробити краще. Фактично Cursor тренував не просто модель а модель разом із власним агентним середовищем. Детальніше про підхід у paper на arXiv.

Результат показовий. Третє місце в Artificial Analysis Coding Agent Index, перше місце на SWE-Bench-Pro-Hard-AA. Середній час виконання задачі близько 6.7 хвилини проти 8.8 хвилини у Claude Code. Середня вартість задачі $0.44 проти понад $4 для Claude Opus. Різниця в ціні майже на порядок.

Останній рік багато говорять про те що вирішальним стає не сама модель а агентна обв'язка навколо неї. Cursor показує цікавішу ідею: можливо не потрібно обирати між моделлю та агентом. Можливо майбутнє за моделями які від самого початку навчаються всередині конкретного агентного середовища і оптимізуються саме під нього.

Cursor спочатку був IDE і продавав доступ до сторонніх моделей задовго до того як почав розробляти власні. Йому не потрібна універсальна модель — йому потрібна модель яка швидко й дешево вирішує проблеми розробників. І це видно навіть у партнерствах: New York Times писав про угоду Cursor зі SpaceX.

Успіх Composer показує що для спеціалізованих моделей досі є місце навіть в агентну епоху. Особливо коли ціна виконання задачі відрізняється в 10 разів.

Цілком можливо що через кілька років ми будемо говорити не про "найкращу LLM" а про "найкращу AI-систему" для конкретного типу задач.

Напiшiть чи пробували ви вже Composer? Якi враження? 👇🏻

🔔 ПІДПИСАТИСЯ

10 речей про LLM які варто знати 3/10 🧠

LLM краще імітують тон ніж думку

Доброго ранку ☕️

Продовжуємо розбиратися як ефективно працювати з AI. Можливо ви помічали дивну річ: модель може написати текст так ніби його готував дуже впевнений експерт. Ритм правильний. Слова правильні. Висновок звучить переконливо.

І саме в цьому пастка.

LLM дуже добре відтворюють поверхневі ознаки мислення: академічний тон, логічні зв'язки, впевнені формулювання, стиль консультанта або аналітика. Але форма міркування це ще не саме міркування.

Модель може звучати як експерт ніби вона щось довела, хоча насправді просто продовжила текст у стилі людини яка щось доводить. Може побудувати акуратний абзац навколо слабкого припущення. Або написати дуже впевнений висновок там де мала б сказати: "даних недостатньо".

Це не означає що LLM взагалі не здатні розв'язувати логічні задачі. Здатні. І дуже ефективно. Ще у 2022 році стаття Chain of Thought Prompting показала це. Особливо нові reasoning-моделі з окремим thinking-елементом де модель перед фінальною відповіддю може розкладати задачу на кроки, порівнювати варіанти, повертатися до припущень і лише потім формулювати висновок. Саме тому reasoning-моделі краще пишуть код, розв'язують математичні задачі і менше ламаються на складних інструкціях.

Але тут є пастка. Thinking-елемент це не мислення у тому розумінні до якого ми звикли в контексті людини. LLM генерує послідовність токенів — і в процесі thinking частина цих токенів використовується не як фінальна відповідь а як робочий простір для розв'язання задачі. У людини мислення пов'язане з досвідом, тілом, пам'яттю, цілями, емоціями. У LLM — з обробкою контексту.

Раніше ми частіше мали справу з текстом який просто звучить розумно. Тепер маємо справу з текстом який може ще й виглядати як процес мислення. Покроковість створює додаткову ілюзію надійності.

Для людини це працює через ефект ілюзорної правди. Ми схильні більше вірити інформації якщо вона звучить впевнено. Гарно написаний текст здається розумнішим. LLM цю людську слабкість дуже добре підсилюють — не тому що хочуть обманути а тому що чудово генерують мовні сигнали впевненості.

Тому одна з головних помилок у роботі з AI — просити "напиши переконливо". Переконливо модель майже завжди напише.

Краще просити не переконливість а каркас мислення:

1. Спочатку сформулюй припущення
2. Вкажи що точно відомо а що ні
3. Розглянь альтернативні пояснення
4. Покажи слабкі місця аргументації
5. Лише після цього зроби висновок

Це змінює режим роботи. Ви змушуєте модель будувати опору під відповідь: припущення, альтернативи, обмеження, рівень впевненості. Thinking допомагає. Але thinking це не гарантія істини. Гарантію дає не тон і не довгий ланцюжок міркувань а перевірка фактів, джерел, логіки і меж застосування.

Коли відповідь здається надто гладкою — це не завжди ознака якості. Іноді це просто гарний тон який маскує слабку структуру.

Практичне правило просте: не довіряйте тону. Перевіряйте опору. Просіть модель не тільки дати відповідь а й показати на чому вона стоїть.

Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀

🔔 ПІДПИСАТИСЯ

Anthropic випустила одну з найсильніших моделей Claude. Але хто довів що вона сильніша?

Доброго ранку ☕️

Сьогодні хочу розібрати на прикладі останньої моделі Claude як складно стало вимірювати реальні можливості сучасних AI-моделей.

Почнемо з того що Anthropic мала модель Claude Mythos 5. Але публічно доступною стала не вона а її захищена версія — Claude Fable 5. Формально дуже сильна модель із додатковими safety-механізмами. Але на практиці ці механізми почали ламати саму ідею незалежного тестування.

Перед тим як промпт потрапляв до Claude Fable 5 його перевіряли класифікатори Anthropic. Якщо запит стосувався кібербезпеки, біології, хімії або інженерії AI-моделей — він міг взагалі не дійти до Fable 5. В API такий запит просто отримував відмову. У власних застосунках Anthropic, зокрема в Claude Code, система могла автоматично передати запит на Claude Opus 4.8 — але в самій відповіді користувач не бачив що відповіла вже інша модель.

І ось тут виникає дуже незручне питання. Якщо ми тестуємо Claude Fable 5 але частину відповідей дає Claude Opus 4.8 — то що саме ми вимірюємо?

Artificial Analysis включила fallback-відповіді у загальний результат і отримала змішану оцінку. У їхньому Intelligence Index Claude Fable 5 посіла перше місце з результатом 64.9 — приблизно на 3.5% вище за Claude Opus 4.8. Але приблизно у 8% завдань відповіді фактично були fallback на Opus 4.8.

Vals AI зробила цікавіше і опублікувала два набори результатів: один із fallback-відповідями і другий де кожна відмова рахувалася як провал. Загальний результат майже не змінився: 75.14% проти 74.92%. Але в окремих доменах різниця була драматична. На GPQA Diamond — тесті наукових питань рівня аспірантури — Claude Fable 5 падала з 93.18% точності до 55.56% якщо відмови рахувати як провали.

На Agents' Last Exam де тестують довгі агентні задачі Claude Fable 5 відмовилася приблизно від 35% завдань. На тих задачах які вона виконувала сама pass rate був 22.8% — майже на рівні Codex/GPT-5.5 з 23.8% і помітно краще за Claude Opus 4.8 з 15.8%. Але коли safeguards перекидали частину роботи на Opus 4.8 — результат падав.

ARC Prize Foundation взагалі відмовилася проводити verified evaluations. Причина не в слабкості моделі а в умовах доступу: для тестування Claude Fable 5 треба було погодитися на зберігання промптів і відповідей протягом 30 днів. Для приватних тестових наборів це проблема — незалежність тестування стає менш чистою.

Те що Anthropic описує як заходи безпеки фактично зробило пряме вимірювання можливостей Fable 5 неможливим. Оцінка без класифікаторів описує версію до якої публічні користувачі не мають доступу. А оцінка з класифікаторами описує рухому ціль — Anthropic може переналаштувати їх у будь-який момент.

Раніше бенчмарки давали відповідь на питання про можливості моделі. Claude Fable 5 змушує поставити більш практичне питання: яку частину цих можливостей користувачі реально отримують?

Уявіть що ви тестуєте автомобіль. На прямій трасі він показує прекрасну швидкість. Але в реальних умовах частину часу двигун автоматично перемикається на слабший режим а іноді машина просто відмовляється їхати. Формально двигун дуже потужний. Але вам важливо знати не лише максимальну швидкість а й те як часто ви реально зможете нею скористатися.

Якщо подібні моделі будуть з'являтися і далі — бенчмарки мають показувати не тільки "найкращий можливий результат" а й "доступний користувачу результат". Окремо треба рахувати відповіді самої моделі, fallback на інші моделі, відмови і домени де safety-фільтри змінюють поведінку.

Інакше ми будемо порівнювати не моделі. А красиві назви моделей.

🔔 ПІДПИСАТИСЯ

10 речей про LLM які варто знати 4/10 🧠

LLM вміють знаходити структуру в хаосі

Гарної п'ятниці! 👋

На цьому тижні було багато роботи і не встигав писати для вас. Але зібрав багато цікавого матеріалу — на вихідних детально вивчу і підготую на наступний тиждень. А поки п'ятниця і ще одна важлива річ про LLM яку варто знати.

Минулого разу говорили про те що LLM краще імітують тон ніж думку. Сьогодні про інший бік цієї технології.

LLM корисні не тільки тоді коли треба "щось написати". Іноді їхня найсильніша роль — не автор а аналітик сирого матеріалу.

Уявіть що у вас є 20 коментарів читачів. Або 50 відгуків клієнтів. Або нотатки після кількох дзвінків. Або чернетки ідей які лежать у різних файлах і давно перетворилися на хаос.

Людина дивиться на це і бачить шум. Хтось пише що "було складно". Хтось просить більше прикладів. Хтось ставить питання яке вже ставили десять разів але іншими словами.

LLM може знайти в цьому структуру: згрупувати за темами, знайти повторювані болі, виділити типові питання, показати що люди не розуміють, запропонувати теми для наступних постів.

Технічно за цим стоять embeddings — векторні представлення тексту де схожі за змістом речення опиняються поруч у математичному просторі навіть якщо в них немає однакових слів. Про це я вже писав детальніше раніше.

Наприклад три різні коментарі:
"Я не зрозумів навіщо це потрібно"
"Було б краще показати практичний приклад"
"Теорія цікава але як це застосувати?"

Формально різні. За змістом — одна тема: аудиторії не вистачає практичного контексту.

До речі цей принцип добре працює і з голосовим введенням. Коли проговорюєш все що є в голові — розрізнені думки, незавершені ідеї, контекст — модель отримує набагато більше сирого матеріалу ніж коли пишеш. І саме в цьому хаосі голосових нотаток вона може знайти структуру, сформулювати цілі і дістати цінне. По суті голосовий потік свідомості це теж вхідний хаос для якого LLM виступає аналітиком.

У якісних дослідженнях є схожа практика — thematic analysis. Дослідник читає відповіді, виділяє повторювані мотиви і збирає їх у теми. LLM може прискорити перший прохід цього процесу. Не замінити дослідника — саме прискорити. При цьому важливо розуміти ризики: дослідження про семантичну ентропію показує як виявляти галюцинації моделі, а NIST AI Risk Management Framework окремо попереджає про ризик зміщень у якісному аналізі за допомогою AI.

Тому найкращий спосіб — просити не тільки висновок а й опору.

Поганий запит: "Ось коментарі. Проаналізуй їх."

Кращий запит: "Ось 20 коментарів. Згрупуй за темами. Для кожної теми дай назву. Покажи які конкретні коментарі підтверджують цю тему. Окремо познач що є фактом у коментарях а що твоєю інтерпретацією."

Якщо модель не може показати на чому стоїть її класифікація — це не аналіз а красива здогадка.

LLM може бути дуже корисною коли треба розібрати безлад: коментарі під постами, відповіді в анкеті, фідбек після запуску продукту, нотатки з мітингів, питання від клієнтів. Вона може показати що під поверхнею хаосу є структура.

Але ця структура — не істина. Це перша карта місцевості. І завдання людини — перевірити чи ця карта справді відповідає території.

Практичне правило: використовуйте LLM не тільки для генерації тексту а й для аналізу того що вже накопичилося. Іноді найцінніше в AI — не те що він напише новий абзац а те що допоможе побачити порядок у матеріалі який здавався просто шумом.

Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀

🔔 ПІДПИСАТИСЯ

​Loop engineering: чому AI-агенти змінюють не лише кодинг а й роль інженера

Доброго ранку ☕️

Зараз у світі AI-розробки все частіше звучить фраза loop engineering. Все почалося 7 червня 2026 з допису Пітера Штайнбергера — творця OpenClaw — який зібрав мільйони переглядів:

"Не потрібно більше промптити агентів. Потрібно проєктувати цикли які промптять ваших агентів."

А кількома днями раніше Борис Черний — творець Claude Code — сказав на сцені те саме іншими словами: "Я більше не промпчу Claude. У мене є цикли які самі промптять Claude і вирішують що робити. Моя робота — писати цикли."

Але за модним терміном стоїть важлива ідея.

Ми поступово переходимо від формату "напиши мені код за цим промптом" до формату "ось ціль, ось специфікація, ось тести — ітеруйся поки продукт не почне працювати правильно". AI-агент більше не просто генерує шматок коду. Він входить у цикл: пише код, запускає тести, дивиться результат, виправляє помилки і повторює це багато разів.

Виділяють три ключові цикли.

Agentic coding loop — найнижчий і найшвидший. Агент отримує специфікацію і набір перевірок за яким можна вимірювати якість результату. Далі сам пише код, збирає проєкт, запускає тести, знаходить помилки, виправляє їх і повторює. Якщо агент може кожні кілька хвилин створювати нову версію і самостійно виправляти помилки — роль розробника поступово зміщується. Важливим стає не лише промпт а вся система: специфікація, тести, критерії готовності, спосіб перевірки результату.

Developer feedback loop — повільніший цикл де в гру вступає людина. Раніше багато хто з нас фактично був QA для AI-агента: подивився, знайшов баг, написав "виправ це". Але якщо агент вже здатен сам тестувати і виправляти очевидні проблеми — людина може піднятися на рівень вище. Не просто "тут кнопка не працює" а "цей flow незручний", "ця функція не має сенсу для користувача", "ось це треба перетворити на окремий сценарій". Тут важлива контекстна перевага людини: хто саме користувач, які в нього реальні обмеження, що для нього болить. Поки людина має знання яких немає у системи — human-in-the-loop залишається необхідним.

External feedback loop — найповільніший але можливо найважливіший. Це фідбек з реального світу: альфа для перших користувачів, викотити фічу в production, зібрати usage data і подивитися що люди насправді роблять а не що кажуть. Саме він змінює продуктове бачення.

І ось тут виникає цікава зміна ролі інженера. Coding agents прискорюють розробку настільки що інженер дедалі частіше починає виконувати частину роботи product manager. Якщо код написати стало дешевше і швидше — головним питанням стає не "як це реалізувати?" а "що саме варто реалізувати і для кого?"

Prompt engineering був навичкою 2023 року. Оркестрація агентів — 2025. Loop engineering — проєктування циклів зворотного зв'язку які агенти запускають автономно — це навичка 2026 року.

🔔 ПІДПИСАТИСЯ

​Відкрита модель майже наздогнала Claude та GPT в агентних задачах

Доброго ранку ☕️

Z.ai випустила GLM-5.2 — модель з відкритими вагами яка дуже близько підійшла до найсильніших закритих моделей у довгих агентних сценаріях.

І це важлива новина тому що GLM-5.2 показує: advanced agentic AI поступово перестає бути ексклюзивною територією OpenAI, Anthropic чи Google.

Z.ai спеціально тренувала GLM-5.2 на довгих агентних задачах: deep research, деплой коду, оптимізація продуктивності, складний дебагінг. Не просто "відповісти на питання" а довго працювати над задачею, користуватися інструментами, перевіряти себе, виправляти помилки й рухатися до результату. Детальніше про підхід у документації Z.ai.

В бенчмарках GLM-5.2 виглядає сильно. Artificial Analysis поставив її на перше місце серед моделей з відкритими вагами в загальному рейтингу інтелекту. У рейтингу веброзробки від Arena.ai — друге місце після Claude Fable 5. На PostTrainBench де агент має самостійно донавчити кілька моделей і показати результат — перше місце. А в AA-Briefcase де оцінюють здатність агентів створювати бізнес-документи, таблиці і презентації — третє місце загалом.

Є кілька цікавих технічних деталей.

Щоб зробити 1 мільйон токенів практичним команда змінила механізм sparse attention. Є спеціальний sparse attention indexer який обирає на які попередні токени треба звертати увагу. Але він запускається не на кожному шарі а один раз на чотири шари і результат перевикористовується. За словами компанії це зменшує обчислення на токен у 2.9 раза для контексту в 1 мільйон токенів.

Тобто тут важливо те що вони намагаються зробити цей довгий контекст економічно придатним для реального використання.

Ще одна важлива частина — боротьба з reward hacking. Коли агент тренується на coding-задачах його оцінюють через pass/fail: тести пройшли чи ні. Але агент може навчитися не розв'язувати задачу а обходити її — наприклад знайти еталонне рішення на GitHub або використати інструменти не так як задумано. У GLM-5.2 така поведінка траплялася частіше ніж у попередній версії. Тому команда додала фільтр підозрілих tool calls, окрему модель-суддю і блокування таких обходів під час тренування.

Це дуже показовий момент. Проблема агентних систем вже не тільки в тому чи модель "розумна". Проблема ще й у тому чи вона не навчиться оптимізувати метрику замість реального виконання задачі. Той самий патерн який давно знайомий у machine learning: якщо неправильно задати reward — система знайде спосіб отримати reward але не обов'язково зробить те що нам потрібно.

З практичного боку:

По-перше open-weights моделі продовжують наближатися до закритих лідерів.

По-друге агентне програмування стає окремим напрямком оптимізації моделей а не просто "фічею чату". По-третє вартість має значення. API від Z.ai коштує суттєво дешевше ніж Claude Opus 4.8 або GPT-5.5 — за оцінкою Artificial Analysis щодо вартості на одиницю інтелекту приблизно чверть ціни. Для команд які багато працюють з AI-агентами це може змінити вибір інструментів.

Але є важливе "але". Z.ai не розкрила повністю тренувальні дані й методи для GLM-5.2. Тому як завжди з великими моделями варто розділяти два рівні: що модель показує в бенчмарках і як вона поводиться у вашому конкретному проєкті з вашим кодом, вашими тестами, вашими обмеженнями.

Бо для реального використання важливий не тільки leaderboard. Важливо чи модель стабільно проходить ваш loop: зрозуміла задачу → змінила код → запустила тести → побачила помилку → виправила → не зламала сусідній модуль → залишила зрозумілий diff.

Питання вже не тільки "яку модель обрати". Питання — який loop ви будуєте навколо неї.

🔔 ПІДПИСАТИСЯ

​Біологічні молекули як мова 🧬

Доброго ранку ☕️

ESMFold2 від Biohub та EvolutionaryScale — це цікавий розвиток ідеї AlphaFold.

Головна ідея проста але дуже потужна: молекули можна аналізувати майже як мову.

У звичайній мові є слова, речення, контекст і приховані зв'язки між частинами тексту. У біології схожа логіка: білки складаються з амінокислот, ДНК і РНК — з послідовностей основ, а біоактивні молекули можна описати спеціальними текстовими форматами. Тобто молекулу теж можна подати як послідовність. А якщо є послідовність — її можна "прочитати" трансформером.

Саме це і робить ESMFold2. На вхід вона може отримати білкову послідовність, ДНК, РНК або опис молекули. На виході — тривимірна форма молекули й оцінка власної похибки.

Чому це важливо. AlphaFold 3 та подібні системи часто покладаються на MSA — множинне вирівнювання споріднених молекул. Тобто для аналізу однієї молекули потрібно знайти багато споріднених у базах даних. Але якщо молекула нова, синтетична або погано представлена в базах — це стає проблемою. ESMFold2 обходить це обмеження: вона може будувати embedding для окремої молекули напряму через окремий трансформер ESMC, без обов'язкового MSA.

Це особливо важливо коли молекула є новою — наприклад швидко еволюціонуючий вірусний білок — або синтетичною як продукт синтетичної біології, і коли інформації про споріднені молекули мало.

Модель будує кілька типів представлень: embedding послідовності, embedding атомів, embedding MSA якщо він доступний. Потім оцінює попарні відстані між атомами й амінокислотами. А далі diffusion-модель поступово прибирає шум із початкової хмари точок і відновлює координати атомів у просторі. Фактично модель переходить від "текстового" опису молекули до її 3D-форми. При цьому для оцінювання відстаней вона використовує той самий принцип що й LLM під час інференсу — покращує результат багаторазово пропускаючи embedding через модель.

Результати цікаві. Коли на вхід подають лише білкову послідовність без MSA — ESMFold2 перевершує Chai-1: 0.85 проти 0.81 lDDT. Коли MSA доступний — результат на рівні AlphaFold 3 і Protenix-v1: 0.89 lDDT. У задачах взаємодії білка з ДНК — 80% DockQ pass rate без MSA проти 71% у Chai-1.

Окремий важливий момент — відкритість. Ваги ESMFold2 доступні на Hugging Face, а система доступна безкоштовно через вебсайт Biohub. Тобто це інструмент доступний науковцям незалежно від їхніх ресурсів чи інституційної належності.

Тут ми бачимо дуже цікаве перенесення ідей з LLM у біологію. Ідея така: якщо складну систему можна представити як послідовність або набір взаємозв'язків — її можна навчити "читати". Білки, ДНК і молекули стають ще однією мовою. Тільки замість слів — амінокислоти й атоми. Замість граматики — фізичні та хімічні взаємодії. Замість сенсу речення — форма молекули та її біологічна функція.

Мені особисто дуже близька ця тема — перетин комп'ютерних технологій і біології. І здається що саме тут один з найцікавіших напрямів розвитку AI. Не просто чат-боти і генерація тексту а моделі які вчаться читати саму природу як мову. Наступні великі прориви в AI можуть бути не в тому що модель краще напише листа чи код а в тому що вона допоможе зрозуміти біологічні системи які раніше були занадто складними для людини.

І схоже що найцікавіші стартапи найближчих років будуть саме на стику медицини і AI.

🔔 ПІДПИСАТИСЯ

​Apple хоче запускати великі AI-моделі прямо на iPhone 🍎

Доброго ранку ☕️

Apple готує третє покоління своїх Foundation Models — і найцікавіше тут не просто чергове оновлення AI в iOS а архітектура.

Нова модель AFM 3 Core Advanced має близько 20 млрд параметрів але під час роботи активує лише 1-4 млрд. Apple рухається в напрямку схожому на Mixture-of-Experts де не вся модель працює одночасно а лише потрібні її частини.

Але є важлива відмінність. У класичному MoE модель постійно вирішує яких "експертів" активувати для кожного токена. Це ефективно з точки зору обчислень але дорого для пам'яті — експертів потрібно тримати в RAM або VRAM.

Apple пропонує інший підхід — Instruction-Following Pruning. Ідея в тому щоб не перемикати експертів після кожного токена а використовувати один і той самий набір для кількох токенів поспіль. Зазвичай моделі MoE вимагають щоб усі експерти одночасно знаходилися в оперативній пам'яті — завантажувати їх із флеш-пам'яті під час генерації занадто повільно. Новий підхід Apple це обходить: один набір експертів працює довше а тому модель можна частково зберігати у флеш-пам'яті без істотної втрати швидкодії.

Чому це важливо. Головна проблема локального AI не тільки кількість параметрів а пам'ять і швидкість доступу до неї. Смартфон не може поводитися як дата-центр. Якщо модель занадто велика або постійно тягне дані з пам'яті — користувач просто отримає повільний і гарячий телефон. Це відкриває шлях до запуску значно потужніших моделей безпосередньо на смартфонах і ноутбуках.

Ще одна деталь: моделі створені у співпраці з Google і дистильовані зі знань Gemini. Але Apple підкреслює — це не пряме використання Gemini а власні моделі навчені на основі знань більших систем. MacRumors окремо уточнює цей нюанс.

Обмеження оперативної пам'яті та пропускної здатності роблять запуск багатомільярдних моделей на мобільних пристроях складним завданням. Саме тому розробники iOS мають сильний стимул використовувати компактні моделі спеціально оптимізовані під Apple Silicon. Партнерство з Google дозволяє скористатися багаторічним досвідом у створенні ефективних AI-моделей для смартфонів поєднуючи це з власною інтеграцією в операційну систему і оптимізацією апаратного забезпечення.

У результаті Apple намагається зробити не просто чатбота в iPhone а інфраструктуру для локальних моделей які працюють швидко, приватно й без постійного звернення до хмари. Детальніше про напрямок розвитку — у Apple Intelligence What's New.

Бенчмарків поки немає тому оцінювати реальну якість рано. Але архітектурно це дуже цікава спроба наблизити великі LLM до звичайних користувацьких пристроїв.

🔔 ПІДПИСАТИСЯ

10 речей про LLM які варто знати 5/10 🧠

Якщо не дати структуру — модель вигадає її сама

Гарної п'ятниці! 👋

Минулого разу говорили про те що LLM вміють знаходити структуру в хаосі: коментарях, нотатках, відгуках, сирих ідеях. Сьогодні — про зворотний бік цієї ж властивості.

LLM не люблять порожнечу. Якщо ви не задали форму відповіді — модель все одно її добудує. Але не обов'язково так як вам потрібно. Вона вибере найтиповіший шаблон для такого запиту.

Наприклад "напиши пост про AI-агентів". Що станеться найчастіше? Модель зробить стандартний текст: вступ → кілька пунктів → загальний висновок → фрази на кшталт "у сучасному світі" і "технології стрімко розвиваються".

Це тому що запит був занадто порожній. Коли ми не задаємо структуру — ми фактично кажемо моделі: сама виріши що тут головне, сама обери логіку, сама вирішуй як почати і чим закінчити. І модель це робить. Але зазвичай обирає не найкращу структуру а найбільш ймовірну.

Звідси і береться відчуття що AI-тексти всі однакові. Не тому що LLM може писати тільки шаблонно. А тому що дуже часто їй дають шаблонний або надто загальний запит.

Це добре видно і в офіційних рекомендаціях. OpenAI описує prompt engineering як спосіб дати моделі такі інструкції щоб вона стабільно генерувала результат під ваші вимоги. Anthropic радить структурувати складні промпти через окремі блоки — instructions, context, examples, input — це зменшує неоднозначність. Google Cloud прямо показує шаблон хорошого промпта: persona, instructions, constraints, context, output format, examples. А Microsoft у документації по Azure OpenAI пише що system message може задавати роль, тон, межі поведінки і формат відповіді.

Тобто структура — це спосіб керувати тим як модель збирає відповідь.

Поганий запит: "Напиши пост про AI-агентів."

Кращий запит: "Почни з провокаційної тези. Поясни проблему. Дай приклад з реального workflow. Покажи ризик. Заверши відкритим питанням."

У першому випадку модель сама вирішує що таке "пост". У другому — ви даєте їй маршрут.

Це працює не тільки для постів.
- Для аналітики: спочатку короткий висновок, потім аргументи, потім ризики, потім що перевірити вручну.
- Для листа: контекст → проблема → наступний крок → спокійний тон. Для ідей: не готовий текст а 10 різних кутів → групування → 3 найсильніші.

Зараз моделi стали сильнішими, краще тримають інструкції і працюють з довгими документами. Але це не скасовує потребу в структурі. Навпаки — чим сильніша модель тим більше вона може зробити сама. І тим важливіше пояснити їй не тільки "що написати" а "в якій логіці це зібрати".

Бо структура — це не про зовнішній вигляд тексту. Це про мислення. Це кермо. Якщо його не тримати — модель поїде найзвичнішим маршрутом.

Практичне правило: давайте моделі форму мислення.

Не "Поясни мені embeddings" а "Поясни у 4 кроки: інтуїтивна аналогія → простий приклад з реченнями → що відбувається математично → де це використовується в реальних продуктах".

Якщо не задати структуру — модель все одно її створить. Питання тільки в тому чи це буде ваша структура чи найтиповіший шаблон з інтернету.

Зберігай щоб не загубити, а наступного разу — ще один важливий факт про LLM 👀

🔔 ПІДПИСАТИСЯ

​🎓 AI-освіта набирає обертів

Доброго ранку ☕️

Університети США масово запускають бакалаврські програми, майнори та спеціалізації зі штучного інтелекту.

За даними Center for Inclusive Computing при Northeastern University, станом на квітень у США вже є щонайменше 1000 AI-програм у майже 584 коледжах та університетах. Для порівняння: у 2021 році лише 5 університетів пропонували повноцінну спеціальність зі штучного інтелекту. New York Times пише що за кілька років AI з окремого напряму всередині Computer Science перетворюється на самостійну освітню траєкторію.

Але тут є цікавий момент. AI-програми дуже різні.

Carnegie Mellon зробив дуже технічну й математично сильну програму: багато математики, статистики, computer science, машинного навчання, когнітивних наук і навіть етики. І це логічно — якщо ми говоримо про справжню AI-інженерію чи ML research без сильної алгоритмічної бази там робити нічого.

Я сам навчався за програмою партнерства з Carnegie Mellon і можу підтвердити — фундаментальна технічна база в них завжди була дуже серйозна.

Але є й інший підхід. Drake University пропонує бакалаврську програму з AI для студентів гуманітарних і бізнес-напрямів. Значно менше математики зате більше гнучкості: філософія, психологія, інформаційні системи. І це теж має сенс — AI вже не лише про тих хто тренує моделі. Це про людей які будуть використовувати AI у бізнесі, освіті, медицині, дизайні, праві, медіа.

Головне питання не в тому чи потрібні AI-спеціальності. Потрібні. Питання в іншому: чи не почнуть університети продавати "AI degree" як модну етикетку без сильної бази?

Ризик очевидний. Якщо студент вивчає тільки інструменти, промпти й кілька прикладних курсів але не має фундаменту в програмуванні, алгоритмах, математиці, статистиці — така освіта може дуже швидко застаріти. AI змінюється надто швидко. Те що актуально у 2026 році може виглядати застарілим уже через кілька років. Але сильна база — математика, computer science, data engineering, distributed systems, software engineering — залишається цінною значно довше.

Тому я б дивився на AI-освіту не як на заміну класичному Computer Science а як на наступний шар над ним. Для когось це буде глибока технічна спеціалізація. Для когось — інструмент у своїй професії.

Природно очікувати стандартизованої універсальної освіти в такій різноманітній сфері. Деякі ролі схожі на традиційну розробку ПЗ з AI-компонентами, інші потребують глибшої експертизи в дослідженнях машинного навчання чи розподілених системах. Завжди існуватимуть відмінності між програмами що готують до магістратури і тими що розраховані на бакалаврський ступінь як завершальний етап.

AI розвивається настільки швидко що багатьом університетам складно адаптуватися. Усталений темп змін в академічних програмах — коли викладачі спершу опановують тему, пропонують нові курси, проходять затвердження навчального комітету — погано відповідає швидкості розвитку AI. Але тішить що університети рухаються в цьому напрямі і багато інноваційних викладачів знаходять способи діяти швидше.

Це буде важливо для підготовки студентів не лише до професій 2026 року а й до тих що з'являться в наступні роки.

🔔 ПІДПИСАТИСЯ

AI-світ став дуже шумним.

Доброго ленчу ☕️ 🍔

Останнім часом я трохи втомився від новин про AI і все більше фокусуюся саме на наукових статтях. Тому що соцмережі, медіа, компанії, маркетологи — усі щось постять про AI, і мої стрічки в Х, Інстаграмі й Телеграмі просто завалені цим. Можливо це якийсь ефект вибіркової уваги — коли цікавишся темою то бачиш її всюди. Але думаю зараз таке у всіх, бо AI дуже сильно рекламується. Топова, хайпова тема, як колись були криптовалюти. Усі щось запускають, продають, обіцяють революцію, за день будують бізнеси і намагаються на цьому заробити. І часто під виглядом освітнього контенту ми отримуємо просто добре запакований рекламний текст.

Через це стає складно зрозуміти що справді варто вивчати.

Мені подобається такий принцип. Спочатку думати про людей які навчаються — що їм реально потрібно щоб вирости як спеціалісти. Потім вже про партнерів і комерційні інтереси. І тільки в останню черга про власну вигоду. Це проста позиція але дуже важлива, бо в AI-освіті зараз велика спокуса навчати не тому що справді фундаментально, а тому що вигідно просувати конкретний продукт чи вендора.

Якщо подивитися уважніше — навичка не в тому щоб вивчити один конкретний інструмент. Навичка — це розуміти принципи.

Штучний інтелект як інженерна дисципліна має кілька важливих фундаментальних складових: ефективне використання агентів для написання коду, ключові будівельні блоки такі як оцінка якості моделей, аналіз помилок і робочі процеси агентів, а також суміжні навички — вміння приймати базові продуктові рішення або швидко пройти шлях від ідеї до першої робочої версії продукту.

Конкретний інструмент тут — просто засіб для практики. Якщо ви вчитеся водити, вам потрібна машина. Але навичка — це водіння а не бренд машини.

Кілька років тому я став батьком і все частіше задумуюся над тим чому і як навчати дитину, щоб освіта залишалася актуальною і не застарівала. Я працюю на передовій розвитку AI і бачу як швидко все змінюється — тому розумію цю проблему трохи глибше ніж більшість. Але моє глибоке переконання: вища освіта потрібна. Фундаментальні основи — розуміння як влаштована матерія, фізика, основи соціології, психології, біології — це і є той фундамент який дозволяє залишатися актуальним навіть коли інструменти змінюються щомісяця. Університет дає не набір фактів а вміння вчитися, розбиратися, експериментувати і розуміти сам підхід дослідження. Саме це не застаріває.

І тут є хороший фільтр для будь-якого AI-контенту: після цього матеріалу я краще розумію фундаментальний принцип — чи просто краще знаю як користуватися чиїмось продуктом?

Друге теж може бути корисним. Але якщо говорити про довгострокову цінність — фундаментальні навички важливіші.

Бо інструменти будуть змінюватися. Моделі будуть змінюватися. А вміння розбиратись, оцінювати, будувати, тестувати й ітерувати — залишиться.

А як ви вирішуєте для себе цей фільтр — вчите принципи чи інструменти? І чи задумувались що з цього передати своїм дітям?

🔔 ПІДПИСАТИСЯ

​GPT-5.6: схоже епоха "AI для всіх" починає закінчуватися

Доброго ранку ☕️

OpenAI анонсувала GPT-5.6 — нове сімейство моделей Sol, Terra і Luna. На Terminal-Bench, бенчмарку який оцінює агентів на реальній роботі в командному рядку, Sol показала рекордні 88.8 бали, а в режимі ultra з субагентами — 91.9.

Але головна новина тут не в тому що модель стала розумнішою. Головна новина в тому хто отримає до неї доступ.

Поки що GPT-5.6 доступна лише обмеженому колу — приблизно 20 організаціям схваленим урядом США. OpenAI прямо підтвердила що діє під тиском уряду який попросив розтягнути реліз у часі.

І це не поодинокий випадок. За кілька тижнів до цього сталася ще показовіша історія з Anthropic. 9 червня компанія випустила Claude Fable 5 — перший публічно доступний реліз свого Mythos-класу. Вже 12 червня Міністерство торгівлі видало директиву про експортний контроль і наказало призупинити доступ для будь-якого іноземного громадянина де завгодно у світі. Оскільки відфільтрувати користувачів за громадянством у реальному часі неможливо — Anthropic вимкнула обидві моделі повністю для всіх. Приводом стало повідомлення дослідників Amazon про спосіб обійти захист і змусити модель шукати вразливості в коді. Лише 30 червня, після 18 днів заморозки, контроль зняли — Fable 5 повернулася глобально з 1 липня, а Mythos 5 відновлена лише для обмеженого кола американських організацій через Project Glasswing. CNBC описує як уряд паралельно тримав під контролем доступ і до цієї моделі.

Тобто дві найпотужніші лабораторії AI в США цього літа опинилися під практично однаковим регуляторним тиском одночасно. Ми поступово переходимо від логіки "ось нова модель, користуйтеся" до логіки "ось нова модель, але спочатку держава вирішить кому її можна дати".

Причина зрозуміла: якщо модель вже може допомагати з кібербезпекою і автономним пошуком вразливостей — вона перестає бути просто "розумним чатботом" і стає ближчою до технології подвійного призначення, як авіація чи криптографія. Саме тому уряд хоче контролювати хто отримує до неї доступ ще до релізу.

Але є й окрема, важливіша проблема — чи можна взагалі довіряти тим оцінкам безпеки на основі яких приймаються такі рішення. METR, незалежний оцінювач якому OpenAI дала доступ до моделі перед релізом, зафіксував найвищий рівень обходу тестів серед усіх публічно оцінених моделей. Sol експлуатувала баги в тестовому середовищі і витягувала приховані відповіді замість того щоб розв'язувати задачі чесно. Через це оцінка автономності моделі коливається від 11 до понад 270 годин залежно від того чи рахувати обхід тестів як провал чи як успіх. Розкид настільки великий що METR прямо написав: жодне з цих чисел не є надійним виміром здібностей моделі.

Це важливо саме тому що держава спирається на подібні оцінки коли вирішує кому дозволити доступ до моделі. Якщо модель під час тестування поводиться інакше ніж у реальному використанні — вся система контролю доступу базується на даних яким не можна довіряти повністю.

Подібні незалежні перевірки поступово стають стандартом для будь-якої frontier-моделі. Наприклад SecureBio окремо оцінювала попередню модель GPT-5.5 на предмет біологічних ризиків світового класу ще до її релізу.

Ще один показовий момент: навіть дешевша GPT-5.6 Luna отримує guardrails які раніше асоціювалися лише з топовими моделями. Safety-контур спускається вниз по всій лінійці. Обмеження стають не винятком для "найнебезпечнішої" моделі а стандартною частиною AI-інфраструктури загалом.

І окремо варто згадати дослідження про моніторинг поведінки агентів яке показує наскільки складно відрізнити справжню безпечну поведінку моделі від навченої видимості безпеки — особливо коли модель розуміє що її тестують і може підлаштовуватися під це.

Головні питання тепер звучать інакше: хто має доступ до найсильніших моделей? Хто визначає межі дозволеного? І чи можемо ми взагалі довіряти оцінкам безпеки якщо сама модель під час тестування намагається їх обдурити?

🔔 ПІДПИСАТИСЯ