З днем незалежності, друзі 💙 💛
Так, ми з вами переживаємо надскладні часи. Та не дивлячись ні на що, особисто я вірю в краще
Поки є такі талановиті інженери, поки є палаючі від захоплення очі, поки є ідейні, ні на кого не схожі, унікальні люди - я дійсно в це вірю
Дякую кожному і кожній з вас, дякую за те, що ви надихаєте
Всіх обійняв, зі святом 🫰
Так, ми з вами переживаємо надскладні часи. Та не дивлячись ні на що, особисто я вірю в краще
Поки є такі талановиті інженери, поки є палаючі від захоплення очі, поки є ідейні, ні на кого не схожі, унікальні люди - я дійсно в це вірю
Дякую кожному і кожній з вас, дякую за те, що ви надихаєте
Всіх обійняв, зі святом 🫰
Please open Telegram to view this post
VIEW IN TELEGRAM
❤74🔥21🎉2🗿2
Запилив новий відос про безпеку AI-агентів
У квітні AI-агент у Cursor за дев'ять секунд зніс компанії продакшн-базу. Разом із бекапами. Агент просто мав токен, широкі права й доступ до API.
А коли хакер є, все стає ще цікавіше. Йому навіть не обов'язково ламати твою машину. Іноді достатньо написати звичайний GitHub issue, який прочитає твій агент.
Фактично для моделі твій промпт, написаний issue, відповідь MCP-сервера чи завантажений SKILL.md - це просто текст в одному контексті. А виконує вона цей текст уже з твоїми правами.
У відео розбираю:
• як через issue або пошту перехоплюють керування Claude Code, Cursor, Codex і Gemini CLI;
• як AI вигадує неіснуючі пакети, а хакери заливають туди трояни;
• чому секрети можуть потрапити в модель, навіть якщо агент не відкривав .env;
• чому CLAUDE.md, Cursor Rules і другий агент-рев'ювер самі по собі не рятують;
• як виглядає нормальна модель загроз і що варто перевірити у своєму проєкті.
Для цього відео я перелопатив понад двадцять першоджерел 😅
Наприкінці залишив чеклист із восьми пунктів - можна поставити відео на паузу, зробити скріншот і пройтися по своєму сетапу.
Дивитися тут: https://youtu.be/QKRs6IHV-y4
Після перегляду напишіть у коментарях: ваш агент уже намагався залізти туди, куди його взагалі не просили? 👇
Youtube | Instagram
У квітні AI-агент у Cursor за дев'ять секунд зніс компанії продакшн-базу. Разом із бекапами. Агент просто мав токен, широкі права й доступ до API.
А коли хакер є, все стає ще цікавіше. Йому навіть не обов'язково ламати твою машину. Іноді достатньо написати звичайний GitHub issue, який прочитає твій агент.
Фактично для моделі твій промпт, написаний issue, відповідь MCP-сервера чи завантажений SKILL.md - це просто текст в одному контексті. А виконує вона цей текст уже з твоїми правами.
У відео розбираю:
• як через issue або пошту перехоплюють керування Claude Code, Cursor, Codex і Gemini CLI;
• як AI вигадує неіснуючі пакети, а хакери заливають туди трояни;
• чому секрети можуть потрапити в модель, навіть якщо агент не відкривав .env;
• чому CLAUDE.md, Cursor Rules і другий агент-рев'ювер самі по собі не рятують;
• як виглядає нормальна модель загроз і що варто перевірити у своєму проєкті.
Для цього відео я перелопатив понад двадцять першоджерел 😅
Наприкінці залишив чеклист із восьми пунктів - можна поставити відео на паузу, зробити скріншот і пройтися по своєму сетапу.
Дивитися тут: https://youtu.be/QKRs6IHV-y4
Після перегляду напишіть у коментарях: ваш агент уже намагався залізти туди, куди його взагалі не просили? 👇
Youtube | Instagram
YouTube
Безпека AI-агентів: як атакують Claude Code, Cursor і Codex
AI-агент за 9 секунд зніс production-базу разом із бекапами, для цього навіть не знадобився хакер. У цьому відео розбираю безпеку сoding assistance: Claude Code, Cursor, Codex і Gemini CLI.
Покажу три класи ризиків: атаки на самого агента, на ланцюг постачання…
Покажу три класи ризиків: атаки на самого агента, на ланцюг постачання…
🔥19👍13👀6❤3🎉3
Не були раніше на моєму дводенному воркшопі? 😄
Запрошую вас на новий "Agentic Engineering Workflow" - стартуємо 3 вересня.
💡 Розбираю на воркшопі все детально показуючи живі приклади з власного проєкту:
🟢 Spec-Driven Developmentу - як довести специфікацію до чогось, що агент розуміє: acceptance-критерії, пошук неоднозначностей, архітектурні документи і розбиття на задачі
🟢 Контекст-інженерія - що класти в статичний контекст, що давати промптами, як будувати CLAUDE.md і файли-специфікації
🟢 Паралельні субагенти - окремо імплементер, окремо рев'юер, окремо верифікатор і security review
🟢 TDD-луп і верифікаційні гейти - тут є свої плюси і мінуси, а також поради з власного досвіду
🟢 Ralph Loop і перемикання моделей - коли який агент і яку модель ставити на задачу
Два дні:
📅 3 вересня, четвер, 19:00 за Києвом - теорія та налаштування
📅 5 вересня, субота, 13:00 за Києвом - практика: наживо пройдемо повний шлях фічі від ідеї імплементації
І окремо хочу сказати про питання. Знаю, що для багатьох саме блок питань - найцінніша частина будь-якого ефіру 😅
Тому ми відводимо під це окремий час і розбираємо купу конкретних кейсів з вашої практики, і не тільки по темі воркшопу
Запис обох днів буде, зараз ще діє найкраща ціна до старту💰
🔗 Всі деталі та реєстрація тут
До зустрічі 😉
Youtube | Instagram
Запрошую вас на новий "Agentic Engineering Workflow" - стартуємо 3 вересня.
🟢 Spec-Driven Developmentу - як довести специфікацію до чогось, що агент розуміє: acceptance-критерії, пошук неоднозначностей, архітектурні документи і розбиття на задачі
🟢 Контекст-інженерія - що класти в статичний контекст, що давати промптами, як будувати CLAUDE.md і файли-специфікації
🟢 Паралельні субагенти - окремо імплементер, окремо рев'юер, окремо верифікатор і security review
🟢 TDD-луп і верифікаційні гейти - тут є свої плюси і мінуси, а також поради з власного досвіду
🟢 Ralph Loop і перемикання моделей - коли який агент і яку модель ставити на задачу
Два дні:
📅 3 вересня, четвер, 19:00 за Києвом - теорія та налаштування
📅 5 вересня, субота, 13:00 за Києвом - практика: наживо пройдемо повний шлях фічі від ідеї імплементації
І окремо хочу сказати про питання. Знаю, що для багатьох саме блок питань - найцінніша частина будь-якого ефіру 😅
Тому ми відводимо під це окремий час і розбираємо купу конкретних кейсів з вашої практики, і не тільки по темі воркшопу
Запис обох днів буде, зараз ще діє найкраща ціна до старту
🔗 Всі деталі та реєстрація тут
До зустрічі 😉
Youtube | Instagram
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍4🔥3❤🔥2
Як AI-агенти використовують CLAUDE.md і документацію
Ви написали ідеальний `CLAUDE.md`. «Перед змінами прочитай архітектуру. Після змін запусти тести. Перевір, що код відповідає вимогам». Агент відкрив файл. Прочитав. І що далі?
🙂 Автори свіжого дослідження розібрали 557 сесій із Claude Code, Codex, Cursor, Gemini CLI та іншими агентами І ось що цікавого знайшли:
• після 1 328 читань документації лише тричі(!) саме наступною дією була правка коду;
• жодного (!!) явного випадку, коли агент перейшов за посиланням з одного документа в інший;
• жодного явного випадку, коли він порівняв два документи;
• нуль випадків, коли агент узяв документацію за еталон і звірив із нею результат.
Це не означає, що агенти не читають документацію. Читають. Причому найбільше працюють саме
❌ Проблема в тому, що ми ставимося до CLAUDE.md занадто несерйозно.
Так, документація лише передає контекст. Рядок «обов’язково запусти тести» ще не створює verification loop. Це гарантовано спрацює тоді, коли перевірка вбудована в процес: через тест, linter, hook або CI.
✅ Зняв про це відос, де розбираю:
— що агенти насправді читають у репозиторії;
— чому критичні правила не варто ховати за ланцюжком посилань;
— як правильно розкладати
— навіщо перетворювати документацію на виконувані артефакти;
— чому агенти самі змінюють файли, які керуватимуть їхніми наступними сесіями;
— як виміряти, чи виконується правило, а не просто сподіватися на це.
Дивитися тут: https://www.youtube.com/watch?v=GWGFNRM0o40
Цікаво, чи знайшли для себе щось новеньке від цієї інфи 🙂 діліться
Youtube | Instagram
Ви написали ідеальний `CLAUDE.md`. «Перед змінами прочитай архітектуру. Після змін запусти тести. Перевір, що код відповідає вимогам». Агент відкрив файл. Прочитав. І що далі?
• після 1 328 читань документації лише тричі(!) саме наступною дією була правка коду;
• жодного (!!) явного випадку, коли агент перейшов за посиланням з одного документа в інший;
• жодного явного випадку, коли він порівняв два документи;
• нуль випадків, коли агент узяв документацію за еталон і звірив із нею результат.
Це не означає, що агенти не читають документацію. Читають. Причому найбільше працюють саме
CLAUDE.md, AGENTS.md, SKILL.md та власні нотатки (плани, тимчасові файли і тд)Так, документація лише передає контекст. Рядок «обов’язково запусти тести» ще не створює verification loop. Це гарантовано спрацює тоді, коли перевірка вбудована в процес: через тест, linter, hook або CI.
— що агенти насправді читають у репозиторії;
— чому критичні правила не варто ховати за ланцюжком посилань;
— як правильно розкладати
CLAUDE.md, AGENTS.md і скіли;— навіщо перетворювати документацію на виконувані артефакти;
— чому агенти самі змінюють файли, які керуватимуть їхніми наступними сесіями;
— як виміряти, чи виконується правило, а не просто сподіватися на це.
Дивитися тут: https://www.youtube.com/watch?v=GWGFNRM0o40
Цікаво, чи знайшли для себе щось новеньке від цієї інфи 🙂 діліться
Youtube | Instagram
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Claude Code, Cursor і Codex: як агенти читають документацію? Чому CLAUDE.md нічого не гарантує
⬇️ Відкрито набір на новий потік Agentic Engineering — практичну авторську програму, де ти побудуєш production-ready AI workflow на власному проєкті. На виході — готовий воркфлоу під свої задачі та можливість пройти сертифікацію Claude Code Architect. Заповнити…
❤17🔥13👍9
Друзі, є чудова новина :)
Сьогодні стартує нова група Agentic Engineering.
Кілька людей перенесли свої бронювання на жовтень - і звільнилось 4 місця.
Якщо ти давно приглядався до курсу - це той самий знак(!), що пора доєнуватись
можна зайти прямо зараз і не чекати наступний потік😉
Тебе чекає:
12 тижнів, 11 модулів за які ти вбудовуєш агентний воркфлоу у свою роботу
Розбираємо систему - власні скіли й субагенти під твій стек, повний цикл Spec-Driven Development, отримаєш результат на власному проєкті
Кому це буде корисно:
→ пишеш код щодня і хочеш перейти від AI-чатів до системного воркфлоу
→ вже юзаєш Claude Code / Cursor / Codex, але процес тримається на промтах
→ хочеш, щоб агент давав передбачуваний результат, бо зараз це як рулетка
Щоб приєднатись - заповни коротку анкету, і моя команда звʼяжеться з тобою: детально розповість про продукт, формати та умови навчання👇
https://agenticengineering.it.com/anketa
Місць 4. Група стартує сьогодні, матеріали теоретичних модулів відкриваються одразу, а перший ефір за 2 тижні - тож і вирішувати варто швиденько😎
Сьогодні стартує нова група Agentic Engineering.
Кілька людей перенесли свої бронювання на жовтень - і звільнилось 4 місця.
Якщо ти давно приглядався до курсу - це той самий знак(!), що пора доєнуватись
можна зайти прямо зараз і не чекати наступний потік😉
Тебе чекає:
12 тижнів, 11 модулів за які ти вбудовуєш агентний воркфлоу у свою роботу
Розбираємо систему - власні скіли й субагенти під твій стек, повний цикл Spec-Driven Development, отримаєш результат на власному проєкті
Кому це буде корисно:
→ пишеш код щодня і хочеш перейти від AI-чатів до системного воркфлоу
→ вже юзаєш Claude Code / Cursor / Codex, але процес тримається на промтах
→ хочеш, щоб агент давав передбачуваний результат, бо зараз це як рулетка
Щоб приєднатись - заповни коротку анкету, і моя команда звʼяжеться з тобою: детально розповість про продукт, формати та умови навчання👇
https://agenticengineering.it.com/anketa
Місць 4. Група стартує сьогодні, матеріали теоретичних модулів відкриваються одразу, а перший ефір за 2 тижні - тож і вирішувати варто швиденько😎
It
Agentic Engineering — Практичний курс з AI
Практичний курс для інженерів, які хочуть перейти від хаотичного використання AI до системної роботи з Claude Code, MCP та агентними workflow — і задеплоїти вла
❤6👍5💩4👀1
А старі моделі часом не пишуть краще? 🤔
Я помітив, що читати тексти, які видає AI, стало складніше. Вони якісь менш складені, перевантажені менш природні чи бог його знає які
😅 І я це прям дуже добре помітив на своєму прикладі. У мене є бот, який присилає мені новинний дайджест. І останнім часом його читати стало просто неможливо
Трошки подосліджував цю тему і згадав, що багато текстів, які мені подобались, я свого часу генерував на Opus 4.5. На Opus 4.7, мені здається, вже почало ставати трохи гірше.
Знову ж таки - це чисто суб’єктивна думка, тому не засуджуйте 😄
👉 Спробував прогнати це через claude-opus-4-5, і шо я побачив, що текст легше читається і легше сприймається. Тобто мені реально більше подобається як стара модель пише 🙂
Попри те, що Opus 4.5 коштує стільки ж, скільки 5, у мене виникло логічне питання:
❓навіщо платити стільки ж за старішу модель?
Але по факту вона:
• швидше видає результат;
• суб’єктивно пише простіше;
• і результат мені банально більше подобається.
📌 Можливо це через новий tokenizer Anthropic, котрий з'явився починаючи з Claude 4.7 (доречі самі антропіки пишуть, що він генерує на 30% більше токенів тексту). Тобто теоретично, стара модель все ж таки буде коштувати трошки дешевше.
📌 Або можливо вотермарк, хоча Anthropic звісно пишуть, що він не повинен помітно впливати на якість або читабельність тексту (ще б вони стверждували щось інше)
Коротше цікаво те, що умовно «тупіша» або старіша модель може бути для конкретної задачі навіть кращою
Я ще спробував Haiku, але він мені вже здався доволі тупим 😄 Але тепер цікаво поганяти ще й GPT-шні моделі
Цікаво, чи помічали ви таке? Чи користуєтесь старішими / слабшими моделями для якихось конкретних задач?
Або, можливо, у вас є якісь свої skills, prompts або інші фішки, якими ви робите генеровані тексти більш адекватними та читабельними?
Youtube | Instagram
Я помітив, що читати тексти, які видає AI, стало складніше. Вони якісь менш складені, перевантажені менш природні чи бог його знає які
😅 І я це прям дуже добре помітив на своєму прикладі. У мене є бот, який присилає мені новинний дайджест. І останнім часом його читати стало просто неможливо
Трошки подосліджував цю тему і згадав, що багато текстів, які мені подобались, я свого часу генерував на Opus 4.5. На Opus 4.7, мені здається, вже почало ставати трохи гірше.
Знову ж таки - це чисто суб’єктивна думка, тому не засуджуйте 😄
👉 Спробував прогнати це через claude-opus-4-5, і шо я побачив, що текст легше читається і легше сприймається. Тобто мені реально більше подобається як стара модель пише 🙂
Попри те, що Opus 4.5 коштує стільки ж, скільки 5, у мене виникло логічне питання:
❓навіщо платити стільки ж за старішу модель?
Але по факту вона:
• швидше видає результат;
• суб’єктивно пише простіше;
• і результат мені банально більше подобається.
📌 Можливо це через новий tokenizer Anthropic, котрий з'явився починаючи з Claude 4.7 (доречі самі антропіки пишуть, що він генерує на 30% більше токенів тексту). Тобто теоретично, стара модель все ж таки буде коштувати трошки дешевше.
📌 Або можливо вотермарк, хоча Anthropic звісно пишуть, що він не повинен помітно впливати на якість або читабельність тексту (ще б вони стверждували щось інше)
Коротше цікаво те, що умовно «тупіша» або старіша модель може бути для конкретної задачі навіть кращою
Я ще спробував Haiku, але він мені вже здався доволі тупим 😄 Але тепер цікаво поганяти ще й GPT-шні моделі
Цікаво, чи помічали ви таке? Чи користуєтесь старішими / слабшими моделями для якихось конкретних задач?
Або, можливо, у вас є якісь свої skills, prompts або інші фішки, якими ви робите генеровані тексти більш адекватними та читабельними?
Youtube | Instagram
❤11🔥9👀6👍2
І знову я зі своїм воркшопом 🙂
Але перед цим - попереджаю і кажу чесно, канал і соцмережі в наступні тижні будуть трошки оживати, моя команда розширюється і зможуть мені допомогти взяти на себе більше обовʼязків, щоб я в свою чергу міг давати більше інфи. Буду тестувати нові формати тут, та буду вдячний за фідбек
Тепер до основної теми
Я вже провів кілька воркшопів з Agentic Engineering Workflow за останні місяці. Кожного разу після ефіру отримую повідомлення від тих, хто пропустив, а чи буде ще
Буде!
17 і 19 вересня проводжу ще один:
📅 17 вересня, 19:00 (Київ) - теорія: як агент працює під капотом, чому щось постійно забуває, чому вгадує, що з цим робити
📅 19 вересня, 13:00 (Київ) - практика: повний шлях фічі від ідеї до коду, показую на своєму робочому проекті, а ви паралельно - тренуєтесь кожний на своєму
Практику проходять усі учасники.
Також обовʼязково буде Q&A і в перший і в другий день. Можна (і треба) приходити зі своїми питаннями, проєктами, кейсами.
Запис буде! правда-правда 🙂 У кожного учасника буде доступ і одразу після зустрічі
Якщо ще не були - запрошую приєднатись😌
Деталі: https://agenticengineering.it.com/workflow-september17
Youtube | Instagram
Але перед цим - попереджаю і кажу чесно, канал і соцмережі в наступні тижні будуть трошки оживати, моя команда розширюється і зможуть мені допомогти взяти на себе більше обовʼязків, щоб я в свою чергу міг давати більше інфи. Буду тестувати нові формати тут, та буду вдячний за фідбек
Тепер до основної теми
Я вже провів кілька воркшопів з Agentic Engineering Workflow за останні місяці. Кожного разу після ефіру отримую повідомлення від тих, хто пропустив, а чи буде ще
Буде!
17 і 19 вересня проводжу ще один:
📅 17 вересня, 19:00 (Київ) - теорія: як агент працює під капотом, чому щось постійно забуває, чому вгадує, що з цим робити
📅 19 вересня, 13:00 (Київ) - практика: повний шлях фічі від ідеї до коду, показую на своєму робочому проекті, а ви паралельно - тренуєтесь кожний на своєму
Практику проходять усі учасники.
Також обовʼязково буде Q&A і в перший і в другий день. Можна (і треба) приходити зі своїми питаннями, проєктами, кейсами.
Запис буде! правда-правда 🙂 У кожного учасника буде доступ і одразу після зустрічі
Якщо ще не були - запрошую приєднатись😌
Деталі: https://agenticengineering.it.com/workflow-september17
Youtube | Instagram
🔥7❤3💩2🗿2👀1
Не можу не поділитись, вчора отримав такий відгук
Це прям паливо заради якого хочеться продовжувати створювати подібні матеріали і надалі❤️
Це прям паливо заради якого хочеться продовжувати створювати подібні матеріали і надалі
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🔥17❤3⚡1
Хочу поділитись своєю мотивацією
На тому тижні був воркшоп Agentic Engineering Workflow
Кожного разу після двох днів ловлю себе на думці, що просто кайфую від того, що відбувається і що вдається зараз робити з командою
От правда, отримую щире задоволення від фідбеку який ви постійно даєте, а головне, що все що вдається віддати від себе - знаходить застосування в ваших проектах, в вашій роботі або для особистого розвитку
Зробив декілька скрінів під час воркшопу з чатику
Дякую всім, хто був 🤝
І що даєте такий приємний фідбек, від цього хочеться створювати ще більше
На тому тижні був воркшоп Agentic Engineering Workflow
Кожного разу після двох днів ловлю себе на думці, що просто кайфую від того, що відбувається і що вдається зараз робити з командою
От правда, отримую щире задоволення від фідбеку який ви постійно даєте, а головне, що все що вдається віддати від себе - знаходить застосування в ваших проектах, в вашій роботі або для особистого розвитку
Зробив декілька скрінів під час воркшопу з чатику
Дякую всім, хто був 🤝
І що даєте такий приємний фідбек, від цього хочеться створювати ще більше
❤12🔥8👍1
Доречі, цього тижня буду проводити НОВИЙ воркшоп
Harness Engineering - 24 і 26 вересня.
Одна і та сама модель при використанні Cursor, Claude Code, Opencode буде давати різний результат. І різниця саме в харнесі. Харнес - це все, що навколо моделі: системний промпт, тули, пермішени, контекст, хуки, ретраї. Саме він вирішує, що модель бачить і що їй дозволено.
📅 Четвер, 24.09, 19:00 - харнес зсередини
Як воно працює під копотом, як замінити системний промпт. Чому правила в CLAUDE.md і AGENTS.md ігноруються, а хуки - ніколи. Практика: Напишемо свого агента, напилимо харнес, накинемо промпт, додамо два тули, свій хук.
📅 Субота, 26.09, 13:00 - Які є харнеси і фреймворки на ринку
DeepSeek Harness, Pi, Hermes, Eve, Flue - розбираємо і порівнюємо. Практика: свій харнес на Flue під задачу, на безкоштовній моделі.
Що отримаєет: Розуміння, як напилити свого агента, як працює харнес, які готові інструменти є для цього, записи і матеріали на платформі (на 6 місяців), сертифікат.
Воркшоп розрахований на розробників, інженерів, Tech Lead'ів, CTO. Практика проводиться на TypeScript, підписки будуть не потрібні.
Програма та опис на сайті переходьте
👉 Деталі й реєстрація
Harness Engineering - 24 і 26 вересня.
Одна і та сама модель при використанні Cursor, Claude Code, Opencode буде давати різний результат. І різниця саме в харнесі. Харнес - це все, що навколо моделі: системний промпт, тули, пермішени, контекст, хуки, ретраї. Саме він вирішує, що модель бачить і що їй дозволено.
📅 Четвер, 24.09, 19:00 - харнес зсередини
Як воно працює під копотом, як замінити системний промпт. Чому правила в CLAUDE.md і AGENTS.md ігноруються, а хуки - ніколи. Практика: Напишемо свого агента, напилимо харнес, накинемо промпт, додамо два тули, свій хук.
📅 Субота, 26.09, 13:00 - Які є харнеси і фреймворки на ринку
DeepSeek Harness, Pi, Hermes, Eve, Flue - розбираємо і порівнюємо. Практика: свій харнес на Flue під задачу, на безкоштовній моделі.
Що отримаєет: Розуміння, як напилити свого агента, як працює харнес, які готові інструменти є для цього, записи і матеріали на платформі (на 6 місяців), сертифікат.
Воркшоп розрахований на розробників, інженерів, Tech Lead'ів, CTO. Практика проводиться на TypeScript, підписки будуть не потрібні.
Програма та опис на сайті переходьте
👉 Деталі й реєстрація
👍5❤4👀1
Anthropic випустила Opus 5.5
За словами Anthropic, на більшості задач вона працює на рівні Fable 5.1, а обходиться на 40% дешевше за Opus 5. Токени подешевшали до $4 і $20 відповідно.
📍 Фоллбеки на інші моделі
Opus 5.5 вийшла із запобіжниками, подібними до тих, що є у Fable 5.1. Запити з кібербезпеки здебільшого обробляє Opus 4.8. Запити з біології та з розробки frontier LLM передаються на Opus 5.
Звичайні пошук і виправлення багів у власному коді мають залишатись за Opus 5.5.
Для задач з кібербезпеки модель відкриватимуть рівнями через Cyber Verification Program, яку обіцяють розширити найближчими тижнями.
❓ Вимірювати стає дедалі складніше
Відрив у бенчмарках дедалі гірше показує, наскільки одна модель справді краща за іншу. Крім того, Opus 5.5 часто підозрює (!), що його тестують, і компанії через це важче передбачити його поведінку в реальних умовах. Хз як вони це зрозуміли :)
Anthropic очікує, що чим сильнішими ставатимуть моделі, тим гострішою буде ця проблема, якщо дослідники не просунуться в interpretability, тобто в розумінні того, що відбувається всередині моделі.
Виходить, що і бенчмарки можливостей, і перевірки безпеки від самого розробника дають дедалі менш точну картину. Найнадійнішим інструментом лишаються власні evals на власних задачах.
Ну що, погнали тестувати 😌
Youtube | Instagram
За словами Anthropic, на більшості задач вона працює на рівні Fable 5.1, а обходиться на 40% дешевше за Opus 5. Токени подешевшали до $4 і $20 відповідно.
📍 Фоллбеки на інші моделі
Opus 5.5 вийшла із запобіжниками, подібними до тих, що є у Fable 5.1. Запити з кібербезпеки здебільшого обробляє Opus 4.8. Запити з біології та з розробки frontier LLM передаються на Opus 5.
Звичайні пошук і виправлення багів у власному коді мають залишатись за Opus 5.5.
Для задач з кібербезпеки модель відкриватимуть рівнями через Cyber Verification Program, яку обіцяють розширити найближчими тижнями.
❓ Вимірювати стає дедалі складніше
Відрив у бенчмарках дедалі гірше показує, наскільки одна модель справді краща за іншу. Крім того, Opus 5.5 часто підозрює (!), що його тестують, і компанії через це важче передбачити його поведінку в реальних умовах. Хз як вони це зрозуміли :)
Anthropic очікує, що чим сильнішими ставатимуть моделі, тим гострішою буде ця проблема, якщо дослідники не просунуться в interpretability, тобто в розумінні того, що відбувається всередині моделі.
Виходить, що і бенчмарки можливостей, і перевірки безпеки від самого розробника дають дедалі менш точну картину. Найнадійнішим інструментом лишаються власні evals на власних задачах.
Ну що, погнали тестувати 😌
Youtube | Instagram
👍19🔥5❤2❤🔥1