Про AI агенти

В жовтні минулого року у виступі на IT Forum 2024 про майбутнє Software Engineering я говорив, що ми лише наближаємося до ери AI-агентів, але з того часу минулого лише три місяці як можна впевнено сказати, що вона наступила.

Якщо говорити про інструменти для розробників, то в онлайн-сервісах, таких як Repl.it/bolt.new/v0 агенти з’явилися вже більш ніж півроку тому, але в популярні IDE їх завезли пізніше - agent mode з’явився в Cursor ще в листопаді минулого року, а аналогічну фічу в Github Copilot MS додала лише кілька днів тому. Але агенти є і в продуктах для масс-маркету, наприклад, режим Deep Research чи Operator в ChatGPT - це теж агенти.

Тому агенти зараз - next big thing в AI. Але чим AI-агент відрізняється від “звичайного AI” такого як чати з LLM-моделями? Насправді агенти не є чимось кардинально іншим, бо у якості “мозку” використовують LLM-моделі, але у них є буквально дві ключові особливості, що дозволяють набути їм принципово інших можливостей:

1. Робота виконується в циклі, умовою завершення якого є досягнення поставленої мети (або неможливість її виконання, чи вихід за межі лімітів по часу/кількості ітерацій). Грубо кажучи, ми ставимо задачу, і LLM виконує її покроково в циклі, де результат попередньої ітерації стає відправною точкою для наступної.
2. Агент має доступ до інструментів, такі як пошук інформації, виконання якихось дій і т.д. - в принципі, це може бути будь-який API. Викликати інструменти агент буде за потреби, якщо сам вважатиме це за потрібне.

Із ключового - все. На практиці, звичайно, є багато нюансів як такі рішення можна побудувати. Наприклад, агент може бути не один, а ціла їх команда зі своєю спеціалізацією, де паралельно можуть використовуватися різні інструменти та LLM. Також для реалізації таких рішень можуть бути використані різні архітектури, наприклад, найпростіша - ReAct, яка фактично відповідає виклику інструментів в циклу і “прогон” результатів через LLM, але вона не здатна “мислити” довгостроково, тому можна додавати планування, пам’ять і т.д. і т.п.

Цікаво, що поточний етап розвитку не просто не виключає human in the loop, а швидше передбачає його, щоб роботу агента можна було б покоригувати по ходу, або залучити людину для прийняття важливих рішень. Думаю що в найближчий час це і буде оптимальним сценарієм побудови агентів. А люди мають вчитися співпрацювати з ними, це і буде win-win.

Також багато стартапів вже намагаються зробити свого найкращого агента (чи їх команду) під конкретні задачі (по прикладу того ж AI-software engineer Devin). І конкуренція тут буде дуже жорсткою - тільки один агент виявиться кращим за іншого, як відразу гроші опиняться у його творців, бо замінити одного агента на іншого можна за лічені хвилини, не те що зі звільненням/наймом людей возитися 🙂

Про національну LLM

В нашій країні по довоєнній статистиці (2013 р) в державному секторі (всі чиновники, силовики, медицина, освіта і т.д.) працював кожен четвертий працевлаштований. Можливо є свіжіші дані, не знайшов, але не думаю що вони будуть принципово відрізнятися. Це виходить досить сумна статистика, бо додана вартість генерується в приватному секторі, і чим більше у нас державного, тим менше приватного, і навпаки.

Окремо варто сказати про якість державних послуг - десятки тисяч людей зайняті простим виписуванням якихось довідок, обробкою та формуванням документів і тому подібною роботою, з якою легко справиться LLM, а ще зробить ще швидше і не потребуватиме стояти в черзі. Електронні черги в наші держоргани - то окремий сором, бо виявляється що в неї ще треба встигнути записатися, якщо не встиг - то не потрапив, бо “немає місць”. Для тих, хто вигадав електронну чергу з обмеженою кількістю місць буде окремий котел пеклі.

Але ви мабуть здогадалися, що я хочу донести ідею, що пора б це діло цифровувати/автоматизовувати якось по-нормальному, звільнивши величезну кількість ресурсів і заодно підвищивши якість державних послуг.

AI на основі LLM тут дійсно вже хоч сьогодні можна застосовувати - читати/писати документи воно вміє і в багатьох випадках зробить це ще й краще за типового державного чиновника, особливо в питанні якості наданих послуг.

Але питання - яку ми для цього використаємо LLM? Мабуть не зовсім доречно для такого проєкту дьоргати API OpenAI чи Google, чи не дай боже, Grok? А може візьмемо щось з опенсорсу, а що там у нас зараз модне - DeepSeek? Отож і воно. Всі існуючі моделі певним чином цензуровані і упереджені, і брати готову для такої задачі без хоча б мінімального доопрацювання - не найкращий варіант.

Виходить що було б непогано мати якусь свою LLM, навіть не створену з нуля, хоча б на основі LLama, тим більше що вона не має бути найрозумнішою (і відповідно найдорожчою) в світі, можна обмежитися тими ж інвестиціями і загальними підходами, за які всі хвалили DeepSeek. Головне щоб щоб дані для тренування ми проконтролювали, використали нашу нормативно-правову базу і переконалися що ніякі бекдори ніхто не заклав. І тут виникає питання - чи можливо це зробити за приватні гроші. Технічно можливо, але чи доречно?

Тут швидше ні, бо є певні речі, які держава має робити сама. Це армія, податкова/митна служба, національний банк, правоохоронна/судова система, механізми реалізації зовнішньої політики і т.д. І на моє глибоке переконання, якщо ми запускаємо AI в роботу держави, то вона також має бути зроблена державою, натренованою на наших законах, а не китайських чи американських. І на відповіді коректно відповідати відповідно до наших доктрин, а не якихось чужих. І її не мають робити робити ніякі приватні підрядники, бо важливість цієї системи буде на рівні з усіма іншими атрибутами держави, які були перечислені раніше.

Тому ідея це абсолютно правильна, але все залежить від нюансів реалізії. Тут можна зробити гарно, або як завжди. Подивимося що з того вийде, але критикувати ідею я б не поспішав.

Особисто я з цього списку не використовував ще лише Zed, постараюся усунути цей недолік якнайшвидше. Cursor тепер мій daily driver. bolt.new та v0 використовую дуже часто. Інше епізодично, переважно приглядаюся до фіч. Ще є китайський Trae, ходив до них в діскорд, там майже все спілкування китайською, думаю поки не на часі :)

Grok 3

Grok 3 нарешті став доступним для всіх безкоштовно буквально “поки сервери не поплавляться” (так і написали в оголошенні).

Зараз він на першому місці в LMArena, хоча там є нюанси - їх команду підловили на маніпуляціях з рейтингами, і не факт що та модель, що була в тестах, є тою ж самою моделлю, що публічно доступна для всіх.

Тим не менше, хоч я ще не встиг особливо багато поганяти третій грок, але перші враження дуже позитивні. Зокрема, спробував фічу DeepSearch і вона дуже гарно працює, ось вам як сам грок пояснює вам про маніпуляції зі своїми рейтингами за допомогої цієї фічі.

Ще грок працює швидко, має велике контекстне вікно (декларується 1 млн токенів), реально гарно пише код. Рекомендую спробувати, не факт, що безкоштовно буде постійно.

Gemini Code Assist Free

Тут Google зробила безкоштовним для індивідуального використання AI extension для VS Code - Gemini Code Assist з великими безкоштовними лімітами, що разів в 90 вищі за безкоштовний Github Copilot.

Лінк на екстеншин тут.

Воно тільки вийшло, а рейтинг вже 2.7 з 5, мені здається як часто буває в Google - продукт наче ок, але з тим щоб відполірувати по UX в них не дуже вийшло. Воно там ліцензію просить, а де брати її “безкоштовно” не зовсім зрозуміло, хоча якщо “просилку” закрити, то працює - хз, може й так задумано 🙂
Upd. Ще забув написати що воно питало Google Cloud Project ID - воно само перекидає на список проєктів, можна обрати існуючий або створити новий.

Найбільш недооцінений AI

До теми попереднього повідомлення. Якби мене спитали, який AI найбільш недооцінений, то я без вагань назвав би Google Gemini. Спробую щось таке назвати, про що ви можливо не знали.

Чи знаєте ви що, саме Google Gemini 2.0 Thinking була на першому місці серед LLM-моделей кілька останніх місяців до виходу Grok 3? А те, що Google на два місяці раніше за Open AI запустила функцію “Deep Research” (так, саме з такою ж назвою)? Або те що в моделей Google найкраще співвідношення ціна/якість за використання API (навіть краще за DeepSeek)? І це при найбільшому на ринку контекстному вікні - є навіть моделі з підтримкою до 2,1 млн токенів. Чи те, що в Google AI Studio є інтерактивний режим, де ви можете показати свій екран чи вебку і в реальному режимі спілкуватися з AI про контент? Або те, що там же можна взяти API-ключик і використовувати їх модельки безкоштовно, хоча і з обмеженнями, але для простих задач цілком ок? Чи те, що саму архітектуру LLM-моделей “трансформер” придумали саме в Google?

Сподіваюся, когось дійсно цими фактами здивував. І власне в цьому проблема - Google технічно як мінімум не поступається самим топовим конкурентам в галузі AI, але при цьому не робить такого інформаційного шуму як інші. Крім того в Google є якась загальна проблема з запуском проєктів - вони часто щось таке дуже цікаве запускають, всі дивуються, конкуренти починають робити клони, але оригінальний продукт чи сервіс чомусь не розвивається і з часом його вимикають взагалі. Ось зараз в таку категорію потрапив NotebookLM - дуже цікавий проєкт для навчання, але за якийсь час після випуску виглядає наче трохи закинутим. Я буквально сьогодні дізнався, що він став доступний в Україні, рекомендую, гарна річ, але сподіваюся вони його не закинуть.

Сам я AI від Google використовую досить часто і мій рівень задоволеності досить високий. Але щось з їх підходами до роботи не так - це факт.

Ще ось така штука є. Тестуємо. Робота виключно через термінал специфічна дуже, не сказав би що особливо зручно, треба просто use case для нього придумати.

До речі, сьогодні останній день щоб проголосувати на DOU Awards https://dou.ua/awards-2025/
І не забудьте поставити галочку за нашого кандидата, фотозвіт в коментарях відається

Мінуси?
https://www.reddit.com/r/singularity/comments/1j8q3qi/anthropic_ceo_dario_amodei_in_the_next_3_to_6/

Апдейти в AI-світі для розробників

Сьогодні останній день березня, варто підсумувати про цікаві в світі AI зі значним імпактом для розробників.

Спочатку Google 11-го березня в Gemini 2.0 Flash, а рівно за два тижні і OpenAI в GPT-4o представили native image generation. Якщо ви ще не користувалися (для OpenAI поки треба платну підписку, в Google можна це робити безкоштовно в AI Studio), то дуже рекомендую - це справжня революція в роботі з зображеннями без всяких умовностей. Тепер можна дати фотографію і попросити змінити в ній щось, або представити в іншому стилі - і моделька справиться з цим зі збереженням деталей на відміну від попереднього підходу, коли генерація відбувалася в окремій моделі і зв’язок між оригінальним зображенням та згенерованим не завжди прослідковувався достатньо добре.

Також нові моделі гарно генерять елементи інтерфейсу, накладають текст, у тому числі українською. Можна робити дизайн веб-сторінок даючи для прикладу якісь референси. Ну а потім вже конвертувати в код.

І власне про код - 25-го березня Google запустила у відкрите тестування свою нову модель Gemini 2.5 Pro, яка відразу посіла перше місце на LMArena і обійшла інші моделі практично в усіх рейтингах, у тому числі в категорії з написання коду. Цікаво, що моделька безкоштовно доступна як в юайці AIStudio, так і через API, є лише rate limiting - обмеження на кількість запитів, але вони цілком ок для використання без поспіху. Зараз вона доступна в усіх продвинутих AI IDE, які я використовую, зокрема Cursor, Windsurf і Cline.

Власні враження від моделі дуже позитивні. Я їй у якості першого завдання задав вирішити одну проблемку, з якою не справлялася жодна інша модель до того, і вона її вирішила, чим безсумнівно заслужила мою повагу. Робив це я в AI Studio, бо в IDE ще можливості не було. Для таких задач рекомендую такий інструмент як Repomix - просто пишете в терміналі npx repomix і воно пакує ваш репозиторій в один файлик, який потім закидаєте в будь-який AI-чат через веб-інтерфейс.


На першому місці Gemini 2.5 Pro в розділі Coding протрималася недовго, вже зараз її обійшов новий реліз GPT 4o, але модель від гугла доступна безкоштовно і має більше контекстне вікно - 1 млн токенів проти 128 тис. у GPT-4o - то я б її поки з лідерів не викреслював.

GPT 4.1

14-квітня OpenAI випустила нові модельки сімейства GPT 4.1, це фактично продвинуті GPT-4o. Цікаво що моделі вони позиціонують лише для використання через API, значить орієнтовані на розробників. Важливо, що ці моделі підтримують контекст в 1 млн токенів, бо раніше в Open AI було лише 128 тис максимум.

Аналогічно попереднім є повна модель gpt-4.1, також є міні-модель gpt-4.1-mini, але додатково ще з’явилася нано модель: gpt-4.1-nano. Вона мені особисто видалася найбільш цікавою, бо працює швидко і в той же час є дешевою. Картинку з цінами додаю.

І хоча по якимось внутрішнім оцінкам від OpenAI gpt-4.1-nano випереджає gpt-4o-mini, я затестив її на одному зі своїх україномовних ботів і вона відповідала дуже швидко (що мені сподобалося), але робила більше помилок ніж gpt-4o-mini, яку я зараз використовую для ботів. Можливо це вдастся виправити тюнингом промту, треба буде ще повозитися. До gpt-4.1-mini претензій немає, перевів бота на неї, працює гарно, але вона суттєво дорожча за попередню міні-модель, що досить дивно, виходить не зовсім повноцінна заміна і на великих обсягах ймовірно краще використати дешевшу модель, якщо зі своєю задачею вона загалом справляється.

Тут хабспот цікаве дослідження підігнав (скачати можна безкоштовно, тільки треба зареєструватися).

Мене особливо зацікавила ця картинка - фактично дублює мої меседжі, які я зараз на своїх виступах і тренінгах підкреслюю: AI прогресує швидко і сучасна взаємодія з ним - це не просто рівень асистента, а рівень партнера, і зовсім скоро нас може чекати наступний рівень 🙂

Дослідження можна скачати тут: https://offers.hubspot.com/ai-agents-playbook

До речі, стосовно виступів - запрошую на мій виступ на найбільшу IT-конфу України DOU Day, оффлайн в Києві 16-17 травня, я там буду саме розказувати і показувати як за допомогою самих прогресивних AI-інструментів зробити так, щоб код проєктів писав себе сам :)

https://dou.ua/goto/i1Mw

Я вже якось писав про NotebookLM - цікавий інструмент (з фрішним доступом в певних лімітах) від Google, який зручно використовувати для роботи з інформацією і навчання зокрема. Одна із його кіллер-фіч - це генерація подкасту по доданим джерелам.

І на днях Google додала підтримку української мови, ось я записав подкастик по своїй статті “Як зрозуміти JavaScript?” і сам з великим задоволенням прослухав :)


Тому якщо інструментом ще не користуєтеся, то саме пора. Там ще багато фіч є - можна підручник/конспект по матеріалам зробити, майнд-мепу, таймлайн та й загалом у режимі питання/відповідь воно працює добре.

Сьогодні буду вебінарчик проводити, приходьте

🔔 Вебінар: Як AI змінює вимоги до розробників у 2025

📅 Дата та час: 1 травня, 18:30
📍 Формат: Онлайн (Zoom)
🎟 Участь: Безкоштовна
👤 Спікер: В’ячеслав Колдовський, менеджер компетенцій у SoftServe Academy @koldovsky
⸻
Про що:
• AI — це вже не просто хайп
• Зміни у роботі розробника
• Необхідні навички
• Практичне застосування AI
• Сесія Q&A
⸻
🔗 Деталі та реєстрація: https://dou.ua/calendar/53582/

https://docs.cursor.com/guides/selecting-models Перший пост про моделі. Не всі моделі однакові, в доках Cursor є гарний гайд яку модель для якої задачі варто обирати

Список тулів і корисних MCP серверів для мого воркшопчику сьогодні на DOU Day.
Використовувати будемо Cursor, але можна інші IDE, зокрема Windsurf, Copilot, Cline/Roo Code і т.д., просто в кожної буде своя специфіка.
Можна пробувати використовувати безкоштовні варіанти, але я буду показувати в платному курсорі, також бажано мати трохи грошей ($3-5 вистачить з головою) на Open AI API, Anthropic та Perplexity, можна використовувати OpenRouter, там є варіант з безкоштовними моделями.
MCP Сервери:
Context7 для доків https://context7.com/
Task Master AI для задач https://github.com/eyaltoledano/claude-task-master
Perplexity Ask для пошуку https://mcp.so/server/perplexity/ppl-ai