Microsoft AutoGen

Це open-source фреймворк для створення AI-агентів та їхньої взаємодії, протипоставлення langchain.

Він надає три рівні абстракції:

Core | Docs:

На найнижчому рівні знаходиться Core — основа, на якій будується все інше. Він забезпечує асинхронність між агентами, надає інструменти для скейлінгу, базові абстракції інтеракції з ллмками і т.д. Дозволяє будувати event-driven агентів з можливістю нормального дебагу (це коли ви бачите інтеракцію між агентами в логах дуже прозоро, з усіма трейсами, івент-айдішками і т.п.).

AgentChat | Docs:

Високорівневий API, який спрощує створення агентів. Надає готові компоненти для побудови як одиночних, так і мультиагентних систем, дозволяючи агентам спілкуватися між собою та з користувачами, менеджити стейт (наприклад, пам’ять), послідовність виклику та оркестрацію агентів. Якщо ви знайомі з LangChain, то в них є AgentExecutor або Chain абстракції. Вони наприклад побудовані на LangChain-core.

Applications:

На найвищому рівні розташовані готові апки, такі як Magentic-One та AutoGen Studio.

Magentic-One | Docs | Post: Це мультиагентна система, здатна виконувати комплексні завдання, такі як робота з вебом, файлами, запуск коду. Вона включає оркестратора, який планує та координує дії агентів, що можуть виконувати код, завантажувати файли, сьорфити веб. Це фактично демо AutoGen, тому якщо ви хочете побачити, на що здатний цей фреймворк, раджу почати саме з цього.

AutoGen Studio | Docs | Post: Інтерфейс із низьким порогом входу, який дозволяє швидко прототипувати AI-агентів без написання коду. Він надає можливість створювати та тестувати агентів у зручному UI поєднуючи блоки як в лего. Однак наразі його функціональність обмежена через невелику кількість доступних блоків, тому я десь через 10 хвилин відпав і поліз у код.

Мій досвід:

Я спробував їх приклади, і мене зачепив web surfer agent з їх рідмі. Це не звичайний скрапер, він рендерить UI браузера (дивиться скрін), може інтерактувати з елементами, є якийсь різонінг з хуманом в лупі.

Спочатку не дуже працювало: я просив його піти на сторінку GitHub і знайти приклади агентів, побудованих на цьому фреймворку. Він фейлив. Я трохи переписав систем-промпти, погрався з дебагом, і все запрацювало.

Найбільше сподобалося дебажити. Мені здається, LangChain-у варто брати приклад з AutoGen. Завдяки їх event-driven архітектурі в них ультра крутий трейсінг логів. Під капотом все дуже прозоро, хто та кого викликає, які параметри і т.д. що значно спрощує розуміння, що відбувається.

Класна штука, хз, чи перейдемо з LangChain, але в мене трошки задимилась шишка на це, то думаю ще тестити. Єдине, що трохи відштовхує — це той факт, що це Microsoft enterprise edition. У них мільйон абстракцій, треба окремий курс, щоб розібратися, що це, навіщо і як із цим працювати)

Post
GitHub
Docs

Коммьюніті вже запускають DeepSeek R1 на різних штуках, ось один ентузіаст запустив на 7 M4 Pro Mac Minis та 1 M4 Max MacBook Pro, що в суммі дає 496GB памʼяті.

Але це 4-біт квантизація моделі, тому щоб хоча б на fp8 запустити, йому треба буде більше ніж 700гб.

Доречі, deepseek-r1 вже є в ollama, тому тепер можна нарешті легко ранити на маці

Твіт

Computer-Using Agent (CUA) by OpenAI

Мрії збуваються крок за кроком. Коли OpenAI тільки релізнули ChatGPT, я все думав, як буде круто сказати ЛЛМці: "закажи бургер з маку" або "заповни податкову декларацію" — і вона сама все зробить. І ось вони вже тут:

Що таке CUA?
Це агент, який працює з графічними інтерфейсами (GUI), як і ми з вами — хумани. Замість спеціалізованих API, він адаптується під будь-яке середовище, де є браузер чи операційна система. Простими словами: він може серфити інтернет, заповнювати форми, шукати знижки, робити якийсь ресьорч

Benchmark results:
- OSWorld (управління ОС): 38.1% успішності проти 22% у попередньої соти (від антропік). Люди показують 72.4%, тож роботи ще багато.
- WebArena (браузерні задачі на offline-сайтах, типу онлайн стор): 58.1% vs 78.2% у людей.
- WebVoyager (задачі на сайтах, таких як Google Maps чи GitHub): тут CUA вийшов у топ із 87%

Як працює?
CUA аналізує скріншоти інтерфейсу, генерує план дій (так званий chain-of-thought), а потім виконує кроки: клікає, вводить текст, прокручує сторінки. І якщо треба, просить підтвердження (наприклад, перед відправкою важливих даних чи щоб пройти каптчу).

Що цікаво:
CUA — це лише перший крок. Уявіть, що до нього додадуть голосову підтримку. Ви на прогулянці, а агент паралельно сьорфить твітер, робить для вас постик в тг. Це зовсім інший рівень взаємодії.

Зараз CUA доступний через платформу Operator для pro юзерів у штатах (vpn допоможе). Але думаю вже найближчими тижнями і ми подивимось що це за звір такий.

Потикати можна тут:
Operator
Анонс від OpenAI
System Card для деталей про безпеку

2025 точно буде роком агентів. Спостерігаємо за першим справжнім кроком до digital assistant для всіх.

UI-TARS Desktop by bytedance

Оператор від китайців) bytedance натренували свої модельки для інтеракції з компом. Дають лінійку VLLMs моделей від 2B до 72B + апку.

Використовується vllm ліба для хосту моделькі, закидуєте шлях до апі в апку і можна користуватись. Але не дуже просто це підняти, треба гпу, бажано мінімум L4.

GitHub

Просто JFYI, там курсор завіз deepseek модельки. Але я бачів що там наче закрили доступ сьогодні до deepseek, цікаво чи воно вплине.