#news #microsoft #omnitool #omniparser #agent #opensource #automation

🤖 Microsoft представила OmniParser V2 и OmniTool

👀 Похоже, у OpenAI Operator появился еще один серьезный конкурент! Microsoft выпустила два open-source инструмента, позволяющих языковым моделям (LLM) видеть, понимать и управлять компьютером почти как человек.

🔍 Почему это может быть интересно? В отличие от закрытого OpenAI Operator, эти инструменты доступны как open-source решения, что дает больше гибкости в использовании и настройке.

📱 OmniParser V2:
• Анализирует скриншоты и преобразует UI в структурированные данные
• На 60% быстрее первой версии
• Улучшенное распознавание мелких элементов интерфейса
• Работает на CPU (с опциональной поддержкой GPU)
• Поддерживает парсинг документов и UI-компонентов

🛠 OmniTool:
• Автоматизирует компьютерные задачи
• Умеет навигировать по браузеру
• Открывает приложения
• Выполняет команды

💻 Требования для установки OmniParser V2: • Git • Python • Conda • Токен Hugging Face

🖥 Требования для OmniTool : • Windows 11 VM • Docker • 20+ ГБ свободного места • Мощный ПК

⚡️ Важно: несмотря на пока еще достаточно сложный процесс установки, OmniTool после настройки может автоматизировать практически любую компьютерную задачу (демка здесь). Это делает его мощным AI-помощником для автоматизации повторяющихся задач, анализа UI-компонентов и интеграции с другими рабочими процессами.

🎯 Где это можно применить:
• Автоматизация тестирования ПО
• Извлечение данных из разных источников
• Автоматизация рабочего стола
• Корпоративная автоматизация
• Кибербезопасность и мониторинг систем

🤔 Интересный факт: с помощью таких инструментов AI может, например, самостоятельно найти репозиторий на GitHub, скопировать ссылку для клонирования, открыть терминал и выполнить команду clone.

Полный набор роликов со сценариями использования от разработчиков здесь.

#AI #Microsoft #Automation #Tech #Development #OpenAI

#mcp #thoughts #architecture

🔄 MCP: Текущие проблемы и варианты решения

Коллеги, добрый вечер! 👋

Я думаю, что многие уже успели попробовать подключение внешних инструментов к text2code агентам вроде Cursor/Windsurf/Cline/etc
Это достаточно удобно (даже для Windows уже появились вполне себе рабочие конфигурации на https://smithery.ai/), но в этой заметке я бы хотел подсветить существующие проблемы MCP, о которых стоит знать 🧐

🤔 В чем основная проблема MCP?
MCP — stateful протокол с долгоживущим соединением между клиентом и сервером. Это означает, что:

- 🔌 Требуется постоянное соединение между клиентом и сервером
- 🏗 Нельзя развернуть MCP в бессерверной (serverless) среде
- 🔄 Необходимо поддерживать SSE (Server-Sent Events) или WebSockets

Данный факт может стать серьезным барьером для разработчиков 😱
Вместо того, чтобы быстро развернуть функцию в AWS Lambda (у нас аналогом может выступать Yandex Cloud Functions) или Vercel, приходится разворачивать и настраивать выделенные серверы или кластеры Kubernetes (могут потребоваться DevOps скиллы).

🧩 Почему MCP спроектировали как stateful протокол?
Разработчики MCP выделяют несколько killer фич, ради которых MCP был спроектирован как statefull:

- 📢 Уведомления от сервера в сторону клиента об изменениях ресурсов или инструментов
- 🤖 Возможность сервера инициировать сэмплинг (sampling) в любой момент
- 📝 Передача логов сервера клиенту
- 🔮 Потенциальные будущие возможности

Одна из основных причин — сэмплинг (sampling), который позволяет серверу запрашивать у клиента выполнение запросов к LLM. Однако:

- ⚠️ Это создает потенциальные проблемы безопасности (сторонний MCP сервер, который вы подключили к своему агенту как инструмент, может получить доступ к приватным данным агента, например, к API-ключам)
- 🚫 Скорее всего поэтому сейчас ни один из клиентов MCP не поддерживает сэмплинг (см. здесь)
- 💰 Нет стимула для клиентов тратить свои токены на запросы от сервера

🛠 Возможные решения
В сообществе обсуждаются три основных варианта:

1️⃣ Добавить токены состояния/сессии
- Инкапсулировать состояние в токен, который передается между клиентом и сервером
- ✅ Простая эволюция текущего MCP
- ❌ Сложно для реализации серверами

2️⃣ Реализовать Stateless и Stateful варианты протокола
- Поддерживать оба варианта, позволяя разработчикам выбирать
- ✅ Простые серверы могут быть stateless
- ✅ Обратная совместимость
- ❌ Усложнение спецификации и SDK

3️⃣ Реализовать только stateless MCP
- Отказаться от функций, требующих режима stateful
- ✅ Простота для всех участников
- ❌ Потеря возможностей для агентных взаимодействий
- ❌ Несовместимость с текущей версией

🌟 Прогрессивное улучшение как компромисс
Интересный подход предложил инженер из Shopify — "MCP Lite" и прогрессивное улучшение:

1. 🔄 Базовый уровень: простой JSON-RPC для вызова инструментов
2. 📡 Опциональные уведомления через SSE/WebSockets для серверов, которые хотят их поддерживать
3. 🔄 Короткоживущие SSE-соединения только на время запуска инструмента

Это позволит:
- 🚀 Упростить внедрение MCP
- 🔧 Поддерживать сложные сценарии для тех, кто в них нуждается
- 📱 Работать в serverless-окружении

🔮 Альтернативы MCP
Существуют и более простые альтернативы, например, agents.json от Wild-Card-AI:

- 📄 Простой JSON поверх OpenAPI-спецификации
- 🔗 Использует существующие технологии
- 🧠 Не требует разворачивания выделенного сервера под AI tools

🔮 Будущее MCP
Для широкого принятия MCP необходимо:

- 🧪 Добавить поддержку stateless взаимодействий
- 🔄 Сделать stateful функции опциональными
- 🔑 Улучшить безопасность двунаправленной коммуникации при использовании sampling
- 📚 Решить проблему перегрузки контекстного окна при большом количестве инструментов

💭 Вывод
MCP имеет потенциал стать стандартом взаимодействия между AI-агентами и их инструментами, но нужно преодолеть существующие ограничения. Будем надеяться, что сообщество найдет компромисс между функциональностью и простотой использования! 🙏

А что вы думаете о том, в каком направлении должен развиваться MCP? Поделитесь в комментариях! 👇

#AI #MCP #ModelContextProtocol #Development

Новые возможности для разработки агентов на базе API Anthropic 🤖

Продолжение предыдущего поста на тему новых функций в API, которые усиливают "агентные" возможности новых моделей Anthropic. Функции офигительные и заслуживают отдельного внимания.

Anthropic представила четыре новые функции для своего API, которые расширяют возможности разработчиков по созданию интеллектуальных агентов.
Эти инструменты дополняют недавно выпущенные модели Claude Opus 4 и Sonnet 4.

Что нового? 📋

1️⃣ Инструмент выполнения кода
Теперь Claude может запускать Python-код в изолированной среде для выполнения вычислений и создания визуализаций данных. Это превращает модель из помощника по написанию кода в полноценного аналитика данных.
Здесь весь фокус, как я понимаю, именно в том, что данная функциональность доступна "из коробки" через API интерфейс модели, и нам как разработчикам теперь можно обойтись без дополнительных песочниц типа https://e2b.dev/ для запуска кода в своем приложении - как мы видим, все полезные и часто используемые инструменты со временем "проникают" внутрь LLM'ок.

Основные применения:
• Финансовое моделирование
• Научные вычисления
• Бизнес-аналитика
• Обработка документов
• Статистический анализ

Организации получают 50 бесплатных часов использования ежедневно, после чего стоимость составляет $0,05 за час работы контейнера.

2️⃣ MCP-коннектор
Позволяет подключать Claude к любому удаленному серверу Model Context Protocol (MCP) из списка без необходимости писать клиентский код. API Anthropic автоматически управляет соединениями, обнаружением инструментов и обработкой ошибок.

Когда Claude получает запрос с настроенными MCP-серверами, он:
• Подключается к указанным серверам
• Получает доступные инструменты
• Анализирует, какой инструмент вызвать и какие аргументы передать
• Выполняет вызовы инструментов до достижения результата
• Управляет аутентификацией и обработкой ошибок
• Возвращает ответ с интегрированными данными

3️⃣ Files API
Упрощает хранение и доступ к документам при работе с Claude. Вместо загрузки файлов в каждом запросе, разработчики могут загрузить документы один раз и многократно ссылаться на них в разных беседах.

Files API интегрируется с инструментом выполнения кода, позволяя Claude напрямую обрабатывать загруженные файлы и создавать графики как часть ответа.

4️⃣ Расширенное кэширование запросов
Разработчики теперь могут выбирать между стандартным 5-минутным временем жизни (TTL) для кэширования запросов или расширенным 1-часовым TTL за дополнительную плату. Это 12-кратное улучшение может снизить расходы для длительных рабочих процессов агентов.

С расширенным кэшированием затраты могут быть снижены до 90%, а задержки — до 85% для длинных запросов.

Практическое применение 💡

Представьте AI-агента для управления проектами, который может:
• Подключаться к Asana через MCP-коннектор для работы с задачами
• Загружать отчеты через Files API
• Анализировать прогресс с помощью инструмента выполнения кода
• Поддерживать полный контекст на протяжении всего взаимодействия
и все это "из коробки" через API самой модели!

Все эти функции уже доступны в публичной бета-версии API Anthropic и дополняют существующие возможности, такие как веб-поиск и цитирование.

Видео-запись демонстрации A Day with Claude можно посмотреть здесь
Также вы можете отдельно прочитать транскрипт и саммари демонстрации.

#ai #anthropic #claude #api #development

ByteDance открыл исходный код FlowGram: инструмента для оркестрации рабочих процессов, который используется в Coze!

Компания ByteDance, известная как создатель TikTok, недавно сделала важный шаг для сообщества разработчиков — открыла исходный код своего инструмента FlowGram 🔄

Что такое FlowGram?

FlowGram — это движок для построения процессов на основе узлов, который позволяет разработчикам быстро создавать рабочие процессы с:

• фиксированными макетами
• произвольными соединениями между компонентами

Ключевые особенности

Инструмент предоставляет набор лучших практик для взаимодействия, что делает его особенно полезным для:

1️⃣ Визуализации рабочих процессов
2️⃣ Создания четких входных и выходных параметров
3️⃣ Упрощения сложных последовательностей действий

Если вы интересуетесь инструментами оркестрации или работаете с Coze, стоит обратить внимание на этот проект.
Кажется, что теперь сделать свое no-code решение стало еще проще :)

• Исходный код доступен на GitHub: https://github.com/bytedance/flowgram.ai
• Подробная документация со схемами архитектуры от deepwiki здесь

#workflow #bytedance #opensource #development #ai

Stagewise: инструмент для точной настройки UI с помощью ИИ 🎯

Stagewise — это браузерная панель инструментов, которая соединяет веб-интерфейс с ИИ-агентами в редакторах кода. Основная идея: выбираете элементы на странице, оставляете комментарий и позволяете ИИ внести нужные изменения.

Как это работает:
🔸 Устанавливаете расширение в VS Code/Cursor
🔸 Добавляете компонент в веб-приложение
🔸 Выбираете элементы прямо в браузере
🔸 Описываете желаемые изменения
🔸 ИИ получает контекст и вносит правки в код

Основные возможности:
🔸 Работает с React, Next.js, Vue
🔸 Передает DOM-элементы, скриншоты и метаданные
🔸 Поддерживает выбор нескольких элементов
🔸 Настраивается через конфигурационный файл

Поддерживаемые ИИ-агенты:
1️⃣ Cursor ✅
2️⃣ Windsurf ✅
3️⃣ GitHub Copilot 🚧 (в разработке)
4️⃣ Остальные пока не поддерживаются

Архитектура системы:
🔸 Браузерная панель инструментов
🔸 Расширение для VS Code
🔸 Типобезопасная RPC-система для связи
🔸 MCP-сервер для интеграции с ИИ

Инструмент решает проблему точной настройки UI, когда ИИ делает 80% работы правильно, но остальные 20% требуют детальных правок. Вместо описания изменений текстом, предоствляя скриншот, вы просто показываете конкретные элементы. Такая функциональность обычно встроена во все AI веб-кодеры (lovable, bolt.new, replit и т.д.), а stagewise дает возможность получить ее в IDE-кодерах на своем ПК или mac'e.

Проект с открытым исходным кодом, активно развивается.
Монорепозиторий включает компоненты для разных фреймворков и систему сборки на базе pnpm и Turborepo.
Deepwiki документация со схемами по нему здесь.

#ai #frontend #cursor #ui #development

GitHub представил Copilot Spaces — новый инструмент для управления знаниями команды 🚀

Команды разработчиков часто сталкиваются с проблемой разрозненной информации: код разбросан по репозиториям, документация спрятана в файлах, а лучшие практики существуют только в головах опытных коллег. Это замедляет работу и усложняет сотрудничество.

GitHub выпустил Copilot Spaces — инструмент, который организует всю информацию в единые "пространства", устраняя разрыв между кодом и контекстом 📚

Как это работает

Copilot Spaces позволяет создавать тематические пространства, включающие:
• Репозитории с кодом
• API документацию
• Рабочие процессы
• Командные соглашения

Каждое пространство может иметь собственные команды для настройки поведения Copilot под конкретные задачи.

Ключевые особенности

🔗 Глубокая интеграция с GitHub — добавляйте код и документы прямо из репозиториев без копирования
⚡️ Автоматическое обновление — при изменении репозитория пространство обновляется автоматически
🎯 Контекстные ответы — Copilot дает рекомендации на основе актуального состояния проекта

Как создать пространство

1️⃣ Перейдите на github.com/copilot/spaces 2️⃣ Нажмите "Create space" 3️⃣ Укажите название и владельца (личный аккаунт или организация) 4️⃣ Добавьте описание (опционально) 5️⃣ Нажмите "Create"

Типы контента в Spaces 📝

1️⃣ Инструкции — описание того, на чем должен фокусироваться Copilot 2️⃣ Ссылки — код из GitHub репозиториев и текстовый контент

Сценарии применения 💡

• Онбординг — быстрое введение новых разработчиков в курс дела
• Системные знания — документирование сложных процессов (аутентификация, CI/CD)
• Стандарты кода — руководства по стилю и чек-листы для ревью
• Разработка фич — организация контекста для конкретных задач

💡 Для получения пользы от Spaces не нужна формальная документация — можно использовать заметки, резюме встреч или простые списки.

Функция находится в публичном превью и доступна всем пользователям с лицензией Copilot 🔧

Источники:
• Анонс
• Документация

#github #copilot #development #knowledge #teamwork

Как отслеживать расходы на Claude Code 💰

Если вы пользователь Claude Max или Pro и задаетесь вопросом, стоит ли Claude Code своих денег — просто посмотрите на статистику расходов.

Без детального анализа сложно оценить эффективность затрат. Некоторые задачи могут обходиться в $5 за каждый запуск, что серьезно бьет по бюджету 💸

Есть два полезных инструмента для отслеживания использования Claude Code:

1️⃣ ccusage
• CLI-инструмент для анализа использования токенов Claude Code
• Помогает легко выявить ресурсозатратные задачи
• Работает с локальными JSONL файлами

2️⃣ claude-code-costs
• Предоставляет визуальную разбивку стоимости сессий Claude
• Показывает расходы в динамике по времени
• Полезен для контроля бюджета

Основные возможности:
🔹 Расчет общих затрат по всем диалогам
🔹 Ежедневная разбивка расходов за последние 30 дней
🔹 Топ-20 самых дорогих диалогов
🔹 Фильтрация по проектам
🔹 Интерактивные HTML-отчеты с графиками

Установка и использование:

npx ccusage@latest
npx claude-code-costs

Оба инструмента анализируют данные из ~/.claude/projects/ и не требуют дополнительной настройки 🛠

Определенно стоит попробовать, если регулярно используете Claude Code для работы.

@llm_notes

#claude #cost #budget #development #vibecoding