#news #microsoft #omnitool #omniparser #agent #opensource #automation

🤖 Microsoft представила OmniParser V2 и OmniTool

👀 Похоже, у OpenAI Operator появился еще один серьезный конкурент! Microsoft выпустила два open-source инструмента, позволяющих языковым моделям (LLM) видеть, понимать и управлять компьютером почти как человек.

🔍 Почему это может быть интересно? В отличие от закрытого OpenAI Operator, эти инструменты доступны как open-source решения, что дает больше гибкости в использовании и настройке.

📱 OmniParser V2:
• Анализирует скриншоты и преобразует UI в структурированные данные
• На 60% быстрее первой версии
• Улучшенное распознавание мелких элементов интерфейса
• Работает на CPU (с опциональной поддержкой GPU)
• Поддерживает парсинг документов и UI-компонентов

🛠 OmniTool:
• Автоматизирует компьютерные задачи
• Умеет навигировать по браузеру
• Открывает приложения
• Выполняет команды

💻 Требования для установки OmniParser V2: • Git • Python • Conda • Токен Hugging Face

🖥 Требования для OmniTool : • Windows 11 VM • Docker • 20+ ГБ свободного места • Мощный ПК

⚡️ Важно: несмотря на пока еще достаточно сложный процесс установки, OmniTool после настройки может автоматизировать практически любую компьютерную задачу (демка здесь). Это делает его мощным AI-помощником для автоматизации повторяющихся задач, анализа UI-компонентов и интеграции с другими рабочими процессами.

🎯 Где это можно применить:
• Автоматизация тестирования ПО
• Извлечение данных из разных источников
• Автоматизация рабочего стола
• Корпоративная автоматизация
• Кибербезопасность и мониторинг систем

🤔 Интересный факт: с помощью таких инструментов AI может, например, самостоятельно найти репозиторий на GitHub, скопировать ссылку для клонирования, открыть терминал и выполнить команду clone.

Полный набор роликов со сценариями использования от разработчиков здесь.

#AI #Microsoft #Automation #Tech #Development #OpenAI

Claude Code получил функцию Hooks для интеграции в рабочий процесс 🔧

В Claude Code появилась новая возможность — Hooks, которая позволяет выполнять пользовательские shell-команды до или после использования инструментов. Это позволяет пользователю интегрировать в пайплайн разработки с использованием Claude Code свои собственные скрипты.

Доступные типы хуков:

1️⃣ PreToolUse — выполняется перед использованием инструмента, подходит для блокировки потенциально опасных операций

2️⃣ PostToolUse — запускается после использования инструмента, полезен для автоформатирования или логирования

3️⃣ Notification — срабатывает когда Claude требует внимания или задает вопрос

4️⃣ Stop — выполняется перед завершением ответа, подходит для очистки или генерации сводок

5️⃣ SubagentStop — запускается когда субагент Claude Code (вызов инструмента Task) завершает свою работу

Настройка и использование ⚙️

• Настройка через интерфейс /hooks (см. скриншот)
• Возможность фильтрации по названию инструмента
• Команды могут выполняться параллельно

Практические примеры:

• Notification хук для macOS со звуковым уведомлением (если его настроить на хук Stop или SubagentStop, то будет аналог того, что есть в Cursor Settings в разделе Settings -> Chat -> Completion Sound)
• Можно настроить отправку уведомлений в Slack или WhatsApp при завершении задач 📱

Безопасность 🔒

Claude контролирует безопасность вызовов — всегда запрашивает подтверждение перед внесением изменений, что предотвращает выполнение потенциально вредоносных скриптов.

Что круто: функция совместима и может работать с MCP инструментами

Подробности настройки в официальной документации

@llm_notes

#claude #hooks #vibecoding #development #automation

rtrvr.ai показал лучшие результаты в тестах Web Bench 🚀

Я несколько раз в постах (1|2) уже упоминал вскользь такой инструмент для автономного решения рабочих задач в браузере как rtrvr.ai

Инструмент чрезвычайно эффективный - может почти полностью заменить человека, который работает с браузером (не только по результативности, но и по скорости работы), и имеет возможность запуска задач по расписанию, поэтому хотел бы посвятить ему отдельный пост.

Платформа rtrvr.ai продемонстрировала впечатляющие результаты в бенчмарке Web Bench, достигнув 81,39% успешности выполнения задач при среднем времени выполнения всего 0,9 минуты (см. скриншот).

Ключевые особенности архитектуры 🔧

rtrvr.ai использует локальный подход через Chrome-расширение (также есть расширение для Edge браузера под Windows), работая напрямую с DOM веб-страниц:

• Обход систем защиты от ботов и CAPTCHA
• Использование уже авторизованных сессий пользователя
• Поддержка работы в нескольких вкладках одновременно
• Интеграция пользовательской логики через AI Function Calling (можно добавлять свои инструменты)

Производительность по типам задач 📊

1️⃣ Задачи чтения данных: 88,24% успешности 2️⃣ Операции записи: 65,63% успешности
3️⃣ Средняя стоимость: $0,12 за задачу

Решение проблемы "экспоненциального отказа" ⚡️

Платформа эффективно справляется с усложнением многошаговых процессов благодаря:

• Параллельному выполнению в нескольких вкладках
• Работе с "живым" DOM
• Локальной оркестрации задач

Такой подход имитирует поведение реального пользователя, что значительно снижает количество ошибок при работе с динамическими элементами и сложными формами. Единственно что - по новой открываемой браузерной вкладке требует повторной авторизации, надо еще раз нажимать "ок".

Практическое применение 💼

rtrvr.ai подходит как для индивидуальных пользователей, так и для корпоративного использования, предлагая быструю и доступную автоматизацию веб-задач с минимальной настройкой.

Как и в любом AI-инструменте, эффективность использования сильно зависит от правильной постановки задачи.
Поэтому имеет смысл ознакомиться с лучшими практиками использования и попробовать готовые workflow.

А еще есть классная штука - запись своего workflow, для автоматизации рутины, которую делаешь, но долго или сложно описать словами. Кажется, такая функция сейчас должна работать "из коробки" в любом современном браузере :)

У инструмента есть полнофункциональный Free Tier, который обновляется каждый месяц, поэтому можно потестировать и посмотреть насколько он вам подходит (250 Initial Credits, 100 Credits/Month).

Подробности: https://www.rtrvr.ai/blog/web-bench-results
Записи тестов здесь

@llm_notes

#web #automation #ai #agents #browser #rtrvr

ChatGPT Agent: новый инструмент для автоматизации задач 🤖

OpenAI представила ChatGPT Agent — он объядиняет возможности Operator и Deep Research в единой системе. Логичный шаг, теперь у Openai есть агент, который может самостоятельно выполнять сложные задачи, используя браузер, терминал и различные API.

Небольшое отступление. По сути, все эти задачи можно решить и без ChatGPT Agent, настроив в любом AI-кодере, у которого есть доступ к терминалу, необходимый набор MCP-серверов, но если серверов много - можно наткнуться на лимиты по количеству инструментов (как наример, в Cursor) или же AI-кодер может просто "запутаться" в количесте MCP-инструментов и начать делать что-то не то. Выход из такого положения тоже есть:
1) поместить инструкции по применению MCP-инструментов в системный промпт (rules-файлы)
2) использовать MCP-агрегаторы со встроенным RAG по списку MCP-инструментов наподобие ACI.DEV (отлично справляется в случае с Cursor, когда есть лимиты на количество MCP-tools, и что круто - этот инструмент может быть установлен локально!)

Судя по всему, сам сценарий использования стал настолько популярен, что Openai решили пойти по пути создания pret-a-porter агента, который в данном контексте выигрывает за счет того, что не требует дополнительной "сборки" и настройки под описанный выше класс задач и будет удобнее для обычного пользователя, который далек от AI-программирования и не хочет вдаваться в детали настройки MCP.

Основные возможности:
• Анализ календаря и подготовка брифингов по встречам
• Планирование покупок и составление списков
• Создание презентаций и анализ конкурентов
• Бронирование и планирование поездок
• Работа с таблицами и документами

Технические особенности: ⚙️
🔹 Визуальный браузер для взаимодействия с веб-интерфейсами
🔹 Текстовый браузер для быстрого анализа контента
🔹 Доступ к терминалу для выполнения кода
🔹 Интеграция с Gmail, Google Calendar, GitHub (я полагаю, что в сравнении с MCP-интеграцией здесь преимущество в безопасности системы, за которую теперь отвечает openai, а не дуэт в составе автора MCP-сервера и команды anthropic, которая пишет спецификацию MCP-протокола)
🔹 Возможность создания презентаций и таблиц (это уже относительно давно есть в manus и genspark)

Результаты тестирования: 📊
1️⃣ Humanity's Last Exam: 41.6% (новый рекорд)
2️⃣ FrontierMath: 27.4% точности
3️⃣ SpreadsheetBench: 45.5% при работе с файлами
4️⃣ BrowseComp: 68.9% (+17.4% к предыдущим результатам)

Безопасность и ограничения: ⚠️
Система требует подтверждения для критических действий и защищена от prompt injection атак. Пользователи могут в любой момент прервать выполнение задачи или взять управление на себя.

Доступность:
• Pro пользователи: 400 запросов/месяц
• Plus и Team: 40 запросов/месяц
• Постепенный запуск в течение нескольких дней

Функция пока недоступна в ЕС и Швейцарии.
Я пока тоже доступ не получил.
Разработчики планируют регулярные улучшения системы.

Полезные ссылки для просмотра:
- Введение в ChatGPT Agent
- Кастомизация ChatGPT Agent

@llm_notes

#chatgpt #agents #openai #automation #productivity

🔥 Скидка на AI-инструменты возвращается!

Коллеги, всем привет! 👋

Для тех кто в апреле пропустил скидку на подписку на AI-инструменты есть возможность воспользоваться ей сейчас (https://www.lennysnewsletter.com/p/productpass)

💰 $200 или $350 за годовую подписку на 16 классных AI-инструментов (как правило, годовая подписка на 1-2 инструмента из списка стоит либо столько же, либо дороже)

Из апрельского списка "ушли" такие инструменты как v0, Cursor, Granola и Notion, но зато добавились такие интересные инструменты как:

🔧 n8n (https://n8n.io/) - самый популярный no-code инструмент для автоматизации процессов (я немного писал про работу с ним здесь и тут)

⚡️ Warp (https://www.warp.dev/) - кросс-платформенная агентная среда разработки, написанная на Rust (аналог Claude Code или Gemini CLI, но со своим UI)

🎨 Magic Patterns (https://www.magicpatterns.com/) - AI-инструмент для быстрого создания UI-прототипов, поддерживает командную работу и позиционируется для продуктовых команд

📋 ChatPRD (https://www.chatprd.ai/) - AI-инструмент для продукт-менеджеров, помогает создавать качественные PRDs (Product Requirement Document). Замечу, что для AI-программирования с моей точки зрения больше подойдет https://www.codeguide.dev/

🎬 Descript (https://www.descript.com/) - комплексная платформа для создания и редактирования видео и подкастов, которая использует AI для упрощения процесса создания контента

📊 Gamma (https://gamma.app/) - AI-инструмент для быстрого создания презентаций, документов и визуального контента

📱 Mobbin (https://mobbin.com/) - крупнейшая онлайн-библиотека UI/UX-паттернов и справочных материалов для дизайнеров и продуктовых команд. Бесплатные аналоги: https://dribbble.com/ и https://21st.dev/home (писал про него здесь)

🎤 Wispr Flow (https://wisprflow.ai/) - классный инструмент для транскрибации голоса в текст для мака, сам регулярно им пользуюсь при работе с AI-кодерами. У него есть бесплатный тир, которого при умеренном использовании может хватить

🔍 Raycast (https://www.raycast.ai/) - как я понял, это такой ИИ-помощник для мака: умный поиск, администрирование (можно дать ему доступ к календарю и файлам/папкам) и тому подобные вещи, похоже на AI-OS плагин. Скачивается только через VPN.

⚠️ Условия такие же: надо быть новым клиентом по выбранному продукту и не мешкать с активацией ключей. Если, конечно, не возьмете insider подписку за $350 - по ней пишут, что доступ к подпискам гарантированный.

Для тех кто уже как я оформлял подписку офер также действует - можно им воспользоваться на новые продукты из списка, но в связи со всплеском трафика соответствующая страничка (https://lennysproductpass.com/) недоступна

⏰ Главное через год не забыть отключить подписку, чтобы не получить продление по полной стоимости.

@llm_notes

#ai #tools #discount #productivity #automation #nocode

🔧 Полезный инструмент для Claude Code: Claude Code Templates

Для разработчиков, использующих Claude Code, появился полезный ресурс — платформа Claude Code Templates.
Это аналог популярного Playbooks для Cursor/Windsurf (ранее писал про него здесь), но созданный специально для Claude Code.

Что предлагает данный инструмент:

• Готовые AI-агенты (а точнее их полные спецификации с промптами и инструментами) для различных задач разработки
• Настроенные команды для автоматизации рутинных процессов
• Хуки для событийно-ориентированной автоматизации
• MCP интеграции с внешними сервисами
• Шаблоны проектов для разных языков и фреймворков

Основные возможности:

1️⃣ Специализированные агенты — от аудитора безопасности до оптимизатора производительности

2️⃣ Библиотека команд — автоматизация тестирования, рефакторинга, деплоя

3️⃣ Интеграции — подключение к GitHub, базам данных, инструментам автоматизации

4️⃣ Аналитическая панель — мониторинг использования Claude Code в реальном времени

5️⃣ Проверка системы — диагностика конфигурации и производительности

Платформа позволяет быстро найти нужный инструмент через поиск, не тратя время на создание решений с нуля. Все компоненты можно устанавливать как полными шаблонами проектов, так и отдельными модулями.

Инструмент распространяется через NPM и GitHub, имеет открытый исходный код и подробную документацию 📚

Есть красивая интеграция с DeepGraph, доступная прямо из UI, но для поиска нужного инструмента (агента, команды, шаблона, mcp и т.п.) под определенную задачу, по моему опыту, лучше использовать DeepWiki (чуть ранее писал о нем тут).

DeepGraph, например, не смог мне по репозиторию рассматриваемого проекта дать ответ на простой вопрос подскажи, какого агента лучше использовать для ревью кода? , хотя в проекте есть готовый суб-агент для решения такой задачи с говорящим названием code-reviewer
При этом DeepWiki на тот же вопрос сразу и достаточно быстро ответил что:

Рекомендуемый агент
code-reviewer - это специализированный агент для экспертного ревью кода, который проактивно проверяет качество, безопасность и поддерживаемость кода components.json:304 . Агент должен использоваться сразу после написания или модификации кода.

@llm_notes

#claudecode #templates #automation #vibecoding #mcp #agents #hooks

🚀 Lovable запустили Cloud и AI для автоматического создания приложений

Сегодня вечер крутых новостей!

Платформа Lovable представила две новые функции, которые упрощают разработку полнофункциональных приложений с ИИ.

Lovable Cloud — бэкенд одной командой 💾

Теперь можно создавать приложения с базами данных, авторизацией и файловым хранилищем без технических знаний. Система автоматически настраивает всю серверную инфраструктуру.

Что можно создать:
• Социальные приложения с профилями пользователей
• Платформы сообществ с постами и комментариями
• Системы управления товарами с каталогами
• Инструменты для совместной работы
• Обучающие приложения с отслеживанием прогресса

Lovable AI — ИИ-функции без настройки 🤖

Добавление ИИ-возможностей теперь происходит автоматически — не нужно регистрироваться у провайдеров, получать API-ключи или настраивать биллинг.

Возможности ИИ:
1️⃣ Анализ и обобщение контента
2️⃣ Чат-боты и разговорные интерфейсы
3️⃣ Анализ тональности текста
4️⃣ Поиск по документам и Q&A системы
5️⃣ Генерация контента и копирайтинг
6️⃣ Многоязычный перевод
7️⃣ Автоматизация рабочих процессов

Ценообразование 💰

Бесплатный тариф покрывает использование до $25/месяц. Lovable AI на базе Google Gemini бесплатен первую неделю для всех пользователей.

7-дневный челлендж 📅

С 29 сентября по 6 октября проходит неделя совместной разработки с ежедневными темами и призами.

В демонстрационном видео 10-летний ребенок создал математическое приложение с ИИ-подсказками и сохранением прогресса за несколько минут. Я проделал упражнение из ролика, результат можно посмотреть в комментариях.

Источники:
📖 Блог
🎥 Демо-видео
🌐 Челлендж

@llm_notes

#nocode #ai #vibecoding #lovable #automation #app

🔬 Paper2Agent: превращение научных статей в интерактивных AI-агентов

Исследователи представили новый подход к работе с научными публикациями. Вместо традиционного формата PDF + код, система Paper2Agent автоматически преобразует статьи в интерактивных AI-агентов.

Как это работает:
• Система анализирует научную статью и связанный код
• Автоматически настраивает рабочую среду
• Извлекает инструменты из репозитория
• Тестирует их до получения корректных результатов
• Упаковывает всё в MCP-сервер для взаимодействия

Основные преимущества:
🎯 Устраняет необходимость ручной настройки окружения
⚡️ Экономит время на воспроизведение результатов
🔧 Позволяет взаимодействовать с методами через естественный язык
📊 Обеспечивает 100% точность воспроизведения результатов

Принцип работы:
1️⃣ Статья преобразуется в MCP-сервер
2️⃣ Сервер объединяет инструменты, данные и инструкции
3️⃣ AI-агент подключается к серверу
4️⃣ Пользователь задаёт вопросы на естественном языке
5️⃣ Система выполняет анализ и возвращает результаты

Технология протестирована на сложных случаях включая AlphaGenome, TISSUE и Scanpy. Все тесты показали полное соответствие оригинальным результатам.

Я проводил свои тесты - результаты в комментариях.

📄 Статья: [Paper2Agent: Reimagining Research Papers As Interactive and Reliable AI Agents]
• Github проекта: https://github.com/jmiao24/Paper2Agent
• DeepWiki: https://deepwiki.com/jmiao24/Paper2Agent

@llm_notes

P.S. если у кого-то есть на примете интересные научные статьи с кодовой базой, которые можно было бы так "превратить" в ИИ-агента и протестировать, то напишите, пожалуйста, в комментариях.

#paper2agent #research #ai #automation #science

🚀 Manus 1.5: Обновление ИИ-платформы для разработки

Компания Manus выпустила версию 1.5 своей платформы с несколькими значимыми улучшениями.

Основные изменения:

⚡️ Ускоренный движок — задачи выполняются заметно быстрее благодаря оптимизации архитектуры

🎯 Повышенное качество вывода — интерфейсы, переходы и выравнивание стали более профессиональными и точными

📊 Неограниченный контекст — возможность работы с крупными проектами без потери данных и истории, что упрощает командную работу (немного про то, как manus делает context engineering, будет в следующей заметке)

🛠 App Builder — создание полноценных приложений с фронтендом, серверной логикой, базой данных и аутентификацией по одному запросу.

Я с использованием этого App Builder в 1 промпт сделал приложение по генерации картинок при помощи YandexART и Nano Banana (на выбор), результаты можно посмотреть в комментариях. Можно сравнить с приложением от Lovable, которое мной создавалось по тому же промпту чуть ранее.
Мне результат от Manus App Builder очень понравился. Похоже, что у нас есть новый лидер Vibe Coding'а с самым низким порогом входа. Весь предварительный ресерч, подготовка PRD и спецификации на разработку - все делается автоматически. Особенно меня порадовало, что добавить YandexART в этот генератор картинок оказалось предельно просто: добавь пожалуйста поддержку модели yandexart с необходимостью ввода credentials: folder id и api key (добавь ссылку на инструкцию где их взять https://telegra.ph/Kak-i-otkuda-brat-kredy-dlya-dostupa-k-YandexGPT-10-09).
Чуть позже я напишу в комментариях как с добавленим YandexART справился Lovable и Genspark AI Developer.
Пару дней назад я для демонстрации заказчику делал простенького веб-бота на базе yandexart (исходники здесь) , использовал: Github Codespaces, claude code (частично онлайн claude code в рамках бета тестирования), а также поиск рабочих код-снипетов в yandex cloud ml sdk и примерно представляю уровень неудобств. К слову, онлайн Codex так и не смог мне сгенерировать рабочий код такого бота.

🖼 Генерация и поиск изображений — интеграция с пониманием намерений пользователя

Для кого актуально:

1️⃣ Разработчики, работающие с ИИ-инструментами
2️⃣ Команды, создающие веб-приложения
3️⃣ Специалисты по автоматизации процессов
4️⃣ Пользователи, работающие с большими объемами данных

Обновление направлено на повышение производительности и расширение возможностей платформы для решения сложных задач разработки.
Если к этому добавить еще возможность отправки задач в manus по email, интеграцию manus с внешними инструментами и зарождающийся в документации API интерфейс к продукту, то Manus в скором времени может стать самым крутым универсальным ИИ-помощником. Который можно будет использовать и в "личном" общении, и в программном коде.

@llm_notes

#manus #ai #vibecoding #automation #productivity #app