#news #microsoft #omnitool #omniparser #agent #opensource #automation

🤖 Microsoft представила OmniParser V2 и OmniTool

👀 Похоже, у OpenAI Operator появился еще один серьезный конкурент! Microsoft выпустила два open-source инструмента, позволяющих языковым моделям (LLM) видеть, понимать и управлять компьютером почти как человек.

🔍 Почему это может быть интересно? В отличие от закрытого OpenAI Operator, эти инструменты доступны как open-source решения, что дает больше гибкости в использовании и настройке.

📱 OmniParser V2:
• Анализирует скриншоты и преобразует UI в структурированные данные
• На 60% быстрее первой версии
• Улучшенное распознавание мелких элементов интерфейса
• Работает на CPU (с опциональной поддержкой GPU)
• Поддерживает парсинг документов и UI-компонентов

🛠 OmniTool:
• Автоматизирует компьютерные задачи
• Умеет навигировать по браузеру
• Открывает приложения
• Выполняет команды

💻 Требования для установки OmniParser V2: • Git • Python • Conda • Токен Hugging Face

🖥 Требования для OmniTool : • Windows 11 VM • Docker • 20+ ГБ свободного места • Мощный ПК

⚡️ Важно: несмотря на пока еще достаточно сложный процесс установки, OmniTool после настройки может автоматизировать практически любую компьютерную задачу (демка здесь). Это делает его мощным AI-помощником для автоматизации повторяющихся задач, анализа UI-компонентов и интеграции с другими рабочими процессами.

🎯 Где это можно применить:
• Автоматизация тестирования ПО
• Извлечение данных из разных источников
• Автоматизация рабочего стола
• Корпоративная автоматизация
• Кибербезопасность и мониторинг систем

🤔 Интересный факт: с помощью таких инструментов AI может, например, самостоятельно найти репозиторий на GitHub, скопировать ссылку для клонирования, открыть терминал и выполнить команду clone.

Полный набор роликов со сценариями использования от разработчиков здесь.

#AI #Microsoft #Automation #Tech #Development #OpenAI

#cursor #ai #dev #heyboss #bolt #replit #lovable #trae #battle

🎨🤖 Битва AI-помощников: создаем финансовый дашборд 📊

👋 Привет, друзья!

🔬 Сегодня расскажу о новом эксперименте: на прошлом занятии курса по Cursor протестировали 6 разных AI-инструментов для разработки, создавая дашборд для мониторинга личных финансов.

📝 Вводная информация:
Идея проекта: создать веб-дашборд личных финансов для визуального анализа данных из Excel-таблицы.

🎯 Начали с Cursor по методике Plan-Plan-Act:

• 📋 Сформировали контуры ТЗ
• 📑 Разработали полное ТЗ
• 💻 Написали код

🛠 Технические детали первой версии:
• 🐍 Язык: Python
• 🌐 Веб-интерфейс: Streamlit

🔗 Полезные ссылки:
• 📦 Код: https://github.com/dzhechko/pu-finance-dashboard
• 🚀 Приложение: https://pu-finance-dashboard-production.up.railway.app/
• 📊 Тестовые данные: https://disk.yandex.ru/i/LoYazgIq82XYgA

🔄 После успешного эксперимента с Cursor решили пойти дальше и протестировать другие AI-помощники.
Для более современного подхода сменили стек технологий на:
• ⚡️ Next.js
• 🎨 Tailwind CSS
• 🎯 shadcn/ui

📊 Тестовые данные можно брать здесь

🏆 Лидеры гонки:

1️⃣ Lovable.dev
✨ Быстрый старт
✨ Рабочий проект с первой попытки
⚠️ Небольшая доработка UI для графиков
➡️ Результат: y-money-mosaic (исходники тут)


2️⃣ Bolt.new
✨ Стабильная работа "из коробки"
✨ Отличная интеграция с Supabase
✨ Минимум проблем
⚠️ Консервативный дизайн
➡️ Результат: Personal Finance Dashboard

3️⃣ Replit Agent
✨ Спокойный процесс разработки
✨ Понятный траблшутинг
⚠️ Проблемы с графиками
➡️ Результат: Replit Finance Dashboard

😐 Середнячки и аутсайдеры:

🔸 Heyboss
❌ Проблемы с аутентификацией на этапе тестирования
✅ Быстрая генерация функций
⚠️ Нужна доработка кода и лучше ее делать в Cursor, т.к на небольшие изменения кредиты расходуются быстро.
➡️ Результат: Heyboss Finance Dashboard

🔸 Trae
❌ Нет рабочего кода
❌ Неэффективный траблшутинг

💡 Основные выводы:
• 🥇 Lovable и Bolt - лучшие для быстрых прототипов
• 🏃‍♂️ Replit Agent - для спокойной разработки
• 📋 Для успеха очень важно иметь четкое ТЗ перед стартом
• ⚠️ Не все AI-инструменты одинаково полезны

#AIdev #webdev #coding #dashboard #finance #tech #programming

Эндрю Нг о состоянии AI-агентов: ключевые инсайты 🤖

Вчера на конференции Interrupt от Langchain состоялась беседа со-основателя Langchain Гариссона Чейса с Эндрю Нгом — одним из ведущих экспертов в области ИИ. Ниже мой краткий конспект с выводами о развитии агентных систем.

Агентность vs Агенты 🎯

Нг предлагает думать об агентности как о спектре функций, а не делить системы на "агентные" и "не агентные". Это помогает избежать бесполезных споров и сосредоточиться на практической разработке.

Текущее состояние рынка 📊

Большинство бизнес-процессов представляют собой:
• Линейные рабочие процессы
• Простые ветвления при ошибках
• Небольшие циклы обработки данных

Сложные агентные системы с множественными циклами пока менее распространены.

Ключевые навыки для разработчиков агентов 🛠

1️⃣ Правильная декомпозиция задач
Умение разбивать бизнес-процессы на микрозадачи остается критически важным навыком.

2️⃣ Система оценки (Evals)
Многие команды слишком долго полагаются только на ручную оценку. Автоматизированные evals нужно внедрять быстрее, даже если они изначально несовершенны.

3️⃣ Тактические знания
Опыт работы с различными инструментами (RAG, память, guardrails) как с "кубиками Lego" — чем больше инструментов знаешь, тем быстрее можешь собрать решение.

Недооцененные технологии 🔍

Голосовые приложения 🎙
Несмотря на высокий интерес крупных компаний, разработчики уделяют им недостаточно внимания. Голос снижает барьер входа для пользователей — люди говорят более свободно, чем пишут. Это действительно так: даже у меня уже сформировалась привычка ставить задачу AI-кодеру голосом.

MCP (Model Context Protocol) 🔗
Стандартизирует интеграцию агентов с различными источниками данных. Пока протокол "сырой", но это важный шаг к решению проблемы n×m интеграций.

Программирование с ИИ 💻
Нг выступает против термина "vibe coding", считая его misleading (некорректным). Это интеллектуально сложный процесс, требующий глубокого понимания технологий.
Про глубокое понимание технологий можно, конечно, поспорить.
Порог входа в AI-программирование стремительно снижается. Модели, которые "пишут" код, "умнеют" каждые пол-года. Многие задачи, которые раньше требовали написания сложного PRD (Product Requirement Document) сейчас решаются промптом в 1-2 предложения (которые можно сформулировать голосом).
Большинство даже опенсорсных систем (Cline/Roo Code) уже имеют встроенные "опросники" (Architect Mode) для новичков, которые позволяют максимально точно сформулировать задачу. Коммерческие системы тоже перед решением задачи формируют привычку расспросить новоиспеченных программистов о задаче, которые те собираются решить, предложив возможные варианты (например, claude code или cursor с настроенным соответствующим образом custom agent).
Однако, сам процесс Vibe Coding может быть утомительным, если действительно хочешь решить задачу, а не поиграться.

Важно: Всем стоит изучать программирование, так как умение точно объяснить компьютеру задачу становится ключевым навыком будущего.

Советы для стартапов 🚀

Два главных предиктора успеха:

1️⃣ Скорость выполнения
Опытные команды работают значительно быстрее, чем представляют себе новички.

2️⃣ Техническая экспертиза
Глубокое понимание технологий — самый редкий ресурс, поскольку технологии развиваются очень быстро.

Мультиагентные системы 🤝
Пока рано говорить о взаимодействии агентов от разных команд. Даже создание работающего одиночного агента остается сложной задачей.

• Ссылка на оригинальное видео беседы здесь
• Подробный транскрипт здесь
• Краткий транскрипт тут

#ai_agents #andrew_ng #artificial_intelligence #tech_trends #startup_advice

Как устроен Cursor: технические детали от создателей 🔧

Вчера прочитал очень интересное интервью с основателем Cursor. Интервью содержит множество деталей внутреннего устройства самого популярного AI-кодера, и с моей точки зрения будет интересно практически каждому.

Ниже мой краткий конспект.

Полная оригинальная версия здесь.
Перевод на русский язык: часть 1 | часть 2

Cursor — AI-редактор кода, который за год вырос в 100 раз по нагрузке и обрабатывает более 1 млн запросов в секунду. Сооснователь Суалех Асиф рассказал об используемых технических решениях.

Цифры проекта 📊

• 50 инженеров в команде
• 1M+ транзакций в секунду в пике
• 100x рост пользователей за 12 месяцев
• $500M+ годовая выручка
• Миллиард строк кода пишется ежедневно

Технический стек 💻

Клиент:
• TypeScript — основная логика
• Electron — форк VS Code
• Rust — производительные компоненты

Бэкенд:
• TypeScript + Rust
• Монолитная архитектура
• Node API для связи с Rust

Базы данных:
• Turbopuffer — хранение зашифрованных файлов
• Pinecone — векторная БД для документации

Инфраструктура:
• AWS + Azure для вычислений
• Десятки тысяч NVIDIA H100 GPU
• Terraform для управления инфраструктурой

Как работает автодополнение ⚡️

1️⃣ Клиент собирает контекст кода локально 2️⃣ Код шифруется и отправляется на сервер 3️⃣ Сервер расшифровывает и генерирует предложение 4️⃣ Предложение возвращается в IDE 5️⃣ Пользователь принимает через Tab

Ключевая задача — минимизировать задержки при максимальном качестве предложений.

Чат без хранения кода 🔒

Cursor не хранит исходный код на серверах, используя умную систему индексации:

Создание индексов:
• Код разбивается на чанки
• Создаются эмбеддинги без сохранения имен файлов
• Используются обфусцированные названия

Поиск по коду:
• Векторный поиск по эмбеддингам
• Запрос нужных файлов с клиента
• Анализ и ответ на основе контекста

Синхронизация через Merkle Trees:
• Каждые 3 минуты сравнение деревьев клиент-сервер
• Переиндексация только измененных файлов
• Эффективное использование ресурсов

Anyrun: оркестратор агентов 🤖

Написанный на Rust сервис для запуска AI-агентов в облаке:

• AWS EC2 — для корпоративных клиентов
• AWS Firecracker — микро-ВМ с запуском за 125мс
• Изоляция процессов — безопасность на уровне ВМ
• Снапшоты — сохранение состояния для быстрого восстановления

Инженерные вызовы 🚧

Проблемы масштабирования:
• Рост использования в 100 раз за год
• Миллиарды эмбеддингов ежедневно
• Один из крупнейших клиентов OpenAI

Проблема холодного старта:
• При падении всех нодов перезапуск критичен
• Нужно контролировать трафик при восстановлении
• Приоритизация пользователей во время инцидентов

Шардинг и его сложности:
• Ручное разделение индексов в Pinecone
• Недоиспользование ресурсов (30% простоя)
• Сложные миграции между шардами

Миграции баз данных 🔄

От Yugabyte к PostgreSQL:
• Yugabyte не справлялся с нагрузкой
• Долгие транзакции в распределенной системе
• PostgreSQL на AWS RDS решил проблемы

От PostgreSQL к Turbopuffer:
• 22TB данных в RDS достигли лимитов
• Особенности VACUUM в PostgreSQL
• Экстренная миграция за 10 часов во время инцидента

Культура разработки 👥

Релизы:
• Каждые 2-4 недели (десктопное приложение)
• Консервативные feature flags
• Тщательное тестирование перед выпуском

Команда:
• 15 инженеров в инфраструктурной команде
• Культура экспериментов
• Использование собственного продукта

Будущие вызовы:
• Масштабирование reinforcement learning
• Тысячи GPU для обучения
• Сложная архитектура с множеством компонентов

Выводы 💡

• Небольшие команды могут превосходить гигантов при правильном подходе
• Облачные провайдеры критичны для быстрого масштабирования
• Надо быть очень осторожными с использованием стартап-продуктов в инфраструктуре - лучше доверять гиперскейлерам
• Создание продукта для собственной аудитории упрощает разработку

Cursor своим примером показывает, как 50 инженеров могут конкурировать с Microsoft и GitHub, фокусируясь на потребностях разработчиков.

@llm_notes

#cursor #vibecoding #tech_architecture #startup_scaling