#news #microsoft #omnitool #omniparser #agent #opensource #automation

🤖 Microsoft представила OmniParser V2 и OmniTool

👀 Похоже, у OpenAI Operator появился еще один серьезный конкурент! Microsoft выпустила два open-source инструмента, позволяющих языковым моделям (LLM) видеть, понимать и управлять компьютером почти как человек.

🔍 Почему это может быть интересно? В отличие от закрытого OpenAI Operator, эти инструменты доступны как open-source решения, что дает больше гибкости в использовании и настройке.

📱 OmniParser V2:
• Анализирует скриншоты и преобразует UI в структурированные данные
• На 60% быстрее первой версии
• Улучшенное распознавание мелких элементов интерфейса
• Работает на CPU (с опциональной поддержкой GPU)
• Поддерживает парсинг документов и UI-компонентов

🛠 OmniTool:
• Автоматизирует компьютерные задачи
• Умеет навигировать по браузеру
• Открывает приложения
• Выполняет команды

💻 Требования для установки OmniParser V2: • Git • Python • Conda • Токен Hugging Face

🖥 Требования для OmniTool : • Windows 11 VM • Docker • 20+ ГБ свободного места • Мощный ПК

⚡️ Важно: несмотря на пока еще достаточно сложный процесс установки, OmniTool после настройки может автоматизировать практически любую компьютерную задачу (демка здесь). Это делает его мощным AI-помощником для автоматизации повторяющихся задач, анализа UI-компонентов и интеграции с другими рабочими процессами.

🎯 Где это можно применить:
• Автоматизация тестирования ПО
• Извлечение данных из разных источников
• Автоматизация рабочего стола
• Корпоративная автоматизация
• Кибербезопасность и мониторинг систем

🤔 Интересный факт: с помощью таких инструментов AI может, например, самостоятельно найти репозиторий на GitHub, скопировать ссылку для клонирования, открыть терминал и выполнить команду clone.

Полный набор роликов со сценариями использования от разработчиков здесь.

#AI #Microsoft #Automation #Tech #Development #OpenAI

#cursor #ai #dev #heyboss #bolt #replit #lovable #trae #battle

🎨🤖 Битва AI-помощников: создаем финансовый дашборд 📊

👋 Привет, друзья!

🔬 Сегодня расскажу о новом эксперименте: на прошлом занятии курса по Cursor протестировали 6 разных AI-инструментов для разработки, создавая дашборд для мониторинга личных финансов.

📝 Вводная информация:
Идея проекта: создать веб-дашборд личных финансов для визуального анализа данных из Excel-таблицы.

🎯 Начали с Cursor по методике Plan-Plan-Act:

• 📋 Сформировали контуры ТЗ
• 📑 Разработали полное ТЗ
• 💻 Написали код

🛠 Технические детали первой версии:
• 🐍 Язык: Python
• 🌐 Веб-интерфейс: Streamlit

🔗 Полезные ссылки:
• 📦 Код: https://github.com/dzhechko/pu-finance-dashboard
• 🚀 Приложение: https://pu-finance-dashboard-production.up.railway.app/
• 📊 Тестовые данные: https://disk.yandex.ru/i/LoYazgIq82XYgA

🔄 После успешного эксперимента с Cursor решили пойти дальше и протестировать другие AI-помощники.
Для более современного подхода сменили стек технологий на:
• ⚡️ Next.js
• 🎨 Tailwind CSS
• 🎯 shadcn/ui

📊 Тестовые данные можно брать здесь

🏆 Лидеры гонки:

1️⃣ Lovable.dev
✨ Быстрый старт
✨ Рабочий проект с первой попытки
⚠️ Небольшая доработка UI для графиков
➡️ Результат: y-money-mosaic (исходники тут)


2️⃣ Bolt.new
✨ Стабильная работа "из коробки"
✨ Отличная интеграция с Supabase
✨ Минимум проблем
⚠️ Консервативный дизайн
➡️ Результат: Personal Finance Dashboard

3️⃣ Replit Agent
✨ Спокойный процесс разработки
✨ Понятный траблшутинг
⚠️ Проблемы с графиками
➡️ Результат: Replit Finance Dashboard

😐 Середнячки и аутсайдеры:

🔸 Heyboss
❌ Проблемы с аутентификацией на этапе тестирования
✅ Быстрая генерация функций
⚠️ Нужна доработка кода и лучше ее делать в Cursor, т.к на небольшие изменения кредиты расходуются быстро.
➡️ Результат: Heyboss Finance Dashboard

🔸 Trae
❌ Нет рабочего кода
❌ Неэффективный траблшутинг

💡 Основные выводы:
• 🥇 Lovable и Bolt - лучшие для быстрых прототипов
• 🏃‍♂️ Replit Agent - для спокойной разработки
• 📋 Для успеха очень важно иметь четкое ТЗ перед стартом
• ⚠️ Не все AI-инструменты одинаково полезны

#AIdev #webdev #coding #dashboard #finance #tech #programming

Эндрю Нг о состоянии AI-агентов: ключевые инсайты 🤖

Вчера на конференции Interrupt от Langchain состоялась беседа со-основателя Langchain Гариссона Чейса с Эндрю Нгом — одним из ведущих экспертов в области ИИ. Ниже мой краткий конспект с выводами о развитии агентных систем.

Агентность vs Агенты 🎯

Нг предлагает думать об агентности как о спектре функций, а не делить системы на "агентные" и "не агентные". Это помогает избежать бесполезных споров и сосредоточиться на практической разработке.

Текущее состояние рынка 📊

Большинство бизнес-процессов представляют собой:
• Линейные рабочие процессы
• Простые ветвления при ошибках
• Небольшие циклы обработки данных

Сложные агентные системы с множественными циклами пока менее распространены.

Ключевые навыки для разработчиков агентов 🛠

1️⃣ Правильная декомпозиция задач
Умение разбивать бизнес-процессы на микрозадачи остается критически важным навыком.

2️⃣ Система оценки (Evals)
Многие команды слишком долго полагаются только на ручную оценку. Автоматизированные evals нужно внедрять быстрее, даже если они изначально несовершенны.

3️⃣ Тактические знания
Опыт работы с различными инструментами (RAG, память, guardrails) как с "кубиками Lego" — чем больше инструментов знаешь, тем быстрее можешь собрать решение.

Недооцененные технологии 🔍

Голосовые приложения 🎙
Несмотря на высокий интерес крупных компаний, разработчики уделяют им недостаточно внимания. Голос снижает барьер входа для пользователей — люди говорят более свободно, чем пишут. Это действительно так: даже у меня уже сформировалась привычка ставить задачу AI-кодеру голосом.

MCP (Model Context Protocol) 🔗
Стандартизирует интеграцию агентов с различными источниками данных. Пока протокол "сырой", но это важный шаг к решению проблемы n×m интеграций.

Программирование с ИИ 💻
Нг выступает против термина "vibe coding", считая его misleading (некорректным). Это интеллектуально сложный процесс, требующий глубокого понимания технологий.
Про глубокое понимание технологий можно, конечно, поспорить.
Порог входа в AI-программирование стремительно снижается. Модели, которые "пишут" код, "умнеют" каждые пол-года. Многие задачи, которые раньше требовали написания сложного PRD (Product Requirement Document) сейчас решаются промптом в 1-2 предложения (которые можно сформулировать голосом).
Большинство даже опенсорсных систем (Cline/Roo Code) уже имеют встроенные "опросники" (Architect Mode) для новичков, которые позволяют максимально точно сформулировать задачу. Коммерческие системы тоже перед решением задачи формируют привычку расспросить новоиспеченных программистов о задаче, которые те собираются решить, предложив возможные варианты (например, claude code или cursor с настроенным соответствующим образом custom agent).
Однако, сам процесс Vibe Coding может быть утомительным, если действительно хочешь решить задачу, а не поиграться.

Важно: Всем стоит изучать программирование, так как умение точно объяснить компьютеру задачу становится ключевым навыком будущего.

Советы для стартапов 🚀

Два главных предиктора успеха:

1️⃣ Скорость выполнения
Опытные команды работают значительно быстрее, чем представляют себе новички.

2️⃣ Техническая экспертиза
Глубокое понимание технологий — самый редкий ресурс, поскольку технологии развиваются очень быстро.

Мультиагентные системы 🤝
Пока рано говорить о взаимодействии агентов от разных команд. Даже создание работающего одиночного агента остается сложной задачей.

• Ссылка на оригинальное видео беседы здесь
• Подробный транскрипт здесь
• Краткий транскрипт тут

#ai_agents #andrew_ng #artificial_intelligence #tech_trends #startup_advice

Как устроен Cursor: технические детали от создателей 🔧

Вчера прочитал очень интересное интервью с основателем Cursor. Интервью содержит множество деталей внутреннего устройства самого популярного AI-кодера, и с моей точки зрения будет интересно практически каждому.

Ниже мой краткий конспект.

Полная оригинальная версия здесь.
Перевод на русский язык: часть 1 | часть 2

Cursor — AI-редактор кода, который за год вырос в 100 раз по нагрузке и обрабатывает более 1 млн запросов в секунду. Сооснователь Суалех Асиф рассказал об используемых технических решениях.

Цифры проекта 📊

• 50 инженеров в команде
• 1M+ транзакций в секунду в пике
• 100x рост пользователей за 12 месяцев
• $500M+ годовая выручка
• Миллиард строк кода пишется ежедневно

Технический стек 💻

Клиент:
• TypeScript — основная логика
• Electron — форк VS Code
• Rust — производительные компоненты

Бэкенд:
• TypeScript + Rust
• Монолитная архитектура
• Node API для связи с Rust

Базы данных:
• Turbopuffer — хранение зашифрованных файлов
• Pinecone — векторная БД для документации

Инфраструктура:
• AWS + Azure для вычислений
• Десятки тысяч NVIDIA H100 GPU
• Terraform для управления инфраструктурой

Как работает автодополнение ⚡️

1️⃣ Клиент собирает контекст кода локально 2️⃣ Код шифруется и отправляется на сервер 3️⃣ Сервер расшифровывает и генерирует предложение 4️⃣ Предложение возвращается в IDE 5️⃣ Пользователь принимает через Tab

Ключевая задача — минимизировать задержки при максимальном качестве предложений.

Чат без хранения кода 🔒

Cursor не хранит исходный код на серверах, используя умную систему индексации:

Создание индексов:
• Код разбивается на чанки
• Создаются эмбеддинги без сохранения имен файлов
• Используются обфусцированные названия

Поиск по коду:
• Векторный поиск по эмбеддингам
• Запрос нужных файлов с клиента
• Анализ и ответ на основе контекста

Синхронизация через Merkle Trees:
• Каждые 3 минуты сравнение деревьев клиент-сервер
• Переиндексация только измененных файлов
• Эффективное использование ресурсов

Anyrun: оркестратор агентов 🤖

Написанный на Rust сервис для запуска AI-агентов в облаке:

• AWS EC2 — для корпоративных клиентов
• AWS Firecracker — микро-ВМ с запуском за 125мс
• Изоляция процессов — безопасность на уровне ВМ
• Снапшоты — сохранение состояния для быстрого восстановления

Инженерные вызовы 🚧

Проблемы масштабирования:
• Рост использования в 100 раз за год
• Миллиарды эмбеддингов ежедневно
• Один из крупнейших клиентов OpenAI

Проблема холодного старта:
• При падении всех нодов перезапуск критичен
• Нужно контролировать трафик при восстановлении
• Приоритизация пользователей во время инцидентов

Шардинг и его сложности:
• Ручное разделение индексов в Pinecone
• Недоиспользование ресурсов (30% простоя)
• Сложные миграции между шардами

Миграции баз данных 🔄

От Yugabyte к PostgreSQL:
• Yugabyte не справлялся с нагрузкой
• Долгие транзакции в распределенной системе
• PostgreSQL на AWS RDS решил проблемы

От PostgreSQL к Turbopuffer:
• 22TB данных в RDS достигли лимитов
• Особенности VACUUM в PostgreSQL
• Экстренная миграция за 10 часов во время инцидента

Культура разработки 👥

Релизы:
• Каждые 2-4 недели (десктопное приложение)
• Консервативные feature flags
• Тщательное тестирование перед выпуском

Команда:
• 15 инженеров в инфраструктурной команде
• Культура экспериментов
• Использование собственного продукта

Будущие вызовы:
• Масштабирование reinforcement learning
• Тысячи GPU для обучения
• Сложная архитектура с множеством компонентов

Выводы 💡

• Небольшие команды могут превосходить гигантов при правильном подходе
• Облачные провайдеры критичны для быстрого масштабирования
• Надо быть очень осторожными с использованием стартап-продуктов в инфраструктуре - лучше доверять гиперскейлерам
• Создание продукта для собственной аудитории упрощает разработку

Cursor своим примером показывает, как 50 инженеров могут конкурировать с Microsoft и GitHub, фокусируясь на потребностях разработчиков.

@llm_notes

#cursor #vibecoding #tech_architecture #startup_scaling

ИИ-новости 20 августа: предупреждения, падения и прорывы 🤖

(6 минутный подкаст можно послушать по ссылке)

Microsoft бьет тревогу: растет число случаев "ИИ-психоза" ⚠️

Мустафа Сулейман из Microsoft предупредил о новой проблеме — люди начинают воспринимать ИИ как живых существ и формируют с ними нездоровые отношения.

Что происходит:
• Пользователи верят в романтические отношения с ИИ
• Убеждены в получении сверхспособностей от чатботов
• Доверяют ИИ в серьезных жизненных решениях

Реальный случай: житель Шотландии поверил ChatGPT о компенсации в £5 млн, что привело к психическому срыву.

А нам то что?
Полезно помнить, что ИИ — это все-таки программа, а не лучший друг 🤖. Особенно когда речь идет о важных решениях и крупных суммах денег 💰.

Источники: [BBC News]


Технологические акции падают из-за сомнений в ИИ 📉

Инвесторы начинают сомневаться в окупаемости миллиардных вложений в искусственный интеллект.

Цифры падения:
• Nasdaq: -1,5%
• S&P 500: -0,6%
• 95% ИИ-проектов терпят неудачу (исследование MIT)

71% американцев беспокоятся о потере рабочих мест из-за ИИ.

А нам то что?
Пора перестать покупать акции только потому, что в названии компании есть слово "AI" 🤦‍♂️. И да, диверсификация портфеля по-прежнему актуальна, даже в эпоху ИИ 💼.

Источники: [Reuters]


Meta заморозила найм в ИИ-подразделении 🧊

После агрессивной кампании найма (50+ специалистов с пакетами свыше $100 млн) Meta приостановила пополнение команды ИИ.

Причины:
• Реструктуризация подразделения
• Давление инвесторов по окупаемости
• Базовое организационное планирование

А нам то что?
Если вы мечтали о зарплате в $100 млн за работу с ИИ — увы, поезд ушел 🚂💨. Зато теперь можно не переживать о том, что не успели на него запрыгнуть 😅.
А если серьезно: рынок труда в ИИ оказался не таким бесконечно растущим, как казалось 📈. Хорошее время для развития смежных навыков 🎯.

Источники: [Reuters]


Прорывы ИИ в медицине 🏥

🔹 Билл Гейтс запустил конкурс на $1 млн для ИИ-решений против болезни Альцгеймера

🔹 OpenEvidence набрала 100% на медицинском экзамене США (USMLE) — первая в истории

🔹 Epic Systems разрабатывает 200 ИИ-функций для медицинских записей

А нам то что?
Скоро ИИ будет лечить нас лучше врачей 👨‍⚕️, но при этом мы будем сходить с ума от общения с ним 🤪. Ирония судьбы в чистом виде 🎭.
А если серьезно: удивительно, но медицина — одна из немногих сфер, где ИИ действительно показывает впечатляющие результаты 👨‍⚕️. Возможно, именно здесь стоит следить за развитием технологий особенно внимательно 🔬.

Источники: [HIStalk Healthcare AI News]


Выводы дня 🎯

Индустрия ИИ переживает период переосмысления: технология показывает впечатляющие результаты в медицине, но растут опасения о психологических рисках и коммерческой окупаемости. Время эйфории сменяется более взвешенным подходом.

@llm_notes

#ai_news #tech_market #ai_psychology #medical_ai #investment_risks

Вчерашний дайджест новостей, на мой взгляд, был не очень интересным. Поэтому не стал его верстать и публиковать. А вот сегодняшний - достаточно любопытный, поэтому приятного чтения!

(13 минутный подкаст можно послушать по ссылке)

AI Дайджест: 22 августа 2025 📰

1. Apple и Google: неожиданный союз для Siri 🤝

Apple ведет переговоры с Google об использовании Gemini AI для модернизации Siri. Компания рассматривает внешнее партнерство после того, как собственная разработка застопорилась.

Основные моменты:
• Решение еще не принято окончательно
• Обновление Siri отложено на год из-за технических проблем
• Apple также общалась с Anthropic и OpenAI
• Акции Alphabet выросли на 3.7% после новости

А нам то что? 🤷‍♂️ Наконец-то Siri может стать умнее чайника! Правда, для этого Apple придется просить помощи у конкурентов.

А если серьезно: пользователи iPhone могут получить более продвинутого голосового помощника, хотя это означает, что даже Apple признает превосходство чужих AI-технологий.

[Источник: Reuters]

3. MIT: 95% корпоративных AI-проектов проваливаются 📉

Исследование MIT показало, что только 5% компаний получают отдачу от AI-инвестиций, несмотря на $30-40 миллиардов трат. Проблема не в качестве моделей, а в "разрыве обучения" (отсутствие культуры использования ИИ в работе).

Ключевые выводы:
• Исследование охватило 150 интервью и 350 опросов
• Готовые AI-инструменты работают лучше самодельных
• Наибольший ROI в автоматизации back-office
• Половина бюджетов тратится на продажи и маркетинг

А нам то что? 🎯 Выходит, что AI — это как спортзал: все покупают абонемент, но мало кто ходит 😉

А если серьезно: это отрезвляющая статистика для инвесторов и напоминание, что внедрение AI требует не только денег, но и грамотной стратегии. Про рекомендуемый Mckinsey подход для разрешения "парадокса генеративного ИИ" и о том, что это такое писал здесь.

[Источник: Fortune]


4. Армия США инвестирует $99.5 млн в Scale AI 🎖

Пентагон заключил контракт с Scale AI на исследования и разработки в сфере военного ИИ сроком до 2030 года. Это уже второй подобный контракт компании с армией.

Детали контракта:
• Фиксированная цена $99.5 миллионов
• 11 заявок на тендер
• Предыдущий контракт был на $90.8 млн в 2020 году

А нам то что? 🤖 Теперь ИИ будет не только писать стихи, но и планировать военные операции. Что может пойти не так?

А если серьезно: это показывает стратегическую важность AI-технологий для национальной безопасности США и может ускорить развитие гражданских применений.

[Источник: GovConWire]


5. Экологическая цена AI-революции 🌍

Массовое внедрение ИИ приводит к значительному росту потребления энергии и воды, что вызывает обеспокоенность экологическими последствиями развития технологий.

А нам то что? ⚡️ Оказывается, ChatGPT не только ест наши данные, но и планету заодно.

А если серьезно: это напоминание о том, что технологический прогресс должен учитывать экологические издержки, и, возможно, именно под этим предлогом после того как "борьба за умы" будет закончена и рынок LLM "устаканится", западные провайдеры "внезапно" могут начать повышать цену за токен. И тогда отечественные провайдеры LLM на их фоне станут выглядеть выгодными по цене, и мы станем ими пользоваться не только ради безопасности и соблюдения требований регуляторов.

[Источник: ABC News]


6. Analog Devices на волне AI-оптимизма 📈

Акции компании выросли на 3.61% до $255.87, достигнув годового максимума благодаря успехам в промышленном секторе и превышению ожиданий в Q3.

А нам то что? 💹 Еще одна компания решила прокатиться на AI-хайпе. Инвесторы скупают все, что хоть как-то связано с искусственным интеллектом.

А если серьезно: это показывает, как AI-тренд все еще влияет на весь tech-сектор, создавая возможности для роста даже традиционных полупроводниковых компаний.

[Источник: AInvest]

@llm_notes

#ai_news #tech_industry #corporate_ai #military_ai #ai_investments