Эндрю Нг о состоянии AI-агентов: ключевые инсайты 🤖

Вчера на конференции Interrupt от Langchain состоялась беседа со-основателя Langchain Гариссона Чейса с Эндрю Нгом — одним из ведущих экспертов в области ИИ. Ниже мой краткий конспект с выводами о развитии агентных систем.

Агентность vs Агенты 🎯

Нг предлагает думать об агентности как о спектре функций, а не делить системы на "агентные" и "не агентные". Это помогает избежать бесполезных споров и сосредоточиться на практической разработке.

Текущее состояние рынка 📊

Большинство бизнес-процессов представляют собой:
• Линейные рабочие процессы
• Простые ветвления при ошибках
• Небольшие циклы обработки данных

Сложные агентные системы с множественными циклами пока менее распространены.

Ключевые навыки для разработчиков агентов 🛠

1️⃣ Правильная декомпозиция задач
Умение разбивать бизнес-процессы на микрозадачи остается критически важным навыком.

2️⃣ Система оценки (Evals)
Многие команды слишком долго полагаются только на ручную оценку. Автоматизированные evals нужно внедрять быстрее, даже если они изначально несовершенны.

3️⃣ Тактические знания
Опыт работы с различными инструментами (RAG, память, guardrails) как с "кубиками Lego" — чем больше инструментов знаешь, тем быстрее можешь собрать решение.

Недооцененные технологии 🔍

Голосовые приложения 🎙
Несмотря на высокий интерес крупных компаний, разработчики уделяют им недостаточно внимания. Голос снижает барьер входа для пользователей — люди говорят более свободно, чем пишут. Это действительно так: даже у меня уже сформировалась привычка ставить задачу AI-кодеру голосом.

MCP (Model Context Protocol) 🔗
Стандартизирует интеграцию агентов с различными источниками данных. Пока протокол "сырой", но это важный шаг к решению проблемы n×m интеграций.

Программирование с ИИ 💻
Нг выступает против термина "vibe coding", считая его misleading (некорректным). Это интеллектуально сложный процесс, требующий глубокого понимания технологий.
Про глубокое понимание технологий можно, конечно, поспорить.
Порог входа в AI-программирование стремительно снижается. Модели, которые "пишут" код, "умнеют" каждые пол-года. Многие задачи, которые раньше требовали написания сложного PRD (Product Requirement Document) сейчас решаются промптом в 1-2 предложения (которые можно сформулировать голосом).
Большинство даже опенсорсных систем (Cline/Roo Code) уже имеют встроенные "опросники" (Architect Mode) для новичков, которые позволяют максимально точно сформулировать задачу. Коммерческие системы тоже перед решением задачи формируют привычку расспросить новоиспеченных программистов о задаче, которые те собираются решить, предложив возможные варианты (например, claude code или cursor с настроенным соответствующим образом custom agent).
Однако, сам процесс Vibe Coding может быть утомительным, если действительно хочешь решить задачу, а не поиграться.

Важно: Всем стоит изучать программирование, так как умение точно объяснить компьютеру задачу становится ключевым навыком будущего.

Советы для стартапов 🚀

Два главных предиктора успеха:

1️⃣ Скорость выполнения
Опытные команды работают значительно быстрее, чем представляют себе новички.

2️⃣ Техническая экспертиза
Глубокое понимание технологий — самый редкий ресурс, поскольку технологии развиваются очень быстро.

Мультиагентные системы 🤝
Пока рано говорить о взаимодействии агентов от разных команд. Даже создание работающего одиночного агента остается сложной задачей.

• Ссылка на оригинальное видео беседы здесь
• Подробный транскрипт здесь
• Краткий транскрипт тут

#ai_agents #andrew_ng #artificial_intelligence #tech_trends #startup_advice

Как устроен Cursor: технические детали от создателей 🔧

Вчера прочитал очень интересное интервью с основателем Cursor. Интервью содержит множество деталей внутреннего устройства самого популярного AI-кодера, и с моей точки зрения будет интересно практически каждому.

Ниже мой краткий конспект.

Полная оригинальная версия здесь.
Перевод на русский язык: часть 1 | часть 2

Cursor — AI-редактор кода, который за год вырос в 100 раз по нагрузке и обрабатывает более 1 млн запросов в секунду. Сооснователь Суалех Асиф рассказал об используемых технических решениях.

Цифры проекта 📊

• 50 инженеров в команде
• 1M+ транзакций в секунду в пике
• 100x рост пользователей за 12 месяцев
• $500M+ годовая выручка
• Миллиард строк кода пишется ежедневно

Технический стек 💻

Клиент:
• TypeScript — основная логика
• Electron — форк VS Code
• Rust — производительные компоненты

Бэкенд:
• TypeScript + Rust
• Монолитная архитектура
• Node API для связи с Rust

Базы данных:
• Turbopuffer — хранение зашифрованных файлов
• Pinecone — векторная БД для документации

Инфраструктура:
• AWS + Azure для вычислений
• Десятки тысяч NVIDIA H100 GPU
• Terraform для управления инфраструктурой

Как работает автодополнение ⚡️

1️⃣ Клиент собирает контекст кода локально 2️⃣ Код шифруется и отправляется на сервер 3️⃣ Сервер расшифровывает и генерирует предложение 4️⃣ Предложение возвращается в IDE 5️⃣ Пользователь принимает через Tab

Ключевая задача — минимизировать задержки при максимальном качестве предложений.

Чат без хранения кода 🔒

Cursor не хранит исходный код на серверах, используя умную систему индексации:

Создание индексов:
• Код разбивается на чанки
• Создаются эмбеддинги без сохранения имен файлов
• Используются обфусцированные названия

Поиск по коду:
• Векторный поиск по эмбеддингам
• Запрос нужных файлов с клиента
• Анализ и ответ на основе контекста

Синхронизация через Merkle Trees:
• Каждые 3 минуты сравнение деревьев клиент-сервер
• Переиндексация только измененных файлов
• Эффективное использование ресурсов

Anyrun: оркестратор агентов 🤖

Написанный на Rust сервис для запуска AI-агентов в облаке:

• AWS EC2 — для корпоративных клиентов
• AWS Firecracker — микро-ВМ с запуском за 125мс
• Изоляция процессов — безопасность на уровне ВМ
• Снапшоты — сохранение состояния для быстрого восстановления

Инженерные вызовы 🚧

Проблемы масштабирования:
• Рост использования в 100 раз за год
• Миллиарды эмбеддингов ежедневно
• Один из крупнейших клиентов OpenAI

Проблема холодного старта:
• При падении всех нодов перезапуск критичен
• Нужно контролировать трафик при восстановлении
• Приоритизация пользователей во время инцидентов

Шардинг и его сложности:
• Ручное разделение индексов в Pinecone
• Недоиспользование ресурсов (30% простоя)
• Сложные миграции между шардами

Миграции баз данных 🔄

От Yugabyte к PostgreSQL:
• Yugabyte не справлялся с нагрузкой
• Долгие транзакции в распределенной системе
• PostgreSQL на AWS RDS решил проблемы

От PostgreSQL к Turbopuffer:
• 22TB данных в RDS достигли лимитов
• Особенности VACUUM в PostgreSQL
• Экстренная миграция за 10 часов во время инцидента

Культура разработки 👥

Релизы:
• Каждые 2-4 недели (десктопное приложение)
• Консервативные feature flags
• Тщательное тестирование перед выпуском

Команда:
• 15 инженеров в инфраструктурной команде
• Культура экспериментов
• Использование собственного продукта

Будущие вызовы:
• Масштабирование reinforcement learning
• Тысячи GPU для обучения
• Сложная архитектура с множеством компонентов

Выводы 💡

• Небольшие команды могут превосходить гигантов при правильном подходе
• Облачные провайдеры критичны для быстрого масштабирования
• Надо быть очень осторожными с использованием стартап-продуктов в инфраструктуре - лучше доверять гиперскейлерам
• Создание продукта для собственной аудитории упрощает разработку

Cursor своим примером показывает, как 50 инженеров могут конкурировать с Microsoft и GitHub, фокусируясь на потребностях разработчиков.

@llm_notes

#cursor #vibecoding #tech_architecture #startup_scaling

🚀 Полезные материалы по RAG/GitHub и новый поток курса по ИИ-прототипам и вайб-кодингу!

——————————————————————————
Чтобы не затерялось хотел бы поделиться ссылками на интерактивныe материалы по RAG (в дополнении к заметке) и GitHub-инструментам, которые готовил для разных мероприятий в этом году.

📚 Полезные материалы по RAG:
• https://dzhechko.github.io/yc-rag-lecture-intro/
• https://rag-sandbox-guide.pages.dev

🔧 GitHub инструменты:
• https://github-ecosystem-guide.pages.dev/

🔑 Коды доступа к продвинутому курсу:
`llmnotes2024`
`github-premium`
`advanced-course`
`telegram-llm`

💡 Как использовать код:
• Перейдите к разделу "Продвинутый курс"
• Введите код в поле "Введите код доступа"
• Нажмите "Проверить"
• Откроется доступ к курсу

——————————————————————————

И приглашаю всех желающих 29 октября (в эту среду) на пятый поток курса по "ИИ-прототипам и вайб-кодингу", где за 8 занятий мы будем копировать киллер-фичи успешных стартапов с оценкой свыше $1B! 💰

🎯 Что будем делать:
За 2 часа работы в Cursor/Lovable/Replit/Claude Code воссоздаем основные функции каждой компании-единорога

🦄 Список компаний для копирования:

1️⃣ MindTickle ($1.2B) - ИИ-тренажер для продавцов (делали в прошлом потоке)
2️⃣ Yuanfudao ($15.5B) - ИИ-репетитор
3️⃣ G2 ($1.1B) - Отзовик по B2B-SaaS-сервисам
4️⃣ OnlyFans ($8B) - Платный контент для взрослых
5️⃣ Outreach ($4.4B) - Поиск b2b-лидов и письма им
6️⃣ Whatnot ($5B) - Живые аукционы
7️⃣ BetterUp ($4.7B) - ИИ-коучинг и менторинг в компаниях
8️⃣ Guild ($4.4B) - Корпоративное обучение
9️⃣ DeepL ($2B) - Синхронный перевод

Теперь этим компаниям-единорогам стоит опасаться конкуренции! 😄

📈 Бонус: еще с десяток проектов из прошлых наборов будут доступны в записи!

📝Официальный анонс здесь
📝 Регистрация: https://productuniversity.ru/cursor
🎮 Интерактив: https://quest.productuniversity.ru/
(пройдя интерактив, вы получите ссылку на запись свежего видео-обзора лучших AI-инструментов для Vibe Coding'а)

Отличная возможность запустить свой стартап или внутренний проект! 🚀

@llm_notes

#rag #vibecoding #github #courses #startup