Заметки LLM-энтузиаста
518 subscribers
144 photos
17 videos
1 file
175 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
#openai #deepresearch #news

Openai запустили новый инструмент deep research, который позволяет при ответе на вопрос:
- собрать всю недостающую информацию от пользователя
- произвести пошаговый поиск ответа в Интернете
(оригинальный видео-анонс здесь, подробное текстовое описание тут)

Под "капотом" deep research использует дообученную модель o3 reasoning (еще не была выпущена), которая по новому и достаточно сложному для LLM-моделей бенчмарку "Humanity Last Exam" превосходит o3-mini более чем в 2 раза!

По бенчмарку "GAIA", который оценивает "агентные" способности модели, deep research на всех уровнях сложности обновил высокие оценки других моделей

Что интересно:
- модель мультимодальная (работает и с текстом, и с изображениями)
- чем дольше модель думает, тем качественнее ответ
- она все еще может давать вместо правильных ответов галлюцинации, поэтому рекомендуется проверять ответ по ссылкам на источники

В моем личном кабинете доступа к этой полезной функции все еще нет, возможно, что еще не на все страны открыли доступ.
А хотя вот, нашел почему:
We are starting with a version optimized for Pro users today, with up to 100 queries per month. Plus and Team users will get access next, followed by Enterprise. We are still working on bringing access to users in the United Kingdom, Switzerland, and the European Economic Area. 

У меня обычная Plus подписка за $20 в месяц.
Deep Research пока что только для Pro пользователей, которые платят $200 в месяц (с ограничением 100 запросов в месяц)
3👍1
#deepresearch #opensource

Альтернатива OpenAI Deep Research с открытым исходным кодом

Я, честно говоря, в шоке как быстро реагирует опенсорc на то, что делает Openai :)

Менее чем через сутки после выхода Deep Research кому-то удалось создать версию с открытым исходным кодом.
Эта версия с представляет собой Node.js-реализацию Deep Research от OpenAI, и использует Gemini Flash и Jina Reader.
Запускается цикл, в котором "поисковик" читает и рассуждает до тех пор, пока цель поиска не будет достигнута.

Вот ссылка на репозиторий: https://github.com/jina-ai/node-DeepResearch

Если интересны opensource альтернативы Openai Operator (это агент по выполнению пользовательских задач разного плана, не только поиска) - напишите в комментариях, я в одном из следующих постов напишу, какие опции можно использовать, кроме предлагаемой Vercel, о которой писал ранее
3🔥2👍1
🔍 Два новых инструмента для веб-поиска и исследований: Firesearch и GPT Researcher

Разработчики получили два интересных решения для автоматизации веб-исследований, которые решают разные задачи при работе с данными.

Firesearch: поиск и скрапинг в одном запросе

Firecrawl запустили эндпоинт /search, который объединяет поиск в интернете и извлечение контента в одном API-вызове. Теперь не нужно делать отдельные запросы для поиска и последующего скрапинга страниц. Что очень круто. Например, yandex search api в режиме нейро-поиска пока работает только по определенному спектру url (см. здесь).

Основные возможности:
• Поиск и извлечение контента одним запросом
• Настройка по языку, стране и временному диапазону
• Вывод в разных форматах: markdown, HTML, ссылки, скриншоты
• Интеграция с Zapier, n8n, MCP для Claude и OpenAI

Как устроен:
Firesearch использует Langgraph и Firecrawl и построен на основе одного основного компонента - LangGraphSearchEngine, который управляет всем процессом поиска через граф состояний LangGraph.
Система содержит 6 основных узлов обработки в графе состояний:
understand - анализ запроса пользователяplan - планирование стратегии поиска
search - выполнение поисковых запросов
scrape - извлечение дополнительного контента
analyze - анализ найденных источников
synthesize - синтез финального ответа
Подробнее в репозитории (где, кстати, есть возможность сразу сделать деплой на vercel со своими ключами Firecrawl и Openai) и на deepwiki (где можно не только подробно ознакомиться с архитектурой решения, но и позадавать интересующие вопросы, только не включайте опцию deep research - она почему-то работает бесконечно медленно)


GPT Researcher: opensource альтернатива дорогим deep research решениям

Пока крупные компании предлагают свои "Deep Research" функции за $200/месяц (OpenAI) или с ограничениями (Perplexity - 5 запросов в день), GPT Researcher предоставляет открытое решение.

Ключевые особенности:
1️⃣ Мультиагентная архитектура с планировщиком и исполнителем
2️⃣ Рекурсивные исследования с древовидной структурой анализа
3️⃣ Обработка 20+ источников за 3 минуты ($0.1 за отчет)
4️⃣ Глубокий анализ за 5 минут ($0.4 за расширенный отчет)
5️⃣ Отчеты свыше 2000 слов с цитированием источников

Как устроен
GPT Researcher использует Tavily для поиска и LangGraph для построения мультиагентной архитектуры.
Система состоит из 8 агентов:
Chief Editor - главный агент-координатор, который управляет командой через LangGraph
Researcher (gpt-researcher) - специализированный автономный агент для исследований
Editor - планирует структуру исследования
Reviewer - проверяет корректность результатов
Revisor - пересматривает результаты на основе обратной связи
Writer - составляет финальный отчет
Publisher - публикует отчет в различных форматах
Human - человек в цикле для обратной связи
Подобнее в репозитории и на deepwiki
Также у GPT Researcher есть отдельный репозиторий для MCP-сервера

Практическое применение 📊

Firesearch подходит для быстрого получения актуального контента с веб-страниц, а GPT Researcher - для комплексного анализа и создания детальных отчетов по исследуемым темам.

Оба инструмента можно интегрировать в существующие рабочие процессы и настроить под конкретные задачи.

@llm_notes

#webscraping #deepresearch #opensource #firecrawl #langgraph
5👍2