Поигрался с новым протоколом mcp, запилил парсер страничек в интернете на основе jina.ai (бесплатный сервис, можно получать страницу в виде markdown) на typescript/nodejs

В целом прикольно, хоть и сыровато пока что. На маке пока что не поддерживается работа с nvm (пакетный менеджер), необходимо вручную указывать путь до нужной версии ноды

Reddit, крупнейшая площадка с пользовательским контентом, откуда Perplexity и другие AI берут самые полезные ответы, добавила поиск с ИИ - Reddit Answers.

По сути это диалоговый интерфейс поверх существующих обсуждений. Задаешь вопрос и получаешь релевантные куски с разных тредов, с прямыми ссылками на источники. Результаты можно читать прямо в поиске или переходить в оригинальные дискуссии.

Пока запустили только в США на английском. Обещают добавить другие страны и языки позже, можно подписаться на уведомления о запуске в своем регионе.

В отличие от генеративных чатботов, система не придумывает ответы, а собирает их из реальных обсуждений. Это логичный апгрейд поиска по Reddit - платформа давно пыталась сделать свой контент более доступным для поиска.

А вот и анонс от СЕО компании с цифрами бенчмарков!

У кого-то из чата уже заработали аудио-ввод и вывод (генерация речи), у меня пока нет(

https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/

Ссылка попробовать в AI Studio БЕСПЛАТНО: тык

Привет!

Сделал перевод замечательного (очередного) поста от Anthropic об агентах.

https://vas3k.club/post/26791/

Сначала хотел опубликовать на Хабре, написал перевод еще вечером в субботу, но модерацию так и не прошел, а сегодня увидел другой пост на основе этой статьи, так что решил опубликовать в Вастрик.Клубе.

В комментах в Вастрик.Клубе резонно указали, что не хватает примеров. Хорошее замечание, поэтому добавим больше примеров.

Давайте разберём описанные подходы на кейсе – ai fitness app.

Идея приложения – AI может анализировать видео записи тренировок пользователя, давать советы по технике. Может составить план тренировок, план питания, вести пользователя по этим планам.

Начнём по порядку:
1. Цепочка промптов
Тут всё просто – например, для после регистрации пользователя в системе, просим его рассказать о себе и о своих целях. Далее, мы можем: проанализировать инпут пользователя и понять, достаточно ли нам информации для того чтобы составлять курс тренировки или нужно запросить у пользователя еще информацию.
Если информации достаточно, то передаём её в воркфлоу, который составляет программу тренировок. Можем передать эту информацию в воркфлоу, который составляет программу питания. А можем сделать необольшой ричёрч и посмотреть, например, рекомендации ВОЗ по физической нагрузке для конкретного нашего пользователя.

2. Воркфлоу: Роутинг
Здесь можно привести такой пример – пользователь голосом отправляет сообщение, например, о том, что у него есть вопрос по питанию. Под капотом, после того как мы дешифруем голос в текст, мы отправляем этот текст в "роутер", которому в системный промпт добавляем все возможные действия нашего приложения (например, ответить на вопросы по питанию, тренировкам; составить программу тренировок; заменить упражнение и т. д.). Ну и роутер уже может выбрать действие соответствующее запросу юзера и передать флоу далее по пайплайну.

3. Воркфлоу: Параллелизация

Декомпозиция: разделяем запросы на генерацию силовых упражнений, кардио упражнений, а полученный результат анализируем и готовим отчёт по всем упражнениям.

Консенсус: просим LLM в несколько запросов оценить технику выполнения, анализируем полученные результаты, находим общие паттерны и используем их в качестве совета.

4. Воркфлоу: Оркестратор
Насколько я понимаю, такой подход применяется в Pro версии Perplexity – когда система сама сначала разбивает задачу на сабтаски, потом генерит промпт для поиска информации в интернете и оценивает результат.

Я пока что не видел хороших примеров использования такого подхода (если вы знаете такие примеры, пишите в комментах), кроме как в системах подобных Perplexity, так как никогда не хочется давать электронному дурачку большой выбор – я считаю, что его стоит держать в узде и ограничивать набор разрешённых действий.

4. Воркфлоу: Оценщик

Одним запросом LLM выполняет задачу, например, по составлению плана тренировки.
Другим запросом LLM смотрит на этот план тренировки и валидирует его по указанным правилам, и отправляет первую LLM'ку переделывать свою работу

5. Агент

В моём понимании, агент – это более комплекс различных воркфлоу, интеграций со сторонними сервисами и в целом автономная система, которая в состоянии обработать (не обязательно решить) любой запрос пользователя и дать ответ.

В Вастрик.Клубе сейчас выходит серия постов (доступ публичный) про историю взаимоотношений Илона Маска и OpenAI, очень интересно, прям Санта-Барбара 🙂

Первая часть
Вторая часть

По первой части было понятно, что «всё не так однозначно» с Илоном в OpenAI 🙃

Long Context vs RAG: что лучше работает

В последнее время много обсуждений вокруг двух подходов к работе с большими документами в LLM: Long Context (LC) и Retrieval-Augmented Generation (RAG). Давайте разберем свежее исследование, которое проливает свет на их сравнение.

Ключевые находки:

1. Общая картина

LC в целом показывает лучшие результаты, чем RAG (56.3% vs 49.0% правильных ответов).

2. Где какой подход лучше работает:

LC хорош для:
- Википедии и других структурированных текстов
- Художественной литературы
- Четких фактологических вопросов (кто/где/когда)

RAG показывает себя лучше в:
- Диалогах
- Фрагментированной информации
- Общих вопросах (особенно да/нет)

3. Интересный момент про ретриверы

Протестировали разные подходы к поиску:
- BM25
- Contriever
- OpenAI Embeddings
- Llama-Index
- RAPTOR

RAPTOR (иерархический подход с саммаризацией) показал лучшие результаты – 38.5% правильных ответов. Это намекает на то, что будущее за более сложными методами ретрива, чем простой чанкинг 📈

4. Забавный факт

Около 29% вопросов из датасета модель могла ответить вообще без контекста – просто из своих параметров. Это показывает, насколько много знаний уже "зашито" в самих LLM.

5. Важный нюанс про датасеты

Многие бенчмарки для тестирования long context на самом деле constructed synthetic – то есть собраны из кусков релевантного текста + шум. По сути, это как предварительно сделанный RAG для LC модели, что создает определенный bias в тестировании.

Выводы:
- Нет универсально лучшего решения
- Выбор между LC и RAG должен зависеть от типа документов и задач
- Будущее вероятно за гибридными подходами

Гибридные подходы к LC и RAG: разбираем детали 🔍

А зачем нужен LC, если мы уже нашли релевантные куски с помощью RAG? Давайте разберемся.

1. Проблема контекста при ретриве

RAG часто разбивает текст на чанки, что создает проблемы:
- Теряются связи между частями текста
- Контекст может быть разорван на границах чанков
- Общая картина может быть искажена

Пример: в начале текста написано "Компания X", а через несколько абзацев "Их выручка составила...". RAG может взять только второй кусок, и LLM не будет понимать о какой компании речь.

2. Гибридные подходы

a) Последовательный подход:
- RAG для initial filtering большого корпуса
- LC получает найденные куски + окружающий контекст
- Плюс: сохраняем связность информации

b) Параллельный подход:
- Запускаем и RAG и LC одновременно
- Сравниваем/комбинируем результаты
- Плюс: используем сильные стороны обоих

3. Практические рекомендации:

✅ Используйте RAG для первичной фильтрации
✅ Давайте LC больше контекста вокруг найденных кусков
✅ Экспериментируйте с размером чанков
✅ Сохраняйте метаданные об источниках

В итоге, гибридный подход – это не просто "сложить два метода вместе". Это возможность построить систему, где RAG отвечает за поиск релевантной информации, а LC – за её глубокое понимание с учетом контекста.

Я часто вижу, что в приложениях используется в основном RAG, а кто-то использует LC? Расскажите в комментах 👇

Намечается интересное

https://fixupx.com/rauchg/status/1875395453115888093

AI фишинг – результаты нового исследования из Гарварда 🎣

Главные результаты

Исследователи из Гарварда показали, что современные языковые модели (они использовали Claude 3.5 Sonnet и GPT-4o) могут создавать фишинговые письма такого же качества, как и опытные специалисты. Результаты впечатляют:

◾️ Контрольная группа (обычный фишинг): 12% успешности
◾️ Письма от экспертов: 54%
◾️ Полностью автоматизированные AI письма: 54%
◾️ AI + human-in-the-loop: 56%

Основные выводы

◾️ AI достиг паритета с человеком-экспертом в написании фишинговых писем. Это большой скачок по сравнению с 2023 годом, когда для такой эффективности требовалось человеческое участие.

◾️ Исследователи разработали AI инструмент, который может:
– Автоматически собирать информацию о жертвах
– Генерировать персонализированные фишинговые письма
– Отслеживать успешность
– Самообучаться на основе результатов

Технические детали

Интересный технический момент – исследователи отправляли письма батчами по 10 штук, чтобы не попадать в спам фильтры (больший объем похожих писем быстро отмечается как спам).

Экономика фишинга

Самое тревожное – экономика AI фишинга. При достаточном масштабе (около 5000 жертв), автоматизированный фишинг может быть в 50 раз прибыльнее традиционного. А учитывая, как быстро развиваются LLM, это становится серьезной угрозой безопасности 😐

Безопасность

◾️ Существующие ограничения AI легко обойти
◾️ Эффективность AI фишинга создает серьезные проблемы безопасности
◾️ Исследователи подчеркивают необходимость улучшения защитных мер и политик

Ключевые инсайты

1. Психология доверия:
◾️ 40% пользователей, кликнувших по AI-письмам, отметили, что персонализация повысила доверие
◾️ Аутентичность отправителя была главным индикатором подозрительности

2. Эволюция AI:
◾️ В 2023 году AI требовал помощи человека
◾️ Сейчас работает автономно на уровне экспертов
◾️ К 2025 году прогнозируется значительное превосходство над человеком

Интересные факты

◾️ Письма отправлялись между 10:30 и 14:00 для максимальной эффективности
◾️ Ручной сбор информации занимал около 23 минут на цель, AI справляется за минуты
◾️ Из 101 участника только 60 проявили активность после регистрации
◾️ Claude 3.5 Sonnet достиг практически идеального обнаружения на тестовом наборе из 20 писем

В исследовании также показано, что те же самые LLM отлично справляются с детектом фишинговых писем (Claude 3.5 Sonnet показал точность 97.25% без ложных срабатываний).

Хороший пример использования reasoning моделей https://t.me/llm_under_hood/493