Обнаружена самая большая коллекция RAG техник на GitHub

Репозиторий NirDiamant представляет мощнейшую коллекцию передовых техник RAG (Retrieval-Augmented Generation).

Охватывает множество сценариев: от базовых подходов до сложных многоуровневых систем.

Ключевые направления: оптимизация поиска, обработка контекста, адаптивное извлечение и интеграция различных типов данных.

Просто оглавление для понимания:
1. Simple RAG
2. Context Enrichment Techniques
3. Multi-faceted Filtering
4. Fusion Retrieval
5. Intelligent Reranking
6.Query Transformations
7. Hierarchical Indices
8. Hypothetical Questions (HyDE Approach)
9. Choose Chunk Size
10. Semantic Chunking
11. Contextual Compression
12. Explainable Retrieval
13. Retrieval with Feedback Loops
14. Adaptive Retrieval
15. Iterative Retrieval
16. Ensemble Retrieval
17. Knowledge Graph Integration (Graph RAG)
18. Multi-modal Retrieval
19. RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
20. Self RAG
21. Corrective RAG
22. Document Augmentation through Question Generation for Enhanced Retrieval
23. Sophisticated Controllable Agent for Complex RAG Tasks

Коллекция продолжает пополняться.
Заносим в избранное.

#GitHub #RAG #NLP
———
@tsingular

DeNube: Революция в облачных GPU-вычислениях

Стартап DeNube запускает децентрализованную облачную GPU-сеть для AI-инфраструктуры нового поколения.
Платформа токенизирует простаивающие ресурсы дата-центров, делая их доступными для пользователей.
Ключевые преимущества: снижение затрат, масштабируемость и экологичность решения.
DeNube использует глобальную сеть независимых узлов для распределения вычислительной нагрузки.
Система обеспечивает доступ к GPU/CPU по требованию, без крупных предварительных инвестиций.

Похоже, майнеры нашли новое применение своим фермам. 🖥💨

#DeNube #decentralizedComputing #cloudGPU
-------
@tsingular

Сверхзвуковые LLM

Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B

Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.

Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?

Попробовать можно тут.

@ai_newz

GameNGen: Нейросетевой движок генерирует DOOM в реальном времени

Исследователи создали GameNGen - первый игровой движок на нейронной модели.
Система интерактивно симулирует DOOM со скоростью 20+ кадров в секунду на одном TPU.
Качество генерации сопоставимо с JPEG-сжатием (PSNR 29.4).
Архитектура включает RL-агента для игрового процесса и диффузионную модель для генерации кадров.
Применены техники стабилизации для длительной авторегрессивной генерации.
Люди с трудом отличают реальную игру от симуляции на коротких отрезках.

Скоро нейросети будут генерировать игры быстрее, чем мы успеем в них играть! 🎮🤖

Когда мощность чуть подтянут - можно будет генерить миры неотличимые от реального в реальном времени.

Wake up Neo! Matrix has you.

#GameNGen #DOOM #neuralrendering
-------
@tsingular

Утечки данных с LLM-сервисов

Исследование выявило сотни уязвимых серверов с LLM и векторными базами данных, раскрывающих конфиденциальную информацию в открытых сегментах интернета.

Компании, спеша внедрить ИИ, пренебрегают безопасностью.
В результате, например, обнаружены уязвимости в популярном инструменте Flowise (CVE-2024-31621) для создания LLM-приложений.

Выявлено 438 скомпрометированных сервера с доступом к токенам, ключам API и паролям.
Около 30 векторных баз оказались без аутентификации.

Утечки затрагивают личные, финансовые и медицинские данные.

В AI-first не забывайте по ИБ-first!
SDLC подход, ZeroTrust и вот это вот всё, чтобы не попасть в новости с тэгом #утечки

#LLM #Flowise #DataLeak
-------
@tsingular

NVIDIA улучшает Multi-LoRA в RTX AI Toolkit

NVIDIA интегрировала Multi-LoRA в RTX AI Toolkit, что позволяет одновременно использовать несколько дообученных моделей с одной базовой.
Технология увеличивает производительность до 6 раз, снижая требования к памяти и пропускной способности GPU.
Multi-LoRA дает возможность параллельно обрабатывать запросы с разными адаптерами, что идеально для приложений с несколькими вариантами использования.
Пример: генерация диалогов, сюжетов и изображений для игр одной моделью с различными настройками.
Это позволит разработчикам эффективнее применять ИИ-модели в своих рабочих процессах.

Теперь одна нейронка может отвечать от лица разных предобученных датасетов меняя их "на лету".
Удобно же ж. 🎭🎨🎵

#NVIDIA #RTXAIToolkit #MultiLoRA
-------
@tsingular

Google Gemini: персональные эксперты и улучшенная генерация изображений

Google анонсировал масштабное обновление Gemini, включающее две ключевые функции:
Custom Gems - инструмент для создания персонализированных AI-экспертов по любой теме. Доступен пользователям Gemini Advanced, Business и Enterprise в 150+ странах.
Imagen 3 - усовершенствованная модель генерации изображений с улучшенным качеством и разнообразием стилей.
Новая версия Imagen включает встроенные средства защиты, соответствует принципам дизайна Google и использует SynthID для водяных знаков.
Пользователи смогут легко корректировать сгенерированные изображения и создавать изображения людей с ограничениями на фотореалистичность.
Внедрение функций будет постепенным, с планами расширения на большее количество пользователей и языков.

Говорят еще предвзятость рисовалки починили, но это не точно.

#Google #CustomGems #Imagen3
-------
@tsingular

Vidu Studio - Генератор видео из Китая

Платформа создаёт ролики на основе текстовых описаний, используя разные шаблоны и стили.

Ключевая фишка, - точное удержание образа ключевого персонажа в кадре.

Есть бесплатные кредиты.
Работает без VPN.

#Vidu #видео #Китай
———
@tsingular

!!! Qwen2-VL: обновление мультимодальных моделей

Alibaba представила Qwen2-VL - усовершенствованную версию мультимодальной модели, способную:

• Анализировать изображения разного разрешения и пропорций
• Понимать видео длительностью более 20 минут
• Управлять мобильными устройствами и роботами
• Работать с текстом на разных языках, включая рукописный

Доступны три версии модели : 72B, 7B и 2B (оптимизирована для мобильных).
Улучшены навыки распознавания объектов, математических вычислений и кодирования.
Модель демонстрирует потенциал визуального агента с расширенными возможностями анализа видеоконтента.

По описанию, - очень круто! Надо пробовать.

DEMO

HuggingFace

#Qwen2VL #ComputerVision #Multimodal #Китай
-------
@tsingular

Magic: 100 миллионов токенов контекста!

Компания Magic представила LTM-модели с контекстным окном до 100 млн токенов.

LTM-2-mini - первая модель с таким огромным контекстным окном.
Разработан специальный метод оценки HashHop - цепочка хэшей - для проверка качества поиска иголки в стоге сена.
COMPLETION Hash 1 → Hash 2 | Hash 3 | Hash 4 | Hash 5 | Hash 6

Компания строит суперкомпьютеры на базе Google Cloud и GPU NVIDIA.
Сейчас в штате 23 человека и 8000 H100s (планируют миграцию на GB200) :) продолжают нанимать.
Привлекли инвестиций на $465млн в дополнение к предыдущим $320 млн.

Теперь ИИ сможет прочитать и понять целую библиотеку, прежде чем ответить на вопрос.

600 книг в одном запросе, получается.

Полная документация по строительству ракеты вместе с космодромом и прилегающей атомной станцией.

#Magic #LTM #ContextWindow
-------
@tsingular

вот зачем на самом деле нужны ИИ ассистенты. :)

#humor
———
@tsingular

Зацените интресного бота от @pimenov_ru:

@ailifto_transcribe_bot

Чистый перевод голоса в текст. Ничего лишнего. Может быть удобно для разных задач.

запустили бота, который преобразует аудиозапись встречи или разговора в подробное резюме. Выглядит просто, работает быстро, внутри самые современные технологии и сотни часов тестов.

Как это работает?

Вы отправляете аудиофайл в любом из поддерживаемых форматов. Бот с профессионально обученным ИИ обрабатывает его и присылает вам результат. Обработка файла занимает до 10 минут для двухчасовой аудиозаписи.

✅ Вы получаете:

📄 Текстовый файл с полной расшифровкой
📝 Подробное резюме записи
🎛 Поддерживаемые форматы: MP3, MP4, MP2, AAC, WAV, FLAC, PCM, M4A, Ogg, Opus, WebM.

При первом запуске на балансе бота уже будет 300₽, и вы сможете попробовать расшифровать любой разговор.

Идеально подходит для совещаний, переговоров, интервью, деловых встреч, длинных непонятных голосовых. Уже через несколько минут вы получите самую суть обсуждения, резюме и список задач.

Волшебный бонус: бот умеет делать всё то же самое с видео с Youtube на любом языке! Просто отправьте ему ссылку на длинную лекцию, вебинар, что угодно — и получите полный текст и самое важное в резюме на русском.

Попробуйте бесплатно

#боты
------
@tsingular

И вот ещё, раз уж пятница, прикольный бот от @dmvld:

@VinoRU_AI_bot

Винный сомелье :)

Сам не пью и другим не советую, но вот бот посоветовать может 😀 что-то под блюдо или повод.

#боты
------
@tsingular

И, накануне начала нового учебного года, напоминаю, что есть еще у меня вот такой бесплатный бот.

@math_learn_bot

Если вдруг у вас есть желание потренировать математику в уме или проверить её знание у своих детей.

Бот выдаёт примеры, удобные для устного счёта.

Т.е. никогда не будет дробной части в ответе на деление и при вычитании в сложных примерах так же левая часть от знака "-" всегда больше правой.

Умножение двузначных чисел особенно затягивает, рекомендую.

#math #тренажёр #бот
——
@tsingular

Раз у нас сегодня парад ботов, извините :)

Вот ещё один.

Год назад примерно подумал а почему бы не запилить астропрогноз.
И вот как часы каждое утро теперь прогноз от GPT.

Тоже бесплатно. :)

https://t.me/horusgpt

#bot
------
@tsingular

NEO: Универсальный Android-помощник от 1X Technologies

Компания 1X Technologies представила NEO - интеллектуального Android-ассистента.
Робот сочетает ИИ и робототехнику, понимая естественный язык и физическое пространство.
NEO проходит тестирование в реальных условиях, уделяя особое внимание безопасности и защите.
Человекоподобная форма способствует лучшей адаптации и взаимодействию.
Ассистент предназначен для массового производства и применения в промышленности и быту.
NEO непрерывно обучается, совершенствуя свои навыки со временем.
Разработка основана на опыте предыдущего поколения роботов EVE.
Youtube

Всем кому кажется, что это актёр в костюме, - чем дальше, тем криповее вас будет накрывать эффект зловещей долины. :)

Кстати, тут посмотрел Терминатор Зеро. Все по сценарию. Начинаем с домашних помощников. 🤖

#NEO #1XTechnologies #AndroidAssistant
------
@tsingular