HuggingFace собрали все ИИ модели и инструменты в общем пространстве и добавили ИИ поиск.

У нас было 2 миллиона моделей машинного обучения, 75 тысяч пространств развертывания, и целая гора мультимодальных датасетов всех возможных форматов.

Не то чтобы всё это действительно было нужно для одного проекта... но если уж начал собирать ИИ-стек, остановиться трудно.

Единственное, что действительно беспокоило – это поисковый движок.

На всей планете не было никого, кто бы мог искать модели умнее и быстрее, чем новый ИИ от HuggingFace.
И я знал, что рано или поздно мы перейдем на эту дрянь.

К полудню мы были где-то на краю пустыни талантов, когда API начало действовать.

Я помню, как сказал что-то вроде: "Я чувствую головокружение, может, ты поведешь..."

А потом внезапно вокруг стало очень тихо, и я увидел... боже мой, ты только посмотри на эти решения!

Разумеется, это была не вся коллекция. Я взял довольно стандартный набор: трансформеры, диффузионные модели, embeddings, языковые модели – всё, что может понадобиться для среднестатистического проекта машинного обучения.

С такими инструментами всё, что тебе нужно – это ввести запрос на английском, и искусственный интеллект мгновенно выдаст тебе готовое решение.

"Не останавливайся. Это ИИ-территория..."

#HuggingFace #каталог
———
@tsingular

🚀 МТС врывается в мир корпоративного ИИ: анонсирована платформа MWS GPT

Главные фишки MWS GPT:

- Гибкость в выборе моделей: можно использовать как собственные решения МТС (Cotype и МТС Alpha), так и внедрять open source или сторонние LLM

- Демократичная цена: 1,1 рубля за 1000 токенов. На практике это означает, что SEO-статья обойдется примерно в 5 рублей, а презентация для клиентов — в 10 рублей

- Enterprise-уровень: выделенный пул GPU-ресурсов для быстрой обработки больших объемов данных

- Гибкое размещение: можно развернуть как в облаке МТС, так и на собственных серверах

- Фокус на корпоративные знания — платформа умеет создавать умные поисковики по внутренним базам данных компании. Это решает классическую проблему, когда важная информация разбросана по десяткам систем и документов.

Похоже, МТС всерьез нацелилась на то, чтобы сделать работу с ИИ доступной для российского бизнеса любого масштаба. Модель оплаты по факту использования (pay-as-you-go) может быть привлекательна для малого бизнеса, который может экспериментировать с ИИ без серьезных начальных вложений.

Будет интересно посмотреть, как платформа покажет себя в реальных проектах и сможет ли она составить конкуренцию другим российским и зарубежным решениям в этой области. 🤔

#МТС #hub #gate
———
@tsingular

🔍 Microsoft Chain-of-Retrieval (CoRAG): Новый подход к умному поиску информации

Вышла очень любопытная разработка от Microsoft и Renmin University!
Они представили CoRAG - систему, которая делает поиск информации похожим на человеческий процесс мышления.

🧠 Как это работает технически

1. Пошаговый поиск: Вместо того чтобы сразу искать ответ, система разбивает запрос на маленькие подзапросы. Прямо как люди, когда решают сложную задачу!

2. Rejection Sampling: Система генерирует несколько цепочек поиска (до 16 штук) и выбирает лучшую, основываясь на вероятности правильного ответа.

3. Масштабирование на тесте: Можно управлять балансом между скоростью и качеством, регулируя:
- Длину цепочки поиска (L)
- Количество пробных цепочек (N)
- Температуру сэмплирования (0.7 по умолчанию)

4. Архитектурные фишки:
- Использует E5-large для начального поиска
- Работает с базой из 36 млн документов
- Обучается на датасете из 125k примеров

🚀 Результаты, - огонь:
- На сложных вопросах (multi-hop QA) показывает улучшение на 10+ пунктов
- Превосходит даже более крупные модели
- Отлично справляется с задачами, требующими пошагового рассуждения

💡 Примеры применения:

1. Умный поиск по документации

# Вместо простого поиска по ключевым словам
"Как настроить OAuth в Django?"

# CoRAG может построить цепочку:
"Что такое OAuth?" -> 
"Какие библиотеки OAuth есть для Django?" ->
"Как настроить social-auth-app-django?" ->
"Какие типичные ошибки при настройке?"

2. Аналитика кода

# Вместо прямого поиска проблемы
"Почему падает производительность?"

# CoRAG может:
"Какие endpoints самые медленные?" ->
"Какие SQL-запросы они используют?" ->
"Есть ли N+1 проблемы в этих запросах?" ->
"Какие индексы могут помочь?"

3. Умный дебаггер

# Система может анализировать ошибку пошагово:
"В каком контексте возникает ошибка?" ->
"Какие переменные доступны?" ->
"Похожие паттерны в логах?" ->
"Типичные решения такой проблемы?"

4. Архитектурные решения

# При проектировании системы:
"Какие требования к масштабируемости?" ->
"Какие паттерны подходят?" ->
"Примеры похожих систем?" ->
"Типичные проблемы и решения?"

Особенно круто, что всё это можно настраивать под конкретные задачи: где-то нужна скорость, а где-то - точность.

Наконец-то можно написать ЛЛМ-зануду, который засыпет ИИ дополнительными вопросами! 🤓

Paper

#Microsoft #CoRAG #RAG
———
@tsingular

Синхронные переводчики всё.

https://t.me/ai_machinelearning_big_data/6715

Модель может выполнять аудио и текстовые переводы речи в режиме реального времени, сохраняя голос говорящего и оптимально адаптируя его темп на основе содержания исходной речи.

Hibiki превосходит предыдущие модели по качеству перевода, естественности и по схожести говорящих и приближается к переводчикам-людям.

> Открытая модель
> Потоковый перевод: обрабатывает аудио в реальном времени
> Многопотоковая архитектура: использует архитектуру Moshi для моделирования исходной и целевой речи
> Способна работать в шумных условиях
> Обучена на 48 Nvidia H100
> Работает с MLX, Candle и PyTorch
> На данный момент поддерживает французский и английский языки (дальше больше)
> Отлично подходит на запусках на девайсах

🤗 HF: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

#translation #voice
———
@tsingular

Claude - one love :)

Напиши, говорю, обход бинарного дерева, как синьор, в надежде получить что то из области "препарраре ла пицца перфетта!", как в меме, но он выдал 2 страницы профессионального кода. Скукота. :)

Ну ок, говорю, давай по-взрослому тогда.

// Ультра-компактная версия
t=n=>n?[...t(n.l),n.v,...t(n.r)]:[]
b=n=>{q=[n];return n?[...q.map(n=>(n.l&&q.push(n.l),n.r&&q.push(n.r),n.v))]:[]};

И, вот как-то я не уверен, что понимаю на столько по-взрослому :)

Есть кто-нибудь, кто сможет это расшифровать? :)

p.s.: мем в комменте

#Claude #binarytree #dev #мемы
———
@tsingular

Дистилляция экономит миллиарды: как исследователи из Стэнфорда создали reasoning-модель за $50

Интересный технический кейс появился на прошлой неделе - исследователи из Стэнфорда и Университета Вашингтона показали, как можно воспроизвести возможности современных reasoning-моделей с минимальными затратами. Их модель s1 демонстрирует результаты, сопоставимые с OpenAI o1 и DeepSeek R1, но при этом потребовала всего около $50 на облачные вычисления.

Технические детали
Самое интересное в этой работе - элегантность подхода. Вместо того чтобы тренировать модель с нуля (что требует огромных вычислительных ресурсов), исследователи:

1. Взяли готовую базовую модель Qwen-32B
2. Создали датасет из 1000 тщательно отобранных задач с решениями
3. Получили "reasoning traces" (цепочки рассуждений) от Gemini 2.0 Flash Thinking
4. Применили supervised fine-tuning всего на 26 минут используя 16 H100 GPU

Использовали три критерия для отбора задач:
- Сложность (отбирались задачи, которые базовая модель не могла решить)
- Разнообразие (равномерное распределение по 50 различным доменам)
- Качество (тщательная валидация форматирования и содержания)

Математическая находка
Интересный трюк они применили для улучшения точности ответов - так называемый "budget forcing". Идея в том, что когда модель пытается завершить рассуждение, ей вместо этого добавляется слово "Wait", заставляя продолжить анализ. Это простое решение позволило поднять точность на AIME24 с 50% до 57%.

Применимость
Конечно, это не значит что инвестиции Google и OpenAI в инфраструктуру теперь бессмысленны. Дистилляция хороша для воспроизведения существующих возможностей, но не для создания принципиально новых моделей.

Но сам факт, что команда исследователей смогла получить результаты, сравнимые с лидерами с минимальными ресурсами - показывает как быстро демократизируется эта технология.

Технический стек
- Base model: Qwen2.5-32B-Instruct
- Training: PyTorch FSDP
- Dataset: 1000 samples (vs 800K у R1)
- Fine-tuning time: 26 минут
- Hardware: 16 NVIDIA H100 GPUs
- Evaluation: AIME24, MATH500, GPQA Diamond benchmarks

Код и данные доступны на GitHub, что позволяет воспроизвести результаты.

Правда, Google уже заявил что его ToS запрещает такое использование Gemini API - так что юридическая сторона вопроса пока под вопросом.

paper
GitHub

Но сама работа - отличный пример как правильный инженерный подход может компенсировать отсутствие гигантских ресурсов. Будет интересно посмотреть, как дальше будет развиваться направление "бюджетных" AI моделей.

Не списал, а опирался на труды предшественников :)

Отдельное спасибо @alyxst за наводку :)

#s1 #Gemini #finetunung #Qwen
———
@tsingular

OpenAI тут на конфе в Японии показали, как они сделали AI сейлза по входящим лидам.

Вот как работает:

- Клиент заполняет форму Contact Sales.
- Контактные данные попадают в панель задач OpenAI в качестве лида
- Агент по продажам анализирует заявку и вызывает несколько функций
- Инструмент enrich_lead выполняет глубокое исследование лида, чтобы заполнить его информацией, например данными о роли, секторе, размере компании и т. д.
- Вызывает get_calendar_availability, чтобы проверить свободное время для назначения встречи.
- Вызывает send_email, чтобы составить проект электронного письма для планирования встречи.
- завершает задачу.

Так что сапожник - с сапогами (хотя честно говоря сколько не заполнял форму на общение с сейлзами OpenAI, ни разу не отвечали...)

Евгений Касперский у себя в Х. 😀

Делаем ставки,- кто кого купит?

- Так! На видеокартах сэкономили, на датасетах тоже... На чём бы еще?! 🤔

#Касперский #DeepSeek #Китай
------
@tsingular

Регулярная рубрика, - инструкции от AWS.

На этот раз интересный материал по мульти-интерфейсным AI-ассистентам. Разберем технические детали! 🤓

1. RAG:
- Amazon Kendra как векторная база данных (вместо популярных Pinecone/Weaviate)
- Amazon S3 для хранения документации
- CloudFront для раздачи ссылок на источники
- AWS Lambda для подгрузки данных из Slack

2. Интересно, что используют CloudFront вместо прямых Slack-ссылок. Это решает проблему доступа к источникам для пользователей без доступа к Slack. Умно! 🎯

3. Интеграция построена через два основных интерфейса:
- Amazon Q Business (нативное решение AWS)
- Slack (через API интеграцию)

4. Технический лайфхак: они используют метаданные в Kendra для каждого файла-источника, что позволяет обоим интерфейсам корректно привязывать первоисточники документов.

5. Мониторинг реализован через:
- Встроенную аналитику Amazon Q
- Кастомный CloudWatch дашборд для Slack-метрик
- Автоматические дейли-репорты в Slack

Автоматическое обновление данных через EventBridge - система сама подтягивает новые данные из Slack каждый день.

Kendra под вектор, - ещё не слышал. 🤔

Ну AWS/не AWS тут не так важно, интересна архитектура и подходы.

У AWS и архитекторы, - огонь и методология и практика описания этих архитектур очень круто отлажена.

Изучаем.

#AWS #RAG #Cloud #обучение
———
@tsingular

🚀Le Chat 2025: Mistral AI выпускает "самого быстрого" AI-ассистента

Mistral AI выпустил обновление своего AI-ассистента Le Chat, и, похоже, собирается серьёзно потеснить конкурентов на рынке (как минимум Groq).

Flash Answers: огромная скорость

Главная фишка обновления - функция Flash Answers. Le Chat теперь генерирует ответы со скоростью до 1000 токенов в секунду. Mistral AI утверждает, что это делает их ассистента самым быстрым на рынке. (тут, конечно, вопрос в размерности модели. Groq на малых моделях тоже может за 1000+ улететь)

Что умеет новый Le Chat?
• Code Interpreter: Появилась возможность запускать код прямо в чате, проводить научный анализ и создавать визуализации. Удобно для разработчиков и аналитиков, которым нужно быстро проверить гипотезы.

• Генерация изображений: За это отвечает модель Flux Ultra от Black Forest Labs - текущий лидер в области генерации изображений.

• Работа с документами: Le Chat научился работать с разными форматами файлов - от PDF до сложных таблиц. Причём разработчики хвастаются "лучшим в индустрии" распознаванием текста (интересно будет его на таблицах в PDF проверить, да еще на листах с разворотом в скане с печатями :) но мы это делать, конечно, не будем, потому, что печати.).

Тарифы и доступность 💰

Mistral AI предлагает четыре тарифных плана:

• Бесплатный: Доступ к базовым функциям, включая последние модели, генерацию изображений и загрузку документов.

• Pro (14.99$/месяц): Расширенные лимиты для активных пользователей.

• Team (24.99$/месяц на пользователя): Включает единый биллинг, приоритетную поддержку и кредиты la Plateforme.

• Enterprise: Индивидуальное ценообразование, возможность развертывания в своей инфраструктуре и настройка под нужды компании.

Что еще интересно? 🤔
Le Chat теперь доступен на iOS и Android, что делает его по-настоящему мобильным помощником. Скоро появится функция Memories - система будет запоминать ваши предпочтения для более персонализированных ответов (личное дело на каждого и социальный рейтинг в следующих версиях :) ).

Mistral AI позиционирует себя как "демократизатора AI" - большинство продвинутых функций доступно в бесплатной версии. При этом цена Pro-версии (14.99$) выглядит довольно конкурентной на фоне других игроков рынка.

Что дальше?
Mistral AI обещает скоро добавить интеграцию с рабочими инструментами (почта, базы данных, мессенджеры) и возможность создавать многошаговых агентов для автоматизации рутинных задач (конкурент MS Copilot 365).

#Mistral #LeChat
———
@tsingular

🚀 DeepMind покоряет математику: AI превзошел олимпиадников в геометрии

Google DeepMind представила AlphaGeometry2 — AI-систему, которая решает геометрические задачи лучше золотых медалистов Международной математической олимпиады (IMO).

Что умеет AlphaGeometry2?
Система решила 42 из 50 олимпиадных задач. Это превышает средний показатель золотых медалистов (40.9 задач)!

AlphaGeometry2 использует гибридный подход, из двух технологий:
- Языковую модель Gemini от Google
- "Символьный движок", работающий по строгим математическим правилам

Как это работает? 🤔
Модель Gemini предлагает возможные шаги решения на формальном математическом языке, а символьный движок проверяет их логическую правильность. При этом система может вести несколько параллельных поисков решения и сохранять полезные находки в общей базе знаний.

Из-за нехватки обучающих данных DeepMind пришлось создать собственный синтетический датасет из более чем 300 миллионов теорем и доказательств разной сложности!

AlphaGeometry2 пока не может решать задачи с переменным числом точек, нелинейными уравнениями и неравенствами.

Из 29 более сложных задач, предложенных экспертами для будущих олимпиад, система осилила только 20.

Исследователи обнаружили, что языковая модель AlphaGeometry2 способна генерировать частичные решения задач даже без помощи символьного движка.

Правда, пока что для математических приложений символьные инструменты остаются необходимыми — нужно улучшить скорость работы и решить проблему галлюцинаций.

Почему это важно?
DeepMind видит в этом проекте нечто большее, чем просто решение школьных задач.

Способность доказывать теоремы требует как логического мышления, так и умения выбирать правильные шаги из множества возможных.
Эти навыки могут стать ключевыми для создания более универсальных AI-систем будущего.

Летом прошлого года DeepMind продемонстрировала впечатляющий результат: комбинация AlphaGeometry2 с системой AlphaProof смогла решить 4 из 6 задач IMO 2024 года.

В картинку вынес отдельно метод поиска, который описан в документе.
Т.е.: текстом генерим варианты решений, а дальше параллельными вызовами дёргаем разные другие модели, чтобы получить достоверный результат. Каждая ветка скидывает "идеи" в "общий чат моделей".
Может быть полезно вообще в любых проектах.

#DeepMind #Mathematics #математика
———
@tsingular

Кто получит «Мандат Неба»?
Динамика «гонки вооружений» LLM одним слайдом.
«Гонка вооружений» на рынке больших языковых моделей (LLM) определяется просто: все стараются получить максимально высокую точность при минимальной цене. А а «фронтир» отражает лучшие на данный момент варианты по сочетанию этих двух параметров.
Диаграмма показывает [1], как разные версии языковых моделей (от OpenAI, Deepseek, Google «Gemini», Anthropic и др.) соотносятся по:
• стоимости (ось X): цена за миллион токенов - чем левее точка, тем дешевле использование модели (ниже стоимость за миллион токенов).
• качеству (ось Y): рейтинг LMSys Elo - чем выше точка, тем сильнее модель (лучшее качество ответов/результатов).

На диаграмме видны две основные "границы эффективности" (pareto frontier): 
•  Синяя линия от OpenAI, показывающая их модели
•  Оранжевая линия от Gemini 2, которая, судя по надписи, предлагает "лучше, дешевле, круче"
•  Более дорогие и мощные модели в верхней левой части (например, различные версии GPT-4) 
•  Средний сегмент в центре (Claude 3.5, Gemini 1.5) 
•  Более доступные модели в правой части (Amazon Nova Lite, Gemini 1.5 Flash)

Ключевые выводы (по состоянию на февраль 2025)
• Чемпион в соотношении цена-производительность - Gemini 2.0 Flash Thinking (лучше, чем DeepSeek r1 (по ELO) и дешевле
• Стоимость возможностей GPT-4 упала в 1000 раз за 18 месяцев
• Скорость роста возможностей моделей просто немыслимая – так не бывает, … но так есть!

PS Спецы из Google DeepMind полагают, что они близки к получению «Мандата Неба» ("Mandate of Heaven" (天命, Тяньмин)) [2]. Когда говорят, что компания имеет "Mandate of Heaven" в сфере ИИ, это означает, что она занимает лидирующую позицию не просто благодаря рыночной доле, но и благодаря признанию её технологического превосходства и инновационного лидерства.

Но вряд ли конкуренты согласятся 😊

#ИИгонка

GitLab выходит на поле ИИ ассистентов разработчика

Gitlab Duo — это AI-помощник, который внедряется во все этапы разработки.

Ключевой функционал:

🤖 Code Suggestions
- Работает с 20+ языками программирования
- Встраивается в популярные IDE
- Генерирует и дополняет код на лету
- Помогает с рефакторингом

🔍 Chat и Code Explanation
- Объясняет код на человеческом языке
- Помогает разобраться в больших кусках legacy-кода
- Отвечает на вопросы прямо в IDE или веб-интерфейсе
- Генерирует тесты (что особенно круто для рутинного юнит-тестирования)

🛡 Security-функции
- Анализирует уязвимости и предлагает фиксы
- Блокирует случайные утечки секретов (API-ключи, токены)
- Создаёт автоматические MR с исправлениями

📊 CI/CD и аналитика
- Разбирается с падающими пайплайнами (root cause analysis)
- Отслеживает метрики эффективности AI
- Прогнозирует value stream

Интересные технические детали:
В последних релизах (17.5-17.6) появились крутые фичи:
- Поддержка self-hosted моделей (в дополнение к облачным)
- Duo Quick Chat — AI-подсказки прямо в редакторе без переключения контекста
- Реестр ML-моделей с интеграцией в CI/CD
- GraphQL API для анализа эффективности подсказок

Цены и лицензии

Duo Pro — $19/месяц с человека
- Code Suggestions
- Базовый Chat
- Генерация тестов
- Основные инструменты безопасности

Duo Enterprise - $39/месяц с человека
- Всё из Pro
- Продвинутый анализ уязвимостей
- AI-аналитика
- Поддержка self-hosted моделей
- Автоматическое резюме MR и дискуссий

Особенности безопасности:
- Можно развернуть LLM на своих серверах
- Администраторы могут точечно контролировать доступ к AI-функциям
- Ваш код не используется для обучения моделей

В общем, GitLab Duo выглядит как серьезная заявка на революцию в DevSecOps. Особенно интересно будет посмотреть, как пойдет недавно анонсированный Duo Workflow — автономный агент для автоматизации рутины. Правда, пока он доступен только для Enterprise-клиентов. 🤔

#GitLab #Duo #dev #агенты
———
@tsingular

Вот когда смотришь на такое, задумаешься - что же станет с профессией актеров???

Вьетнам: новый азиатский игрок в мире ИИ

За три года количество ИИ-стартапов увеличилось с 60 до 278.
80% компаний уже интегрировали генеративные технологии.

Венчурные фонды инвестируют до $15 млн в каждый перспективный проект.

Рынок вырастет с $470 млн до $1.52 млрд к 2030 году.

Правительство запустило программу развития локальных языковых моделей.

Основной фокус на IoT, здравоохранение и умные города.

Создается правовая база для этики и регулирования технологий.

Азиатский дракон проснулся не только в Китае и учится говорить на языке нейросетей 🐉

ИИ расширает скорость распространения и видимость культуры страны. Она становится ближе и понятнее всему международному сообществу.
И вот вы уже будете конкурировать с ИИ решениями не только из Китая, но скоро и из Вьетнама.
Зато узнаете много интересного про Вьетнам 😀

#Вьетнам #startups #VentureCapital
------
@tsingular