Data Secrets
90.8K subscribers
7.03K photos
793 videos
20 files
3.17K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Итак, встречайте: GPT-5.6

https://openai.com/index/previewing-gpt-5-6-sol/

Анонсировали три модели, в честь солнечной системы (с самооценкой у создателей все ок):

1. Sol – самая крупная и крутая. На многих бенчмарках обходит Mythos, и при этом дешевле в два раза. При этом авторы пишут, что модель использует в три раза меньше токенов. В целом экономия в 5-6 раз (ну типа).

2. Terra – промежуточный вариант. Уже в три раза дешевле Mythos, уверенно обходит Opus 4.8.

3. Luna – самый дешевая и быстрая, но по результатам все еще хороша.

Бенчмарков показали маловато, так что на другие замеры еще посмотрим. Общий доступ обещают в ближайшие недели, пока что модели вышли только для ограниченной группы тестеров.

Хоть бы не повторилась история с Fable 🙏
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1171🔥70👍26🤯13😁4🍾4❤‍🔥3🤔22🍓1
Обновление по Fable и Mythos:

С 12 июня мы тесно сотрудничаем с правительством США, чтобы восстановить доступ к Claude Mythos 5 и Fable 5. Сегодня правительство уведомило нас, что мы можем повторно развернуть Mythos 5 для некоторых организаций США, которые управляют и защищают критическую инфраструктуру.

Мы быстро восстанавливаем доступ для этих организаций, и мы продолжаем работать с правительством, чтобы расширить доступ к Mythos 5 и снова сделать Fable 5 доступным для общего использования.


Честно говоря, пока не слишком обнадеживающе
163🕊33😁20🤔149👍4🎉3🫡3😎2👏1🆒1
Новый дроп от DeepSeek: выложили полностью открытый стек для ускорения генерации LLM

Внутри готовые алгоритмы, обучение, эвал и даже пайплайн для данных. Бери и пользуйся, супер практично. github.com/deepseek-ai/DeepSpec

Основная соль – в алгоритме DSpark. Его DeepSeek уже использует для DeepSeek-V4 Flash и Pro в проде, и, по их данным, относительно старого бейзлайна скорость генерации для пользователя выросла примерно на 60–85%.

Как устроен алгоритм:

– Фундаментально, это небольшая модель, которая пишет черновики для основной LLM. Это называется драфт-модель.

– Такой подход сейчас в моде (Google, например, делают такое для Gemma: t.me/data_secrets/9179), но DeepSeek выводят его на новый уровень. Их драфт-модель работает необычно, в два этапа. Сначала параллельно набрасывается блок токенов, а потом легкий марковский модуль уточняет зависимости между соседними токенами. Благодаря такому подходу драфтер и работает быстро, и не очень сыпится в хвостах.

– После того, как драфтер накидал черновик, основная LLM его проверяет и принимает только правильный префикс, корректируя остальное. При этом DSpark сам решает, сколько токенов отправить на проверку, основываясь на оценках уверенности по токенам и текущей нагрузке на железо.

В результате получаем ускорение минимум в 1.5 раза абсолютно без потери качества. Снимаем шляпу перед DeepSeek за такой опенсорс.
1247🔥82👍42👏4😁3🕊3🤨2🍾2🤗2
Правительство США дропнуло новый бенчмарк для LLM ⚡️
Please open Telegram to view this post
VIEW IN TELEGRAM
😁710👍42🔥3011🗿105🫡5😍3🕊2🐳2🍓2
GitVerse × GigaCode: ваш персональный ИИ-напарник

Запустили ранний доступ к ИИ-чату внутри GitVerse. Чат — часть GigaCode, агентного ИИ-ассистента, который умеет самостоятельно работать с файлами, анализировать кодовую базу и генерировать тесты.

Как чат упрощает жизнь:
· Разбор ошибок. Кидаете запрос — он изучает логи и объясняет, что пошло не так.
· Навигация по платформе. Мгновенно находит нужные инструкции и подсказывает, как всё работает.
· Помощь с кодом. Объяснит незнакомый фрагмент и предложит решение.

Запросить ранний доступ и протестировать
1😁8526🗿187🔥75🫡3🎉2💯2🤨2🎄2
Media is too big
VIEW IN TELEGRAM
Дарио Амодеи заявил, что опенсорс в ИИ – это «отвлекающий маневр»

Он сказал, что на самом деле это не тот опенсорс, к которому мы привыкли:

«Вы все равно не можете видеть внутренности модели, и основные плюсы опенсорса вроде коллективной доработки работают с сфере ИИ иначе»


Основной аргумент:

«В итоге вам все равно придется хостить ее в облаке»


В довершении CEO Anthropic заявил, что для конкуренции важнее способности модели и ее эффективность на инференсе, а не «ярлык» опенсорса и лицензия.

Мнения? 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
3🗿273😁118581915👍8🔥43🤨2🕊1😎1
This media is not supported in your browser
VIEW IN TELEGRAM
Чтение мыслей 2.0 от Meta*: компания выпустила Brain2Qwerty v2

В компании сделали модель, которая может с большой точностью восстанавливать текст, который человек молча печатает на клавиатуре. И, кажется, они впервые доказали, что неинвазивные методы могут приближаться к качеству, которое раньше считалось достижимым только после операции на мозге аля Neuralink.

Итак, Brain2Qwerty v2:

– Система основана на Brain2Qwerty v1. Но, в отличие от первой версии, v2 восстанавливает текст без знания момента каждого нажатия клавиши. Она получает непрерывный поток мозговой активности и сразу генерирует предложение целиком.

– Внутри задача разбита на три уровня: есть энкодер, который преобразовывает сырые сигналы MEG в отдельные символы. Дальше эту последовательность обрабатывает Aligner: он пытается понять, где начинаются и заканчиваются слова и строит их эмбеддинги. Далее эти эмбеддинги вместе с исходными сигналами отправляются в LLM, и она уже правит все в конечный вид.

– Выглядит это все как огромная установка стоимостью в миллионы долларов.

Точность относительно предыдущих методов, можно сказать, зашкаливает. Заявляется 61% word accuracy в среднем (около 70% на лучших участниках). При этом система может допускать больше символьных ошибок, чем первая версия, потому что не знает времени нажатия клавиш, но смысл оказывается намного ближе к оригиналу.

И да, это все еще слишком низкая точность для массового применения. НО (и это самое интересное!) исследователи открыли почти идеальный scaling law. Качество продолжает улучшаться почти логарифмически с увеличением объема данных, и насыщения пока не видно.

Так что возможно все, что нужно для очень точного неинвазивного чтения мыслей – это больше данных. В удивительное время живем.

facebookresearch.github.io/brain2qwerty/
2🤯145🔥4619👍5👏3😁22💯1🤗11
Новый дроп в опенсорс от Сбера: выложили токенизатор KVAE-Audio

Фундаментально эта модель решает давнюю проблему обучения диффузионных систем. Им требуется максимально качественное сжатое представление данных, от которого напрямую зависит верхний предел возможностей создания нового контента. Разработчики закрыли эту потребность, представив третью часть семейства KVAE. Ранее команда уже публиковала схожие алгоритмы для работы с видео и картинками, а теперь очередь дошла до аудио формата.

Система способна переваривать треки на частоте 48 кГц, охватывая весь спектр человеческого слуха. Во время обработки алгоритм уплотняет временную шкалу в 960 раз. На выходе получается сверхкомпактное пространство, состоящее из 64 каналов. Такие скромные размерности сильно упрощают жизнь при тренировке генеративных архитектур.

Главный инженерный вызов здесь заключался в адаптации выходных данных именно под диффузию. Классические подходы часто показывают отличные цифры при воссоздании исходного аудио, но плохо справляются с созданием оригинального материала. Чтобы сбалансировать результаты в обеих задачах, авторы применили уникальный метод регуляризации.

Если посмотреть на бенчмарки, новинка уверенно обходит MMAudio от Sony абсолютно по всем фронтам. При сравнении с DACVAE от Meta и SAME-L от Stability AI разработка выигрывает в качестве генерации и держит паритет в реконструкции, при этом обладая значительно меньшим весом.
Код и веса под свободной лицензией MIT уже лежат на GitHub и Hugging Face.

Habr
64🔥27🗿25👍14😁72🤔2💯2🏆1
В будущем не будет продактов, инженеров и дизайнеров: создатель Claude Code Борис Черный сказал, что нас ждет всего 5 архетипов

1. Prototyper: генератор множества идей, только некоторые из которых будут реализованы.

2. Builder: быстро превращает прототипы и идеи в продукт.

3. Sweeper: чистит UX, упрощает код, оптимизирует систему.

4. Grower: берет продукт и итеративно улучшает его с точки зрения Product-Market Fit.

5. Maintainer: владеет зрелой системой и следит за ее безопасностью, надежностью и эффективностью.


При этом эти архетипы не будут зависеть от домена или специфического стека, как большинство современных ролей, и один человек сможет объединять в себе до трех статусов.

В новой системе не нашлось места только эйчарам 🤷‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁27944👍266👨‍💻3🗿3🤯2🫡2🕊1🍓1🍾1
Media is too big
VIEW IN TELEGRAM
VP of Engineering из Spotify дал интервью Борису Черному и случайно стал мемом

Он заявил, что в его компании делается 4500 PR ежедневно, из них 73% – с помощью агентов.

Пользователи в комментариях не поняли, откуда взялись такие огромные цифры:

«Это они добавляют каждую новую песню в git или что-то в таком роде?»

«Наглядное пособие по созданию ИИ-пузыря»

«Зачем? Последняя новая фича в Spotify появлялась 15 лет назад»


Главное, что KPI по токенмаксингу выполнили
😁206😎3017🫡21🤯1🍓1
⚡️ Anthropic выпустили Sonnet 5

Метрики близки к Opus 4.8, но цена ниже. Пишут, что новая версия способна выполнять более длинные задачи и качественнее перепроверять себя.

До конца лета в API модель будет по скидке: $2/million input и $10/million output.

https://www.anthropic.com/news/claude-sonnet-5
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔64🔥49😁18👍4🆒21💯1🍓1🎄1