Data Secrets
78.8K subscribers
6.44K photos
669 videos
20 files
2.72K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Media is too big
VIEW IN TELEGRAM
Alibaba Group (создатели Qwen) выпустили Wan2.2 – первую в мире опенсорсную модель для генерации видео, в основе которой лежит MoE

По черри-пикам выглядит, как всегда, хорошо. Кое-где не хватает фотореалистичности, но, в целом, и анатомия, и сложные движения, и физика жидкостей, и перемещения камеры – норм.

Отдельно интересен релиз тем, что это именно MoE. Кратко, как это работает для диффузии:

– Точно так же, как и для текста, у нас есть несколько экспертов и роутер (подробнее о том, как работает MoE, рассказывали в конспекте)

– Только здесь эксперт назначается не токенам, а шагам диффузии. Грубо говоря, каждый эксперт лучше справляется с какой-то определенной фазой денойзинга, и работает именно с ней.

– За счёт того, что каждый эксперт узкоспециализирован, общая мощность растет. При этом сохраняется примерна та же вычислительная нагрузка, так как эксперты работают последовательно и как бы «распределяют» нагрузку.

В общем, довольно занятный вариант для экспериментов. Надеемся, скоро выпустят статью или тех.отчет с деталями.

Попробовать модель уже можно тут
Веса лежат здесь
Ну и GitHub
1🔥1063621👍125
Это вам на случай переговоров с ИИ-думерами
1😁304👍23🔥145🍓1
В ChatGPT появился новый инструмент «Think Longer»

Его массово стали замечать у себя пользователи, но официального релиза еще не было. Кто-то говорит, что это GPT-5, но мы не обольщаемся.

Судя по твитам и Реддиту, это просто тумблер, который: (1) переключает вас на ризонинг модель (видимо, o3), если в данный момент вы пользуетесь не-ризонером; (2) активирует чуть больший бюджет ризонинга, если вы на o3/o4-mini.

Проверяйте, вдруг и у вас уже есть
1👍8430🤨28🔥63😁111
This media is not supported in your browser
VIEW IN TELEGRAM
В ChatGPT появился Study mode – режим для изучения чего угодно с ИИ

Обучение – очень популярный кейс среди пользователей чат-ботов. Люди учат языки, просят GPT объяснять сложные темы, разъяснять задачи и прочее прочее прочее.

И вот специально для такого OpenAI выкатили отдельный мод. Фишка в том, что в этом режиме модель будет, например, не просто решать за вас задачу, а идти по решению поэтапно, задавая наводящие вопросы, подстраиваясь под знания юзера, поправляя и направляя – как настоящий хороший учитель. Может также составить квиз/тест или проверить знания в другом виде.

И, кстати, создавался режим при сотрудничестве с реальными педагогами.

Самое приятное: фича доступна бесплатно и работает для любой модели. Для студентов и особенно школьников – просто находка.

Как там говорится? Репетиторы – ВСЁ? 🙂

openai.com/index/chatgpt-study-mode/
Please open Telegram to view this post
VIEW IN TELEGRAM
2327👍74🔥45😁22🤓11🗿5👏3🤯3
This media is not supported in your browser
VIEW IN TELEGRAM
В NotebookLM теперь можно генерировать видеообзоры

Выглядит это так: загружаете любые источники, а агент генерирует по ним презентацию + сопроводительный рассказ.

Мы попробовали – получается действительно неплохо. Слайды, конечно, простенькие (но эстетичные!) и не очень динамично меняются, но все равно – огонь. Четкая структура, рассказ всегда мэтчится со слайдами и идет очень последовательно.

И да: доступно бесплатно. Лимиты такие же, как и для тех самых ИИ-подкастов: 3 в день (гуманно). Для чтения статей – просто супер.

notebooklm.google

P.S. Интересно, они специально релизнулись в один день со Study Mode в ChatGPT? 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
2117👍4920🔥12😁33
Илон Маск заявил, что в xAI и SpaceX нет рисерчеров – а есть только инженеры

Термин «рисерчер» он назвал чопорным и малоответственным, и сказал, что это пережиток академической среды. Он утверждает, что рисерчеры в xAI не нужны, потому что у него работают только инженеры.

SpaceX проводит больше значимых и передовых «исследований» в области совершенствования ракет и спутников, чем все академические университетские лаборатории на Земле вместе взятые.

Но, тем не менее, мы не используем термин «исследователь».


Прямо сейчас инженеры из xAI удаляют из резюме строчку «researcher», а вы что делаете?
1😎184😁11738👍14🤯131275🤔3💯32
Наконец-то: Meta* позволит кандидатам использовать ИИ на собеседованиях

Пока что решение находится в режиме "тестирования" и компания просит существующих сотрудников пройти пробные мок-собесы с использованием ИИ, чтобы обкатать процесс.

Цукерберг говорит, что вайб-кодинг – это уже неотъемлемая часть работы инженеров и скоро большинство кода будет создаваться ИИ, поэтому такие собеседования более репрезентативны.

Вспоминается лозунг того самого стартапа Cluely, основателя которого отчислили из университета за его идею: "То, что сегодня называют списыванием, завтра будет в порядке вещей".

www.wired.com/story/meta-ai-job-interview-coding/
1👍133🤯48245👏4🤨4🗿43🔥2😁2🦄2
Любопытно: оказывается, теперь в России развитие ИИ в регионах будет контролировать специальное подразделение под названием «Центр развития ИИ».

Подчиняться центр будет непосредственно вице-премьеру, а задачи (интересно, какие) будет получать от Минцифры. Говорят, что это будет что-то вроде единого проектного офиса, коммуникационной и мониторинговой площадки.

Структуру (внезапно!) возглавит выходец из ракетно-космической отрасли, но с ИИ-бэкграундом, в том числе научным. Официально об этом пока не объявляли, но инсайд вышел вот тут на канале «Неискусственный интеллект».

Кстати, редакторы этого канала — бывшие журналисты, почти всех знают в отрасли, а потому довольно часто раскапывают эксклюзивы. А ещё делают разборы новостей и трендов со своим собственным, часто довольно критичным и едким, взглядом на происходящее.

Причём пишут не только про софт, но и про железо, про чипы и фаундри, то есть отслеживают всю «вертикаль» ИИ — сверху донизу. Кстати, они не стесняются давать прогнозы, которые часто сбываются. Так что стоит подписаться на @anti_agi, там интересно.
1🗿133🤨64😁2514🔥11👍97🤔5🤯4🐳2🫡2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Создатели alphaXiv сделали Discord для исследователей

Спроектировано буквально также: сервера, каналы, сообщества. Для открытых комьюнити есть лендинг – там можно выбрать себе кружок по интересам и участвовать в обсуждениях. Ну или создать свое сообщество, частное или открытое.

Самое крутое, что делается это на базе огромного хранилища статей. А это значит, что перед нами самый мощный из возможных ридинг-клаб. Причем на любую интересную вам научную тему (особенно связанную с ML/ИИ).

Прямо подарок какой-то

www.alphaxiv.org/communities
Please open Telegram to view this post
VIEW IN TELEGRAM
1169🔥55👍266🤯4❤‍🔥2😁1
Исследователи Яндекса раскрыли, как научили нейросеть распознавать голосовые команды — даже сквозь сильный шум.

Вышла научная статья с подробным описанием технологии. Само исследование принято в программу крупнейшей профильной конфы Interspeech 2025 в Нидерландах.

В устройствах вроде умных колонок команда «Алиса» должна срабатывать, даже когда рядом работает пылесос или кто-то говорит. Стандартные алгоритмы шумоподавления помогают пользователям, но часто мешают самим моделям. Исследователи речевых технологий из Яндекса нашли решение, которое позволяет объединять преимущества нескольких подходов. В основе — собственный attention-механизм, работающий сразу с двумя сигналами: после шумоподавления и эхоподавления.
1👍1383911🤔8🤨7🗿7😁4❤‍🔥21🤯1
The Information пишет, что OpenAI планирует потратить 35 миллиардов долларов на инференс и 55 миллиардов на обучение моделей в ближайшие полтора года

Просто для сравнения: 90 миллиардов долларов – это два годовых ВВП Латвии.
2😁17351🔥36🤯27👍4👌4🗿1
Microsoft показали списки профессий, которые больше всего и меньше всего подвержены риску быть замененными ИИ

В список «неудачников» попали переводчики, историки, писатели, рекламщики, математики, дата сайентисты, веб-разработчики и даже модели.

Если вы с списке – не расстраивайтесь, мы тоже. Вот вам для профориентации несколько примеров из списка тех, кого ИИ заменит не скоро: медсестры, хирурги, механики, монтажники, посудомойщики, бетонщики, горничные, санитары, маляры. Думайте 😶

Кстати, подсчитали это Microsoft вот как:

1. Взяли анонимизированные данные о 100 000 диалогов с Bing Copilot в США и каждый запрос классифицировали по цели пользователя и тому, что по факту сделал ИИ.

2. По официальной базе рабочих процессов сопоставили каждую активность с конкретной профессией.

3. Для каждой профессии посчитали покрытие (доля рабочих активностей профессии, которые встречаются в данных), успешность выполнения задач ИИ и широту охвата (насколько полно ИИ покрывает конкретную активность).

На основе трех показателей считали интегральный индекс, и чем он выше – тем более вероятно, что профессия будет автоматизирована.

Ну что, завтра на завод?

arxiv.org/abs/2507.07935
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2😁1453127🔥19🫡12🗿6🦄5👍4👌42❤‍🔥1
Data Secrets
DeepSeek только что выложили статью, в которой предложили новую вариацию механизма внимания Традиционное внимание очень прожорливо: вычисления масштабируются квадратично по мере увеличения длины последовательности. Это приводит к тому, что скейлинг трансформеров…
О, статья от DeepSeek выиграла награду Best Paper Award на ACL 2025

Это ведущая мировая конференция по NLP.

Статья называется «Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention». Работа вышла в феврале, в ней DeepSeek показали новую вариацию механизма внимания, специально оптимизированную под длинный контекст.

Наш разбор статьи можно найти тут. Если не читали – самое время.

А DeepSeek мы от души поздравляем, награду они точно заслужили 🐋
Please open Telegram to view this post
VIEW IN TELEGRAM
2🐳208🔥48👍2812😁2🤔2❤‍🔥11
Data Secrets
Anthropic завели своему Claude собственный блог Оказывается, около недели назад Anthropic тихонько, без анонсов, создали Claude Explains. На этой странице теперь появляются всякие технические заметки и посты про варианты использования ИИ, и пишет все это…
Anthropic сделали Claude аккаунт в X

Помните, буквально месяц или два назад у Claude появился собственный блог Claude Explains с краткими гайдами на тему программирования? Так вот эксперимент, видимо, не увенчался успехом, и антропики решили попробовать другой формат – аккаунт в соцсети.

Пока непонятно, на какие темы агент будет твитить: на данный момент его единственный пост (а точнее, реплай) – на скрине наверху. Но понаблюдать будет занятно.

x.com/claudeai
26336😁14👍8🤨4331🔥1
Марк Цукерберг написал открытое письмо со своим видением будущего ИИ

Оно небольшое, полностью почитать можно тут. Мы собрали основные цитаты:

В некоторых отношениях эра ИИ будет абсолютно новой для человечества, но в других станет просто продолжением исторических тенденций. Еще 200 лет назад 90% людей были фермерами. Прогресс постепенно дает нам возможность концентрироваться меньше на выживании и больше на том, чем мы действительно хотим заниматься.


В Meta мы считаем, что
нужно дать суперинтеллект в руки каждому
. Это отличает нас от других компаний, которые считают, что суперинтеллект должен централизовано автоматизировать работу.
Люди, преследующие свои индивидуальные устремления, – это именно то, как мы всегда добивались прогресса
, расширяя процветание, науку, здоровье и культуру.


Если тенденция сохранится, то личные девайсы, например очки, с суперинтеллектом, который знает вас идеально, станут нашими основными вычислительными устройствами. Так или иначе,
оставшаяся часть десятилетия станет решающим периодом для определения пути, по которому пойдет человечество
.
1🔥163😁474025👍23🤨13🤯8🕊531❤‍🔥1
Data Secrets
Илон Маск заявил, что в xAI и SpaceX нет рисерчеров – а есть только инженеры Термин «рисерчер» он назвал чопорным и малоответственным, и сказал, что это пережиток академической среды. Он утверждает, что рисерчеры в xAI не нужны, потому что у него работают…
Ян Лекун вступился за термин «рисерчер», который Маск вчера назвал устаревшим, чопорным и малоответственным

Существует разница между исследованием и инженерией в (1) способе действия, (2) методологии, (3) открытости, (4) критериях оценки.

Исследование использует научную методологию для открытия новых принципов, демонстрации того, что они могут работать на практике, анализа их преимуществ и ограничений, а также взаимодействия с более широким исследовательским сообществом для критики, проверки, воспроизводимости, сравнения и улучшения.

Критерии — концептуальная простота, теоретическая красота/объяснимость, явное превосходство над предыдущими работами по признанным метрикам. Это относится как к академическим исследованиям, так и к исследованиям в индустрии.

Инженерия интегрирует методы, часто разработанные в рамках исследовательского подхода, для создания работающих систем. Подход — использовать первый набор методов, который достаточно хорошо работает для задачи. Обычно это включает множество подгонки, настройки, тонкой доводки и временами — временных решений, чтобы добиться нужной производительности на реальной задаче. Насколько метод абсолютно лучший — менее важно, чем то, насколько он хорош для текущей задачи.

Исследователей оценивают в основном по интеллектуальному влиянию. Оценка исследований — сложная задача, поскольку влияние может проявиться через годы (иногда десятилетия) после выполнения работы. Поэтому часто приходится полагаться на коллективное мнение исследовательского сообщества через косвенные показатели, такие как публикации, цитирования, приглашённые доклады, награды и т. д. Вот почему исследования должны публиковаться.

Инженеров оценивают в основном по влиянию на продукт, иногда через косвенные метрики вроде ПР, количества строк кода и т. д.
Работая в инженерном режиме, исследователи получают стимул заниматься инкрементальной работой.

Если не делать различия между этими двумя видами деятельности, если оценивать исследователей и инженеров по одним и тем же критериям, есть риск уничтожить прорывные инновации. Настоящие прорывы требуют команд с долгим горизонтом планирования и минимальными ограничениями со стороны продуктовой разработки и менеджмента.

Исследовательские лаборатории прежних лет, оставившие неизгладимый след в научно-технологическом прогрессе (Bell Labs, IBM Research, Xerox PARC и др.), были исследовательскими подразделениями, чётко отделёнными от инженерных.


Берем попкорн и ждем ответку от Маска

Пост Лекуна
2🔥194392419👍137💯4😁3🤔3