Machine learning Interview
34.4K subscribers
1.12K photos
87 videos
14 files
771 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
Download Telegram
Forwarded from Machinelearning
🌟 Google опенсорснул стек Deep Search.

Google выложил в открытый доступ на Github фуллстек-проект, который превращает пользовательские запросы в глубокие исследования с помощью Gemini. Его главная задача - находить информацию в интернете, анализировать ее и выдавать ответы с ссылками на источники, используя комбинацию React-интерфейса и бэкенда на базе LangGraph.

Проект включает в себя все необходимое: и фронтенд, и бэкенд.

🟢Фронтенд на React и он про взаимодействие с пользователем (принимает запросы и отображает результаты.)

🟢Бэкенд, на LangGraph, управляет «мозгом» системы: здесь работает агент, который генерирует поисковые запросы, анализирует результаты и решает, нужно ли уточнять данные.

Внутри бэкенда есть модуль, который отвечает за запуск цикла: сначала Gemini создает начальные запросы, затем система ищет информацию через API Google Search, оценивает, хватает ли данных, и при необходимости повторяет процесс.

Важная часть пайплайна — рефлексия. После каждого поиска агент проверяет, закрыты ли все «пробелы» в знаниях. Если информации недостаточно, он генерирует новые вопросы и повторяет цикл, пока не соберёт достаточно данных для ответа.

Проект адаптирован к продакшену, в нем используются Redis (для стриминга результатов в реальном времени) и PostgreSQL (для хранения истории диалогов и управления задачами). Это позволяет системе не терять прогресс даже при перезагрузках.

⚠️ Для практического использования потребуются API-ключи к Google Gemini и LangSmith.


📌Лицензирование: Apache 2.0 License.


🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #DeepSearch #Google #Gemini #LangGraph
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
13👍4🥰2🤣1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Теперь можно запускать модели Hugging Face прямо в Google Colab — бесплатно!

Больше не нужно настраивать окружение вручную. Просто заходишь на страницу модели — и нажимаешь "Open in Colab". Всё готово для запуска за секунды.

Отлично подходит для:
- Быстрого теста модели
- Прототипирования и экспериментов
- Обучения и демонстраций


💡 Бонус для разработчиков:

Добавь файл notebook.ipynb в свой репозиторий модели — и Hugging Face автоматически подхватит его.
Пользователи смогут запускать твой пример сразу, без копирования кода!

🔥 Работает с Google Colab — бесплатно, быстро, удобно.

#HuggingFace #Colab #ML #AI #OpenSource #DeepLearning

✔️ Подробнее

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
18🔥11👍4❤‍🔥2
Forwarded from Machinelearning
📌Tokasaurus: проект для ускорения работы с языковыми моделями.

Tokasaurus — это движок инференса для языковых моделей в режиме высоконагруженных задач. Он максимизирует пропускную способность при работе с LLM, предлагает поддержку API OpenAI, эффективно управляет памятью и оптимизирует вычисления в сценариях, где важно одновременно обрабатывать множество запросов без задержек.

Архитектура Tokasaurus разделена на 3 компонента: веб-сервер, менеджер и модельные воркеры.

🟢Веб-сервер отвечает за взаимодействие с клиентами, принимая запросы и отправляя ответы.

🟢Менеджер, запущенный в отдельном процессе, управляет планированием задач, KV-кешем и группировкой последовательностей с общими префиксами.

🟢Модельные воркеры выполняют прямые запросы к подключенным LLM. Компоненты обмениваются данными асинхронно через очереди, и это позволяет держать GPU загруженным без простоев.

Проект учитывает растущую потребность в масштабировании и предлагает 3 типа параллелизма: дата-параллелизм (dp_size), пайплайн (pp_size) и тензорный (tp_size) с поддержкой AsyncTP.

Async Tensor Parallelism в PyTorch — это техника ускорения распределенных вычислений для LLM, где операции связи (all-gather/reduce-scatter) разбиваются на асинхронные части и перекрываются с матричными умножениями (matmul) с помощью чередующихся CUDA-потоков: пока один поток вычисляет фрагмент matmul, другой параллельно передаtт данные для следующего фрагмента через P2P-копирование (NVLink + copy engines), минимизируя простои GPU.


При использовании нескольких GPU, например, dp_size=2 и pp_size=4, система задействует 8 GPU, создавая 2 дублирующиеся группы по 4 GPU каждая. При этом параметры управления памятью (kv_cache_size_num_tokens, max_seqs_per_forward) применяются к каждой дата-параллельной группе отдельно. Это позволяет тонко управлять ресурсами, исходя из контекста конкретных нагрузок.

Tokasaurus поддерживает модели семейств Llama3 и Qwen2, использует технологию Hydragen для ускорения внимания над общими префиксами последовательностей.

⚠️ Проект пока молодой, поэтому некоторые функции могут быть нестабильными. Разработчики активно работают над улучшениями.


📌 Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM # #Tokasaurus #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ В Пекине запустят первый в мире 4S-центр для роботов с воплощенным ИИ.

По аналогии с автосалонами, робототехнический 4S будет предлагать полный цикл: продажи (Sales), сервис (Service), запчасти (Spare parts) и консультации/анализ (Surveys). Планируется зона с демонстрацией роботов в реалистичных сценариях – можно будет всё пощупать руками и увидеть их возможности в деле. Плюс создадут быструю сеть поставки комплектующих по стране и соберут профильную команду для сборки, ремонта и обслуживания машин.

Первыми партнерами станут несколько лидеров сферы: UBTECH и Galaxea. Откроется центр в августе на базе промпарка в районе Ичжуан на юге столицы.
english.news.cn

✔️ Браузер Dia выходит в бета-версию.

The Browser Company открыл доступ к бета-версии браузера Dia (по инвайтам). Dia позиционируется как решение, где ИИ глубоко интегрирован в самую суть взаимодействия, он встроен прямо в рабочий процесс пользователя, избавляя от необходимости постоянно ходить на сайты ChatGPT или Claude.

Dia построен на Chromium, так что интерфейс многим знаком. Главная фича — умная адресная строка: она работает и как поиск, и как чат-бот с ИИ. Помощник умеет искать в сети, суммировать загруженные файлы, автоматически переключаться между режимами. Можно даже спросить его о содержимом всех открытых вкладок или попросить составить черновик на их основе.

Настройки производятся через диалог с ботом: можно задать тон, стиль письма, параметры для кода. Опция History (по желанию) позволяет браузеру использовать недельную историю просмотров как контекст для ответов. А функция Skills помогает создавать мини-скрипты — ярлыки для сложных настроек или действий.
techcrunch.com

✔️ Mistral запускает вычислительную альтернативу облачным гигантам.

Mistral AI анонсировала Mistral Compute - инфраструктурную платформу для разработки и запуска ИИ. Это полноценный приватный стек: от GPU и систем оркестрации до API и сервисов. На выбор любой формат, от bare-metal до полностью управляемой PaaS.

Mistral Compute нацелен дать государствам, компаниям и научным центрам, ищущих альтернативу решениям из США или Китая, возможность самим строить ИИ-среду под свои нужды и полностью ею владеть.

Платформа использует новейшие архитектуры NVIDIA, с доступом к десяткам тысяч GPU. Она создана командой с огромным опытом в HPC и обучении топовых ИИ-моделей. Ключевые акценты: устойчивость и суверенитет данных, инфраструктура соответствует строгим европейским нормам и работает на декарбонизированной энергии.
mistral.ai

✔️ ByteDance анонсировала text-to-video модель Seedance 1.0.

Seedance 1.0 - новая генеративная модель для создания видео, которая, по утверждениям ByteDance, превосходит конкурентов в точности выполнения запросов, качестве движений и резкости изображения. В тестах на Artificial Analysis она лидирует в задачах text-to-video и image-to-video, обходя Google Veo 3, Kuaishou Kling 2.0 и OpenAI Sora. Модель справляется с длинными сценами, сохраняя стабильность персонажей и переходов между ракурсами, но пока не поддерживает добавление звука.

Seedance 1.0 генерирует 5-секундный Full HD-ролик за 41 секунду — это быстрее аналогов, хотя новый Google Veo 3 Fast может нивелировать это преимущество. Инструмент планируют внедрить в платформы Doubao и Jimeng. Целевая аудитория — от профессиональных видеомейкеров до обычных пользователей.
seed.bytedance.com

✔️ Midjourney открыла публичное тестирование своей видеомодели.

Midjourney объявила о начале открытого тестирования модели генерации видео по текстовым запросам. Задача тестирования собрать обратную связь для улучшения алгоритма.

Создатели пригласили сообщество принять участие в онлайн-рейтинге сгенерированных роликов, присоединиться можно по ссылке. Пока некоторые образцы выглядят достойно и сохраняют фирменный стиль Midjourney, но в целом результаты пока нестабильны.

Компания подчеркивает: это не финальная версия модели, а лишь первый шаг. Дополнительные сессии тестирования уже запланированы, но дату релиза и цену пока не раскрывают.
midjourney.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥43
Forwarded from Machinelearning
🌟 SEAL: Еще одна попытка создать пайплайн самообучающихся LLM.

SEAL - это методика от MiT, позволяющая LLM самостоятельно генерировать обучающие данные и настраивать параметры обучения, чтобы адаптироваться к новым задачам. Вместо традиционного файнтюна на внешних данных модель учится рефлексировать: анализировать контекст, создавать из него синтетические данные и применять их для корректировки собственных весов через механизм усиленного обучения.

SEAL, по сути, это два разделенных цикла:

🟢Внешний цикл использует RL, чтобы научить модель генерировать «самоизменения» (инструкции на естественном языке, описывающие, какие данные использовать и как настраивать параметры).

🟢Внутренний цикл реализует эти изменения: модель дообучается на сгенерированных данных, а затем тестирует результат на конкретной задаче. За коррекцию отвечает RL-алгоритм ReSTEM, который оценивает эффективность изменений и обновляет стратегию генерации инструкций. Для экономии ресурсов используются легковесные адаптеры LoRA, которые модифицируют только часть параметров модели.

Этот процесс повторяется, постепенно формируя у модели навык преобразования исходных данных в полезные обучающие сигналы.

SEAL протестили на 2 задачах: интеграции новых знаний и few-shot обучении. В первом случае модель генерирует логические следствия из текста, дообучается на них и улучшает точность ответов на вопросы без доступа к исходному тексту.

Во втором случае SEAL выбирает оптимальные аугментации данных и гиперпараметры для обучения на примерах задач ARC-AGI.

В обоих сценариях SEAL превзошел подходы с фиксированными шаблонами (ICL, TTT+Self Edit без RL и) и даже синтетическими данными от GPT-4.1.

Метод скорее академический и по большей части экспериментальный, у него есть ограничения:

🟠При последовательном применении изменений модель склонна к «катастрофическому забыванию» — потере знаний, усвоенных ранее;

🟠Сопутствующие вычислительные затраты, так как каждая итерация требует дообучения и тестирования модели.


▶️В репозитории проекта разработчики выложили код, данные и инструкции для двух направлений:

🟢Включение новых фактических знаний;

🟢Адаптация к новым задачам на основе примеров.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #SEAL #RL #MiT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥3😁1
🚀 Вышли модели Qwen3 в формате MLX!

Теперь можно запускать Qwen3 локально — быстро, эффективно и с разной точностью:
- 4-bit
- 6-bit
- 8-bit
- BF16

🔧 Модели специально оптимизированы под MLX framework — минимальный объём, максимальная производительность, полная совместимость с Apple Silicon.

🧪 Идеально подходит для локального inference и интеграции в MLX‑проекты.

📦 Попробовать:
• Hugging Face: huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
ModelScope: modelscope.cn/collections/Qwen3-9743180bdc6b48

@machinelearning_interview

#Qwen3 #MLX #LLM #AppleSilicon #AI
10👍5🔥4
Forwarded from Machinelearning
📌Реверс-инженерия GPT-2 методом трассировки цепей Cross-Layer Transcoders.

Goodfire AI, вдохновившись примером Anthropic в интерпретации внутренних процессов Claude, воспроизвели методы трассировки цепей межслойных транскодеров (Cross-Layer Transcoders, CLT) на GPT-2 Small, чтобы проверить их способность раскрывать известные механизмы трансформеров.

Выбор на GPT-2 Small пал не случайно, эта модель небольшая и уже была ранее подвергнута ручному реверс-инжинирингу.

Cross-Layer Transcoders выжимают из модели разреженные признаки, которые объясняют работу MLP-слоев. Визуализируют это через графы атрибуции — это карты влияния признака на выход модели.


Натренировали на 100M токенов из FineWeb, получили ~590K признаков. Точность CLT-реплики модели составила 59%, что близко к оригинальным статьям. Тестировали на задаче сравнения чисел («больше, чем»), идеальном полигоне, где уже известны ключевые механизмы.

Задача "Больше, чем" (ориг. "greater-than") взята из статьи Michael Hanna, она заставляет предсказывать большие числа для второго года в диапазоне дат.


▶️ Главный эксперимент:

Промпт «The war lasted from the year 1711 to 17». CLT построил граф, где признаки с токена «11» (последняя цифра года) активнее всего влияли на предсказание.

Дальше, выделили топ-160 признаков, для каждого построили логит-атрибуции — теплокарты, показывающие, как признак влияет на выходные годы (ZZ) при разных входных (YY).

▶️ Что нашли:

🟢Признаки «больше, чем»: Feature 425104 (слой 8) активируется на больших числах в хронологии (даты, войны). Но его теплокарта продвигает выходы >60, независимо от входа, а вот Feature 461858 работает только для YY=6–14 и продвигает ZZ=10–30.

Похоже, CLT подсветил кучу узкоспециализированных «сравнивателей», а не универсальные нейроны, как в ручных исследованиях.

🟢Сюрпризы: Feature 399423 — вообще не про числа. Он кодирует четность и контраст: активируется на «and» в «pros and cons», а в задаче продвигает четные ZZ при нечетных YY. Абстракция уровня «противоположность» — такого в прошлых работах не видели.

🟢Странности: Feature 402486 вообще саботирует задачу: продвигает малые числа. Или Feature 349410 — работает только для YY=11, хотя ее max-активации показывают числа до 30.

▶️ Выводы:

CLT автоматически находит интерпретируемые признаки, даже такие неочевидные, как абстрактная четность. Но их «разреженный» мир выглядит иначе, чем ручная трассировка цепей: тут больше узких признаков-«спецов» (Feature 461858 для диапазона 10–30) и меньше универсальных механизмов.

Возможно, дело в методе: CLT смотрит изолированные вклады фич, а в полной модели они взаимодействуют.

В общем, эксперименты с CLT показал, что под капотом языковых моделей не только четкие «сравниватели чисел», но и куча скрытых паттернов вроде детекторов контраста или любителей чисел, кратных 5. И да, полуавтономный анализ иногда видит то, что люди упускают.

🔜 Читать полную статью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #CLT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥4🥰1🤔1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ GitHub Copilot вводит плату за продвинутые запросы с 18 июня 2025 года.

GitHub объявил о начале тарификации премиум-запросов в Copilot для всех платных планов с 18 июня 2025 года. Теперь пользователи будут получать ежемесячный лимит таких запросов, а неиспользованные остатки сгорают в конце месяца.

Премиум-запросы требуются для работы с мощными моделями вроде GPT-4.5 или Claude Opus 4, где каждый запрос умножается на коэффициент сложности (GPT-4.5 «съедает» 50 единиц за раз). Для бесплатного тарифа доступ ограничен: 2000 автодополнений кода и 50 премиум-запросов в месяц, причем все чаты считаются как "премиум".

Платные планы предлагают неограниченный доступ к базовым моделям (GPT-4.1, GPT-4o), но дополнительные запросы сверх лимита обойдутся в $0.04 за штуку. Если лимит исчерпан, можно переключиться на базовые модели — правда, их скорость зависит от нагрузки.
github.com

✔️ OpenAI разрабатывает меры безопасности для биологических исследований с применением ИИ.

OpenAI предупредила, что ее будущие модели могут представлять повышенный риск создания биологического оружия. Чтобы предотвратить злоупотребления, OpenAI разрабатывает комплексную систему ограничений: обучение моделей игнорировать опасные запросы, автоматический мониторинг подозрительной активности, проверку экспертов и «Red Teams», тестирующие уязвимости.

Компания сотрудничает с лабораториями и правительствами, чтобы улучшить безопасность синтеза ДНК и создать системы раннего обнаружения патогенов. Для тех, кто работает с ИИ в научных целях, планируется отдельный доступ к мощным инструментам, при условии строгого контроля. В июле OpenAI проведет саммит по биозащите, чтобы объединить усилия государств и частного сектора в борьбе с новыми угрозами.
openai.com

✔️ Wix покупает вайбкодинг-платформу Base44 за $80 млн.

Wix, популярный конструктор сайтов, приобрел Base44 — платформу вайбкодинга, позволяющую создавать приложения через текстовые запросы. Сделка оценивается в $80 млн, с возможными доплатами до 2029 года в зависимости от роста пользователей или выручки.

Base44 останется независимой, сохранив текущие инструменты: управление базами данных, аутентификацию, облачное хранение и хостинг. Платформа, насчитывающая 40 тыс. пользователей, недавно добавила чат-бота на основе ИИ для упрощения разработки.
techradar.com

✔️ Google использует миллиарды видео с YouTube для обучения ИИ.

YouTube подтвердил, что Google использует его архив из 20 млрд. видео для тренировки ИИ-моделей, включая Veo 3. Компания утверждает, что задействует лишь часть контента, соблюдая договоры с авторами, но не уточняет деталей. Создатели, чьи ролики могут попадать в обучающие наборы, не могут отключить такую опцию.

Эксперты опасаются, что это создаст конфликт интересов: ИИ, обученный на их материалах, может конкурировать с самими авторами. Некоторые уже выразили недовольство, подчеркнув, что не знали о таком использовании своего контента.

При этом ежедневно на YouTube добавляется несколько десятков миллионов новых видео - это потенциальный «корм» для алгоритмов. Вопрос регулирования ИИ и защиты прав авторов остаётся открытым, хотя YouTube ссылается на прозрачность своих политик.
cnbc.com

✔️ MiniMax выпустила видеомодель Hailuo 02.

MiniMax, в рамках пятидневного марафона релизов "MiniMax Week" представила второе поколение видео-модели Hailuo 02, улучшенной за счет архитектуры NCR. Модель выросла в 3 раза по количеству параметров, при этом разработчики обещают улучшенное качество и разнообразие контента, но технические детали NCR пока не неизвестны.

Hailuo 02 справляется со сложными сценариями и по данным бенчмарка Artificial Analysis Video Arena она уступила только Bytedance Seedance, но обошла Google Veo 3.

Доступны 3 варианта генераций: 768p на 6/10 секунд и 1080p на 6 секунд. Цена в API за 6-секундный ролик в 768p — $0,28, а 1080p — $0,49. Модель доступна через веб-интерфейс, мобильное приложение или API.
mp.weixin.qq.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI расширяет возможности ChatGPT Pro.

OpenAI запустила Search Connectors для ChatGPT Pro и Team, функцию, которая напрямую связывает облачные хранилища (Google Drive, Dropbox и OneDrive) с интерфейсом чата. Теперь пользователи могут искать, анализировать и обобщать документы, не загружая их вручную.

Лимит файлов на проект для Pro-подписчиков вырос с 20 до 40, а поддержка охватывает 12 сервисов, включая GitHub, Gmail и Outlook. Пока новинка доступна за пределами ЕС, Великобритании и Швейцарии.
Open AI в сети Х

✔️ Google открыла доступ к Imagen 4.

Imagen 4, усовершенствованные модели генерации изображений по текстовым запросам, стали доступны в двух версиях: базовая Imagen 4 (4 цента за изображение) для повседневных задач и Imagen 4 Ultra (6 центов) с повышенной детализацией и точностью исполнения инструкций. Обе модели доступны в Gemini API для платных пользователей, а также в ограниченном бесплатном тестировании через Google AI Studio.

Разработчики обещают улучшенное отображение текста на картинках и расширение тарифных планов в ближайшие недели. Все сгенерированные изображения получат скрытый цифровой водяной знак SynthID.
developers.googleblog.com

✔️ HPE и NVIDIA представили новую линейку решений для корпоративного ИИ.

HPE и NVIDIA анонсировали совместные решения для создания «фабрик искусственного интеллекта» на базе модульной инфраструктуры. В линейку вошли серверы HPE ProLiant DL380a Gen12 с GPU NVIDIA RTX PRO 6000 Blackwell, которые предлагают универсальную платформу для генеративного и промышленного ИИ.

Также был представлен HPE Private Cloud AI — готовое решение для быстрого внедрения ИИ, совместимое с фреймворком NVIDIA Enterprise AI Factory. Для финансового сектора планируется тестирование агентного ИИ с Accenture, а 26 новых партнеров расширят экосистему HPE, добавив 70 преднастроенных сценариев: от детекции мошенничества до кибербезопасности. Решения доступны для заказа, а система HPE Compute XD690 с GPU Blackwell Ultra начнет отгружаться в октябре.
blogs.nvidia.com

✔️ Google DeepMind представила AlphaGenome.

AlphaGenome — нейросеть, которая предсказывает, как мутации в ДНК влияют на регуляцию генов. Модель обрабатывает участки длиной до миллиона пар оснований, анализируя их на уровне отдельных «букв» и оценивая тысячи молекулярных свойств: активность генов, сплайсинг РНК, доступность участков ДНК.

AlphaGenome сочетает сверточные слои для поиска коротких паттернов и трансформеры для анализа длинных последовательностей. Одна из ключевых особенностей - точное моделирование сплайс-сайтов, важное для изучения редких заболеваний.

Модель превзошла аналоги в 22 из 24 тестов, предсказывая как структуру ДНК, так и эффекты вариантов. Доступ к AlphaGenome открыт через API для некоммерческих проектов.
deepmind.google

✔️ LongWriter-Zero: модель, которая пишет длинные тексты благодаря RL.

Группа исследователей из Сингапура и Китая представила LongWriter-Zero, модель, которая генерирует тексты длиной более 10 тысяч слов, обучаясь только через RL, без использования синтетических данных. Модель опирается на три специализированных «наградных» алгоритма, оценивающих структуру, качество и длину текста, а также уникальный метод «усреднения преимущества», который балансирует приоритеты между ними.

LongWriter-Zero использует «промты-размышления»: перед написанием модель планирует структуру текста, улучшая его связность. Бенчмарки показали рост эффективности с 700 до 1200 поинтов Elo. Однако у модели есть слабые места: она склонна к повторам и переиспользованию слов, которые система поощряет в процессе обучения.
Модель и датасет доступны на Hugging Face.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍5🥰4
Forwarded from Machinelearning
🧠 Как машинное обучение помогло заглянуть за пределы Стандартной модели в физике

На одной из самых престижных премий мира Breakthrough Prize 2025 отметили участников эксперимента LHCb на Большом адронном коллайдере — в их числе выпускники Школы анализа данных (ШАД) Яндекса и ученые НИУ ВШЭ. Они применили ML, чтобы улучшить анализ данных с коллайдера и сделать возможным открытие тетракварков и пентакварков — нестабильных частиц, предсказанных теорией.

🟠Роль машинного обучения

Для анализа данных эксперимента использовались CatBoost, генеративные нейросети и алгоритмы интеллектуального отбора. Они позволили значительно повысить точность реконструкции траекторий частиц и отбор редких событий среди фона. Эффективность обработки выросла, особенно это заметно при работе с большими потоками коллайдерных данных.

🟠Ключевые открытия

Тетракварки и пентакварки — новые экзотические частицы, состоящие из 4 и 5 кварков (в отличие от привычных протонов и нейтронов). Их открытие подтверждает Стандартную модель, но не переворачивает физику.

CP-нарушение — обнаружена асимметрия между материей и антиматерией, но ее масштаб недостаточен для объяснения дисбаланса во Вселенной.

🟠Главный вопрос: почему материи больше, чем антиматерии?

Ученые подтвердили CP-нарушение, но его недостаточно для полного объяснения асимметрии. Требуется выполнение трёх условий Сахарова, два из которых пока не обнаружены.

🟠Что дальше

Новые эксперименты в Дубне (BM@N, MPD, SPD) и возможное строительство коллайдера в Китае.

Поиск «новой физики» за пределами Стандартной модели.

Полное интервью

@ai_machinelearning_big_data

#ML #AI #CatBoost #Physics #LHCb #ШАД #ВШЭ #BreakthroughPrize
Please open Telegram to view this post
VIEW IN TELEGRAM
14👍2🤣1
🤖 Цукерберг идёт ва-банк: ставка на суперИИ и $14.3 млрд за контроль над Scale AI

Миллиардер официально заявил о своих амбициях в гонке за суперинтеллектом:

💰 Компания вложила $14.3 млрд в Scale AI и забрала себе не только долю, но и её основателя Александра Ванга — теперь он возглавляет новое стратегическое направление Meta по созданию суперИИ.

👥 Параллельно Цукерберг собирает “звёздную команду” из 50+ топ-исследователей, переманивая людей из OpenAI, DeepMind и других AI-групп с предложениями до $100 млн в опционах. В индустрии это уже называют "Zuck Bucks".

📌 Зачем это всё:
• Llama 4 оказался слабее ожиданий
• Meta хочет не просто догнать конкурентов, а построить AGI на своих условиях
• Scale даёт доступ к инфраструктуре и огромным объёмам размеченных данных

⚠️ Но есть и проблемы:
• Google и OpenAI уже свернули сотрудничество со Scale после сделки
• Внутри компании есть разногласия — Ян Лекун скептически относится к LLM‑подходу к AGI
• На рынке задаются вопросом: зачем строить “суперинтеллект”, если нет killer-продукта?

📉 Это может быть самым амбициозным (или самым дорогим) экспериментом компании со времён метавселенной.

@machinelearning_interview

#AGI #superintelligence #Zuckerberg #ScaleAI #AI #OpenAI #DeepMind #Llama4
🔥105👍2🤔2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Google Deepmind в списке самых влиятельных компаний 2025 года по версии TIME.

Медиагигант TIME включил DeepMind в свой рейтинг TIME100-2025 в категории «Влияние в ИИ». Это отдельная категория признания пяти выдающихся компаний, которые внесли значимый вклад в развитие своих областей.

В 2024 году создатели AlphaFold из Google DeepMind получили Нобелевскую премию по химии, но помимо научных достижений, DeepMind активно развивает языковые общедоступные модели: Gemini 2.5 Pro до сих пор лидирует в тестах на «интеллект».

CEO Google DeepMind Демис Хассабис мечтает создать «универсального цифрового ассистента», способного не только помогать пользователям, но и проводить самостоятельные научные исследования.
time.com

✔️ Новостной чатбот ChatEurope оказался бесполезен.

15 европейских СМИ из 7 стран запустили Chat Europe, платформу на основе ИИ, которая обещает предоставлять новости о ЕС без дезинформации. Проект финансируется ЕС, использует модель Mistral и был разработан румынской компанией DRUID AI.

Пользовательские тесты показали проблемы: система часто ссылается на устаревшие данные и дает нерелевантные ответы. Например, запрос о ситуации в Германии выдал устаревшую информацию 2010 года, в то время как ChatGPT с веб-поиском - дал актуальный и всесторонний ответ.

Создатели чатбота заявляют непредвзятость сервиса и проверенные источники, но реальность пока не соответствует этим утверждениям. Эксперты ждут улучшений: если чатбот не научится отслеживать события в реальном времени, его польза останется под вопросом.
presseportal.de

✔️ OpenAI выходит на рынок корпоративных решений с ценником от $10 млн за проект.

OpenAI активно развивает консалтинговое направление для бизнеса, предлагая клиентам персонализацию моделей GPT-4o под их данные и разработку приложений - от чат-ботов до аналитических инструментов. За такие услуги компания запрашивает от $10 млн, ставя себя в один ряд с Palantir и Accenture.

Среди клиентов направления - Министерство обороны США и азиатский техногигант Grab. OpenAI явно стремится закрепиться не только как лаборатория для исследований, но и как партнер для масштабных внедрений.
theinformation.com

✔️ Huawei открыла доступ к семейству моделей Pangu.

Huawei анонсировала открытый доступ к своей серии языковых моделей Pangu: компактной Pangu 7B и флагманской Pangu Pro MoE с 72 миллиардами параметров. Обе модели оптимизированы для инференса на чипах Ascend. Исходный код, веса и инструменты для работы с MoE-архитектурами уже доступны на платформе GitCode.

Разработчики получают возможность тестировать решения на чипах Huawei, что актуально в условиях санкций. Меньшая версия Pangu 7B в открытом доступе появится позже.
ecns.cn

✔️ Cloudflare вводит контроль над ИИ-краулерами.

Cloudflare начал блокировать ИИ-краулеры по умолчанию, теперь новые сайты автоматически получают опцию запрета сканирования без разрешения, а бета-версия сервиса Pay Per Crawl позволит монетизировать доступ.

Новый протокол идентификации ботов поможет сайтам отсеивать анонимных скраперов, требуя раскрытия целей сбора данных. Поддержку инициативе выразили крупнейшие медиахолдинги и цифровые площадки, они давно говорят о важности компенсации за использование контента.
cloudflare.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥2
Forwarded from Machinelearning
🌟 WM-ABench: тестирование VL-моделей на понимание физики реального мира.

Мaitrix Org разработали WM-ABench, бенчмарк для оценки VLM в качестве так называемых «моделей мира». Идея проста: проверить, насколько хорошо топовые модели способны не просто распознавать картинки, а понимать окружающую действительность и предсказывать ее изменения.

Создатели, опираясь на когнитивную науку, создали фреймворк, который тестирует 15 самых популярных моделей по 23 параметрам, разделяя процесс на 2 ключевых этапа: восприятие и прогнозирование.

В основе бенчмарка - огромный датасет из более чем 100 тысяч примеров, сгенерированных в 6 различных симуляторах, от ThreeDWorld и Physion до Carla.

Чтобы модели не искали легких путей и не полагались на поверхностные совпадения, в тест добавили «сложные негативы» - контрфактические состояния, которые заставляют систему действительно анализировать происходящее.

Весь процесс был разделен на оценку восприятия (распознавание объектов, пространства, времени, движения) и прогнозирования (симуляция физики, транзитивный и композиционный вывод). Для калибровки сложности задач были установлены базовые показатели, основанные на результатах людей.

🟡Результаты.

С простым визуальным восприятием, то есть с определение цвета или формы, все модели справляются отлично. Однако когда дело доходит до трехмерного пространственного мышления, динамики движения или временных последовательностей, начинаются серьезные проблемы.

Выяснилась и другая любопытная деталь: VLM склонны «спутывать» физические понятия. Например, если в сцене изменить только цвет объекта, модель может внезапно ошибиться в оценке его размера или скорости.

Оказалось, что цвет и форма являются самыми влиятельными атрибутами, которые искажают восприятие других, не связанных с ними характеристик.

🟡Но главная проблема кроется глубже.

Точное восприятие мира совершенно не гарантирует точного прогноза.

Исследование показало, что даже при идеально верном распознавании текущего состояния сцены модели проваливают предсказание физических взаимодействий.

Разрыв с человеческими способностями явный: в задачах на транзитивный вывод он достигает 46%, а композиционный вывод выполняется на уровне случайного угадывания.

🟡Бенчмарк подсветил фундаментальный недостаток:

У современных VLM отсутствуют базовые знания физики, необходимые для симуляции даже простейших событий. Они видят мир, но не понимают, по каким законам он живет.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Arxiv
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #VLM #Benchmark #Maitrix
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥5👍4
Forwarded from Machinelearning
📌SemDiD: Семантическое разнообразие ответов для LLM.

Исследователи из из Гонконгского университета и инженеры Alibaba научили LLM генерировать семантически разные ответы, заставляя их «думать» в ортогональных направлениях.

Наверняка каждый, кто работает с LLM, сталкивался с их любовью к самоповторам. Запрашиваешь несколько вариантов решения, а получаешь одну и ту же мысль, просто перефразированную.

Стандартные подходы к декодированию, temperature sampling или diverse beam search, создают лишь лексическое разнообразие, но пасуют, когда требуется семантическое. Это серьезная проблема для Best-of-N или RLHF. Ведь без по-настоящему разных идей и подходов к решению задачи эти методы теряют свою силу: выбирать лучший вариант не из чего, а обучать модель на однотипных примерах неэффективно.

Решение предложили в методе SemDiD (Semantic-guided Diverse Decoding). Его суть, если кратко, перестать играть с токенами на поверхности и начать управлять генерацией напрямую в пространстве эмбеддингов.

🟡Метод работает так.

Сначала, на старте, он принудительно направляет разные группы beams по ортогональным векторам в семантическом пространстве. Грубо говоря, это как дать команду разным поисковым группам двигаться строго на север, юг и запад, чтобы они гарантированно разошлись.

По мере генерации, когда жесткие директивы могут стать неоптимальными, включается второй механизм - inter-group repulsion. Он просто следит, чтобы смысловые траектории ответов не сближались, сохраняя их уникальность до самого конца.

Но как, гоняясь за разнообразием, не получить на выходе бессвязный бред?

SemDiD подходит к контролю качества уникально. Он не пытается слепо максимизировать вероятность последовательности, а использует ее лишь как нижнюю границу, чтобы отсечь совсем уж плохие варианты.

Кроме того, алгоритм корректирует системные искажения, когда вероятность токенов искусственно завышается в зависимости от их позиции в тексте.

Для баланса между качеством и разнообразием используется адаптивный механизм на основе гармонического среднего, который в каждый момент времени уделяет больше внимания той метрике, которая проседает.

🟡В тестах метод показал неплохие результаты.

На бенчмарках для Best-of-N, от MMLU-Pro+ до GSM8K, SemDiD увеличивает покрытие (шанс найти верный ответ) на 1.4%-5.2% по сравнению с аналогами.

🟡Но главный прорыв - в RLHF.

Генерируя для GRPO или RLOO семантически богатые наборы ответов, SemDiD предоставляет им более качественный материал для обучения. Это ускоряет сходимость на 15% и повышает финальную точность моделей.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #SemDiD
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍7🔥4
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Северная Корея будет развивать собственный ИИ.

Власти КНДР объявили о реформе системы образования, в рамках которой в ведущих университетах страны создаются новые специальности, связанные с искусственным интеллектом. Согласно официальной партийной газете «Нодон синмун», это нужно для подготовки талантов, необходимых для «требований времени».

Этот шаг подтверждает давний интерес страны к передовым технологиям. Исследовательский институт ИИ при Университете имени Ким Ир Сена уже заявил о цели «использовать технологию GPT для замены умственного труда человека». Ранее сообщалось об использовании в институте американского ChatGPT, а научные издания страны посвящали спецвыпуски этой технологии. Аналитики полагают, что Пхеньян намерен применять ИИ не только для технологического развития, но и для укрепления государственного контроля и в разведывательной деятельности.
Lianhe Zaobao

✔️OpenAI выпустит свой браузер.

OpenAI готовится в течение нескольких недель запустить собственный веб-браузер с глубокой интеграцией искусственного интеллекта. Новый продукт будет построен на Chromium, но предложит уникальные функции: встроенное окно для общения в стиле ChatGPT и поддержку ИИ-агентов. Эти агенты смогут автономно выполнять задачи пользователей, от бронирования отелей до заполнения онлайн-форм.

Ключевая идея состоит в удержании пользователя внутри интерфейса браузера, а не перенаправлять на внешние сайты. как это происходит сейчаc в ChatGPT. Если OpenAI удастся привлечь хотя бы часть из 500 миллионов еженедельных пользователей ChatGPT, это может серьезно пошатнуть рекламную бизнес-модель Google, которая во многом опирается на данные, собираемые через Chrome.
reuters.com

✔️ NovelAI выложила в открытый доступ веса своей модели Diffusion Anime V2.

Модель генерации изображений в стиле аниме основана на Stable Diffusion 1.5, генерирует в разрешении до 1024x1024 пикселей и использует предпоследний слой энкодера CLIP.

Diffusion Anime V2 распространяется под двойной лицензией, которая допускает только некоммерческое использование с обязательным указанием авторства. NovelAI напоминает, что V2 является устаревшей версией, а все новые модели остаются проприетарными и эксклюзивными для их веб-сервиса. Веса Diffusion Anime V2 доступны на Hugging Face.
blog.novelai.net

✔️ YouTube обновит правила монетизации для борьбы с ИИ-контентом.

С 15 июля YouTube вводит более строгие правила для своей партнерской программы, нацеленные на борьбу с массово создаваемыми и повторяющимися видео. Это ответ сервиса на рост генеративных ИИ-инструментов, которые значительно упрощают производство подобного контента.

Хотя представители платформы называют это «незначительным обновлением» и утверждают, что такой контент и раньше не подлежал монетизации, новые правила вносят больше ясности. Ужесточение рассматривается как превентивная мера для защиты YouTube от наплыва низкокачественных видео, способных нанести ущерб репутации и ценности платформы.
techcrunch.com

✔️ Google заменяет Assistant на Gemini в умных часах с Wear OS.

Google начала развертывание своего ИИ-ассистента Gemini на умных часах, заменяя Google Assistant на носимых устройствах. Обновление уже доступно для Pixel Watch и в ближайшие недели появится на моделях от Samsung, OPPO, OnePlus, Xiaomi и других производителей под управлением Wear OS 4 или новее.

Новый ассистент на часах поддерживает текстовые, голосовые и графические запросы. Активировать Gemini можно привычной командой «Hey Google» или долгим нажатием боковой кнопки. Благодаря глубокой интеграции с сервисами Google, пользователи смогут выполнять многошаговые команды прямо с запястья: просить создать плейлист в YouTube Music или кратко изложить содержание последних писем в Gmail.

Вместе с этим, компания улучшила функцию визуального поиска Circle to Search, добавив в нее специальный "AI Mode" для получения контекстной информации. Улучшение доступно пока только для США и Индии на Android и iOS.
9to5google.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2🥰2
🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман

По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.

Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.

Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.

📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов

Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.

#Apple #Mistral #AI #LLM #ГонкаИИ

@machinelearning_interview
6👍4🔥2
🚀 15 AI‑инструментов, которые стоит взять на вооружение

Подборка популярных инструментов, которые уже сегодня помогают создавать, автоматизировать и масштабировать работу быстрее в разы:

🎬 Работа с видео
1. Runway.ml — генерация видео по тексту
2. Veed.io — монтаж, субтитры, озвучка онлайн
3. Invideo.io — создание роликов за минуты

🧠 Помощь в мышлении и генерации
4. ChatGPT.com — ассистент для ресёрча, генерации и правок
5. Grok.comAI-помощник с быстрым доступом к знаниям
6. Deepseek.ai — генерация и анализ текста
7. Claude.ai — диалоговый ассистент от Anthropic
8. Perplexity.ai — умный поисковик с цитируемыми источниками

💻 Код, задачи и коммуникации
9. Cursor.comAI-помощник для программиста
10. Notion.com — организация, заметки, задачи с AI-поддержкой
11. HubSpot.com — маркетинг, автоматизация и CRM
12. Canva.com — графика, презентации, визуал для соцсетей
13. Figma.com — интерфейсы, прототипы, совместная работа

🎨 Творчество
14. Midjourney.com — генерация изображений по промптам
15. RecCloud.com — быстрые AI-клипы и нарезки видео

#AI #FutureOfWork #Productivity #AItools #Automation

@machinelearning_interview
🥱105👍4🔥3
🧠 Андрей Карпаты выпустил интересный пост о масштабировании RL.

Все говорят о масштабировании RL — и не зря. Но ощущение, что это только часть большой картины.

Вчера обсуждали с другом: Reinforcement Learning даёт более масштабируемую обратную связь, чем SFT, и это действительно мощный рычаг. Вместо явных меток — просто: "получилось хорошо → усилим действия", "плохо → ослабим". Но...

🔸 Проблема №1 — асимптотика
Как только задача выходит за пределы секунд и становится минутами/часами взаимодействий, RL сводится к тому, что ты делаешь тонну действий, чтобы в конце получить одну скалярную метку — и по ней обновить весь градиент? Это кажется неэффективным.

🔸 Проблема №2 — не по-человечески
Мы (люди) улучшаемся не только по результату "успех/провал". Мы рефлексируем:
- Что сработало?
- Что нет?
- Что стоит попробовать в следующий раз?

Этот "урок" мы потом либо держим в голове, либо записываем. Он становится частью интуиции или инструкции. В языке это называют *second nature*.
И таких механизмов в обучении ИИ пока нет.

🔍 Пример алгоритма:
1. Несколько rollout'ов
2. Все примеры + награды → в один контекст
3. Промпт на рефлексию: *"Что сработало? Что улучшить?"*
4. Сгенерированная строка → системный промпт или база "уроков"

Это и есть lesson-инъекция. Например, в Claude было явно прописано:
> "Если тебя просят посчитать буквы — раздели по запятым и считай по одному"

Это патч-урок, не выученный, а вручную внедрённый. Вопрос: как заставить агента учить такие уроки сам? И — как потом их дистиллировать, чтобы не раздувать контекст?

🧭 TLDR:
- RL будет давать приросты — оно более “горькое”, но и более leverage‑friendly, чем SFT
- Но это не вся история
- Реальные "S-кривые" могут скрываться в новых парадигмах обучения, которые специфичны для LLM и не похожи на Atari или роботов
- Возможно, "рефлексия → урок → встроенная привычка" — это один из недостающих слоёв в современных системах

#AI #RL #LLM #agenticlearning #meta #reinforcementlearning

@machinelearning_interview
👍2015🔥4🍓3🤪1
Forwarded from Machinelearning
🌟 Mixture-of-Recursions: концепция селективного ризонинга.

Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.

Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.

Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.

Это дает два главных преимущества:

🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений.

🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM.

При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.

▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architecture #MoR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
24👍9🔥5😁4
🧠 Intern-S1 — мощная open-source модель для мультимодальных научных задач

Команда InternLM представила Intern-S1 — продвинутую модель, способную обрабатывать и текст, и изображения, включая научные данные.

Что под капотом:
– Языковая модель 235B (MoE) + визуальный энкодер 6B
– Предобучена на 5 триллионах токенов, больше половины — научные данные
– Понимает молекулярные формулы, белковые последовательности, сейсмические сигналы — благодаря динамическому токенизатору
– Сопоставима по качеству с закрытыми коммерческими моделями в научных бенчмарках

🤗 HuggingFace: https://huggingface.co/internlm/Intern-S1-FP8
💻 GitHub: https://github.com/InternLM/Intern-S1
🌐 Онлайн-демо: https://chat.intern-ai.org.cn

@machinelearning_interview

#ml #ai #Intern
23🔥9👍6😁2👨‍💻2