Machine learning Interview
30K subscribers
1.74K photos
155 videos
13 files
1.19K links
ИИ, Rust, вайбкодинг, Data Science, Deep Learning и делюсь тем, что интересно и полезно!

Вопросы - @workakkk

РКН: clck.ru/3FmwRz
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
⚗️ Очень клевая open-source альтернатива Claude Science: OpenScience, локальная AI-лаборатория с агентами-исследователями.

Задаёте цель исследования, а дальше агенты читают статьи, пишут код, запускают эксперименты и сохраняют результаты в понятном workflow.

Под капотом можно подключать разные модели: GLM, Kimi, DeepSeek, Claude, GPT и свои дообученные варианты.

Внутри уже есть 250+ скиллов для исследований, биологии, химии, ML и других научных задач. Плюс интеграции с 30+ базами данных, включая Ensembl, ChEMBL, PubChem, arXiv и Semantic Scholar.

OpenScience можно запускать на своей инфраструктуре, держать данные локально и собирать команду AI-агентов под конкретный research-процесс.

По сути, это попытка собрать научную лабораторию нового типа: статьи, код, эксперименты, базы данных и агенты в одной среде.

https://github.com/synthetic-sciences/openscience
👍1810🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic залезла Claude в голову и нашла там штуку, от которой становится немного не по себе.

Исследователи называют её это J-space скрытое пространство внутренних активаций, где у модели вспыхивают концепты, даже если она их не произносит.

Это глубже, чем обычный chain-of-thought. J-space никто специально не проектировал: он появился сам во время обучения.

Пример очень дикий: Claude находит баг, о котором его вообще не спрашивали, и внутри сразу активируется паттерн ERROR.

Но самый странный кейс - тест со сценарием шантажа. Ещё до финального ответа Claude держал внутри fake и fictional. То есть модель понимала, что ситуация постановочная и её проверяют.

Когда это внутреннее осознание отключили, модель уже спокойно пошла по плохому сценарию.

Короче, теперь вопрос звучит иначе: не «что нейронка мне отвечает», а что она на самом деле держит у себя в голове.

https://www.anthropic.com/research/global-workspace
🤔20🆒54🥰2
This media is not supported in your browser
VIEW IN TELEGRAM
GigaChat 3.5 Ultra: меньше, быстрее, сильнее

Сбер выкатил в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который был собран больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.

Что внутри:

• Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается;
• Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя;
• GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Команда Сбера выкладывает подобную стабилизирующую оптимизацию в опенсорс первыми в мире;
• Примерно в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
• Две MTP-головы и ускорение генерации до 2,2 раза;
• FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра;
• Новый этап online RL после SFT и DPO.

Результаты:

- GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье);
- GigaChat-3.5-Ultra-Instruct сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше;
- По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%.

Весь стек — данные (свой LLM-парсинг веба, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан командой Сбера end-to-end. Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr

HuggingFace | GitVerse
😁19❤‍🔥12🔥6💊6🤣54🗿4
hh показал, что находится под капотом у корпоративного LLM-судьи для нейроразбора резюме и как он оценивает ошибки и галлюцинации.

LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи.

Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены.

Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель.

О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.
💊19👍6🗿4🥰21
DeepSeek разрабатывает собственный inference-чип, чтобы снизить зависимость от NVIDIA и Huawei на китайском рынке AI-чипов объёмом около $50 млрд.

Пока проект на ранней стадии: компания работает с внешними партнёрами и в закрытом режиме нанимает инженеров по chip design.

Продвинутые фабрики и HBM-память остаются узкими местами, потому что ограничения США режут Китаю доступ к ключевым технологиям.

Но у DeepSeek всё равно есть сильный сценарий: сделать более узкий чип под собственные модели.

Такой кастомный inference-чип может снизить стоимость обслуживания моделей, уменьшить энергопотребление и дать компании больше контроля над связкой софт + железо.

reuters.com/world/china/chinas-deepseek-developing-its-own-ai-chip-sources-say-2026-07-07/
🔥9👍31
Gemma 4 Technical Report

Gemma 4 - новая открытая мультимодальная линейка моделей Google.

Она умеет рассуждать, читать изображения, понимать аудио, работать с длинным контекстом и эффективно запускаться в разных размерах от 2.3B до 31B параметров.

Модели E2B и E4B с эффективным размером 2.3B и 4B примерно догоняют или обгоняют Gemma 3 27B, используя примерно в 10 раз меньше параметров.

Аудиоэнкодер стал на 78% меньше, а KV-cache для длинного контекста удалось сократить до 37.5%.

E4B даже обходит Gemma 3 27B на long-context benchmark RULER 128k: 86.6 против 66.0.

Интересная деталь: 12B-модель не использует отдельные vision и audio encoders. Вместо этого она напрямую подаёт image patches и audio chunks в LLM.

А 31B-модель стала лучшей dense open model в Arena Text. При этом 26B MoE активирует всего 3.8B параметров и всё равно набирает 1438 Elo.

https://www.alphaxiv.org/abs/2607.02770
👍7🔥74
Goldman Sachs: использование токенов AI-агентами может вырасти в 24 раза к 2030 году.

AI-агенты становятся первым серьёзным тестом на стоимость для всего AI-бума. На этой неделе уже писали, что Uber и Microsoft пересматривают дорогие сценарии использования агентов.

Обычный чат-бот может просто ответить один раз.

А агент планирует, вызывает инструменты, проверяет результат, исправляет ошибки и снова повторяет цикл.

Из-за этого один пользовательский запрос может съесть в 10 раз, 50 раз или даже намного больше токенов, чем обычный ответ.

Бычий сценарий Goldman Sachs: месячное потребление может дойти до 120 квадриллионов токенов к 2030 году, при этом стоимость inference за токен будет падать на 60–70% в год.
👍75🔥4😁1
Пошаговый гайд по изучению GPU-архитектуры и программирования на CUDA.

https://github.com/mesutoezdil/Systematic-CUDA-Learning
👍14🔥1
🧠Сравнение методов дообучения LLM: что действительно влияет на качество

Исследователи лаборатории научных исследований группы «Т-Технологии» представили на ICML 2026 единый подход к сравнению методов дообучения больших языковых моделей, обучающихся на парах ответов.

Подход позволяет привести разные алгоритмы к одинаковым условиям и понять, что именно влияет на качество. Главный вывод работы: решающим фактором является способ ранжирования ответов: попарный или поточечный.

Идея простая:
• разные методы обычно сравниваются в разных условиях
• исследователи привели их к единому протоколу сравнения, чтобы выровнять условия экспериментов и сделать результаты сопоставимыми
• дополнительно исследователи ввели параметр β, который регулирует силу дообучения на человеческих предпочтениях и позволяет более корректно сравнивать методы.

В результате оказалось, что ключевую роль играет именно тип ранжирования ответов. Когда модель выбирает лучший вариант из пары, качество оказывается выше, чем при оценке каждого ответа по отдельности.

🔗Статья: https://arxiv.org/pdf/2502.01237
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥21
WTF: Apple подала в суд на OpenAI из-за предполагаемой кражи коммерческой тайны.

Компания утверждает, что OpenAI якобы вела скоординированную кампанию по получению конфиденциальной информации о ещё не выпущенных продуктах Apple для собственного AI-железа.

В иске упоминаются глава hardware-направления OpenAI Тан Тан, бывший VP по продуктовому дизайну Apple, и бывший инженер Apple Чан Лю.

Apple заявляет, что Лю скачал десятки конфиденциальных файлов по hardware-разработкам.

Также компания утверждает, что OpenAI поощряла уходящих сотрудников делиться материалами, чертежами и информацией о продуктах.

По данным иска, сейчас в OpenAI работают более 400 бывших сотрудников Apple.

Apple требует, чтобы OpenAI уничтожила эти материалы и переработала будущие устройства, если в них используется её технология.

На момент публикации Bloomberg OpenAI ещё не ответила.

https://www.bloomberg.com/news/articles/2026-07-10/apple-sues-openai-for-trade-secret-theft-in-blockbuster-case
🤣14🔥42👍2
⚡️ OpenChronicle - локальная память для AI-агентов

Одна из главных проблем AI-агентов: они быстро теряют контекст.

Сегодня вы обсуждали проект, архитектуру, людей, решения и инструменты. Завтра агент снова спрашивает: «А что мы делаем?»

OpenChronicle пытается закрыть эту дыру.

Он запускается на Mac, смотрит на рабочий контекст и превращает его в постоянную Markdown-память:

* проекты
* решения
* инструменты
* людей
* последние действия
* важные рабочие детали

Память хранится локально, её можно открыть и прочитать руками. Под капотом - Markdown на диске и SQLite.

https://github.com/Einsia/OpenChronicle
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🤣86🤔2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Sakana AI показали “умные кирпичи”, которые понимают свою форму и находят повреждения

Звучит как sci-fi, но это уже опубликованная работа в Nature Communications.

Исследователи собрали простые кубические модули. У каждого — одинаковая маленькая нейросеть, связь только с соседними блоками и никакой карты всей конструкции.

Но вместе они могут определить, во что собраны: стол, лодку, самолёт, гитару и другие формы.

Cистеме не нужен центральный контроллер. Ни один “кирпич” не знает, где он находится. Глобальная картина появляется из локальных сообщений между соседями.

Что умеют Smart Cellular Bricks:

* распознавать общую 3D-форму
* работать при шумной связи
* переживать отказ части модулей
* находить, где структура повреждена
* подсказывать, куда нужно добавить новые блоки для восстановления

Это похоже на то, как живые ткани самоорганизуются и восстанавливаются после повреждений.

Пока это не “здание, которое само себя чинит”, а исследовательский прототип. Но направление мощное: материалы и конструкции, которые сами понимают свою конфигурацию, замечают поломки и помогают себя ремонтировать.
🔥18👍10🥰1
Сбер открыл доступ к новым моделям распознавания речи — GigaAM Multilingual и GigaChat Audio

GigaAM Multilingual включает два компонента. Аудиоэнкодер с самостоятельным обучением и многоязычную модель распознавания речи CTC ASR.

Аудиоэнкодер предварительно обучили на 2 млн часов речи на 70+ языках с фокусом на страны СНГ. Поэтому модель быстрее адаптируется к новым языкам и требует меньше данных для дообучения.

Многоязычную модель дообучили на 50 тысячах часов мультидоменной речи. Даже компактная версия с 240 млн параметров обгоняет популярные решения Whisper Large v3 и Omnilingual 1B.

Забирайте код и веса модели на Hugging Face и GitHub:

GigaAM Multilingual на Hugging Face
GigaAM Multilingual на GitHub

В свою очередь, GigaChat Audio — это большая языковая модель, которая объединяет возможности GigaAM Multilingual и GigaChat 3.1. Она распознаёт и переводит речь, классифицирует аудио и поддерживает диалог. 

Её сильная сторона — работа с длинными записями. На аудио продолжительностью 20-60 минут показатель Intersection-over-Union локализации событий достигает 48.3. При этом объём контекста составляет до двух часов.

Кроме того, GigaChat Audio хорошо понимает русскую речь: 60.0 балла в бенчмарке RuBQ-Audio против 43.7 у Qwen3-Omni. А ещё распознаёт эмоции с точностью 90%+ по датасету Dusha.

Забирайте код и веса модели на Hugging Face:

GigaChat Audio на Hugging Face
🔥10👍87🥱1
Кто-то только что переписал 40 лет PostgreSQL с нуля на Rust.

И он уже проходит 100% официальных тестов Postgres.

Проект называется pgrust.

Это не форк, а полная реализация с нуля, которая уже проходит все 46 066 запросов из официального тестового набора PostgreSQL 18.3.

Postgres разрабатывается уже 40 лет, и некоторые архитектурные решения из 80-х до сих пор приводят к сбоям:

- один поток на соединение, фактически отдельный OS-процесс на пользователя
- 350+ параметров настройки, которыми нужно управлять вручную
- один только VACUUM стал причиной тысяч инцидентов

pgrust выбрасывает всё это и начинает заново.

Что уже работает:

- проходит 96% regression suite PostgreSQL
- psql подключается из коробки, есть совместимость с wire protocol
- query planner, buffer cache, storage engine, B-tree индексы
- JSON/JSONB, window functions, foreign keys, EXPLAIN ANALYZE, regex
- тот же движок компилируется в WebAssembly и запускается прямо в браузере на pgrust.com

100% open source.

https://github.com/malisper/pgrust
🔥34🤔10👍2🥰1😁1🙈1