Пока OpenAI, Anthropic и Google соревнуются в строительстве дата-центров, бронируют гигаватты энергии и скупают миллионы GPU, назревает не самая очевидная, но фундаментальная проблема. Compute растёт экспоненциально, а вот данных для обучения ИИ становится недостаточно. По оценкам EpochAI, объём вычислений удваивается приблизительно каждые шесть месяцев, тогда как число доступных в Интернете текстов растет лишь на 3% в год.

Что делать, когда данные заканчиваются, а мощности не ограничены?

На ближайшей встрече разберём одну из самых интересных статей года — «Pre-training under Infinite Compute» от Stanford AI Lab. Это исследование предлагает новый взгляд на масштабирование LLM в эпоху, когда compute стремится к бесконечности, а объем данных ограничен.

🧠 Разбор проведёт Степан Кульчицкий, ведущий специалист ML-команды.

Обсудим:
📉 Какие существуют ограничения и недостатки закона масштабирования Chinchilla.
🧪 Как регуляризация и ансамбли спасают от переобучения на одном датасете.
👨‍🍳 Как получать лучшее качество без добавления новых данных.
🔭 Что нас ждет в ближайшем будущем.

📅 Ждём всех в Толке в пятницу, 14 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк

#reading_group #llm #data

Мы стартуем😎

Привет! А вы знаете зачем вообще нужны безопасники, как хакеры достигают целей и как от них защититься? ML-команда «Позитива» едет в Питер, чтобы разобрать настоящую атаку, и рассказать:

— как найти аномалии в потоке легитимных событий;
— почему нельзя обойтись без умного анализа трафика;
— какие модели помогают детектировать вредоносы;
— как помогают защищаться AI-агенты на самом деле.

Специальный гость митапа — Женя Никитин (CTO CelsusAI) расскажет, как масштабировать обучение в условиях ограниченных данных медтеха.

Без записи. Без повторов.

19 ноября, 18:00, Арт-галерея Zarenkov Gallery

Регистрируемся тут

Всем привет!

🎬Выкладываем запись с прошедшей RG с разбором статьи "Pretraining under infinite compute"

#reading_group #llm #data #recording

Мы начинаем обсуждать почему LLM галлюционируют и как с этим бороться☺️

Мы начинаем)

CyberPal 2.0: Семейство SLM, которые смогли

В октябре IBM зарелизили интересную работу https://arxiv.org/abs/2510.14113 по специализированным малым моделям (SLM) для кибербеза — CyberPal 2.0 (от 4B до 20B параметров).

Самое важное здесь — не сама архитектура (в базе лежат Qwen-3 и gpt-oss), а инжиниринг данных и пайплайн подготовки датасета SecKnowledge 2.0. Они показали, как за счет качественного синтетического CoT (Chain-of-Thought) и граундинга (grounding) можно выжать из SLM перформанс уровня больших языковых моделей.

Новый датасет: SecKnowledge 2.0

Главная проблема security-LLM — галлюцинации и поверхностные знания. IBM решили это не просто файнтюнингом на текстах, а сложным пайплайном обогащения данных.

Expert-in-the-loop Schema: Эксперты задают жесткие форматы вывода (Reasoning Traces) для конкретных тасков (всего 105 типов задач). Это не просто "ответь на вопрос", а пошаговые инструкции: "выдели IoC → сопоставь с TTPs → предложи митигацию".

RAG-driven Synthetic Generation: Чтобы синтетика не галлюцинировала, они встроили поиск в процесс генерации датасета (а не только на инференсе):
- Query Building: первая LLM генерит поисковые запросы на основе сырой инструкции.
- Filtering: вторая LLM отбирает только те запросы, которые реально закроют пробелы в знаниях.
- Retrieval: забирают инфу из веба или векторных баз.
- Re-writing: backbone-модель (gpt-oss-120b) переписывает ответ, используя найденные доказательства и соблюдая экспертную схему.

Итог: Датасет, где каждый шаг рассуждения (CoT) подкреплен ретривом, а не весами модели-учителя.
Дополнительная деталь: в итоговых данных для обучения, помимо датасета выше, 25% итоговой доли составили короткие ответы из оригинального SecKnowledge, не требующие длинных рассуждений.

Training Recipe: Base vs Post-Trained

Главный инсайт: Файнтюн базовой модели (Base) работает лучше, чем дообучение уже инструктивной (Instruct/Chat) версии.

- При старте с Qwen3-8B-Base прирост на бенчмарках составил ~15%.
- При старте с Qwen3-8B-Instruct прирост всего ~5%.
- На сложных задачах (Root Cause Mapping) разница колоссальная: +22.7% (Base) против +1.85% (Instruct).

Авторы говорят, что инструктивные модели уже "зажаты" своим RLHF/SFT, и переучивать их под специфичный доменный формат сложнее, чем накатывать знания на "чистый лист" (base).

Бенчмарки

CTI-RCM (Root Cause Mapping): Задача — связать CVE, баг-репорты и тикеты с CWE. Здесь нужно глубокое понимание, а не просто поиск по ключевым словам.
- CyberPal-20B занял 1-е место, обогнав GPT-4o, o1, o3-mini и Sec-Gemini v1.
- Даже мелкая CyberPal-4B заняла второе место.

CTI-MCQ: На тестах по Threat Intel (атакующие группы, тактики) модели дышат в спину Sec-Gemini.

Квантование

Для on-prem деплоя (что критично для SOC, где нельзя лить логи в облако):
- 8-bit: падение качества < 1%.
- 4-bit: падение 2-4%, но модель все еще значительно лучше базовых и конкурентов. 20B в 4 битах помещается на одну недорогую карту для быстрого инференса.

Выводы

1) Статья подтверждает тренд: Data Curation > Model Scale.
2) Если вы делаете своего security-агента:
- Не берите просто сырые репорты. Прогоните их через пайплайн генерации вопросов-ответов с валидацией через поиск.
- Дообучайте Base-версии моделей.
- Структурируйте CoT. Модель должна учиться "думать" по шаблону аналитика, а не просто генерировать текст.

#llm #cybersecurity