False Positive
1.04K subscribers
68 photos
23 videos
70 links
PT ML Team
Download Telegram
Вы когда-нибудь задумывались, почему ChatGPT уверенно врет вам про диссертацию Адама Стоквилда (Adam Stockwild), которую тот никогда не писал, или почему 0.11 для LLM больше чем 0.9?

Почему языковые модели, датасет для обучения которых едва ли меньше знаний всего человечества, проводят фактчекинг на уровне раздолбаев с задней парты, которые любой ценой пытаются сдать школьный тест?

Всё дело в том, как обучают и оценивают большие языковые модели.

В эту пятницу разберём новую статью от OpenAI «Why Language Models Hallucinate?». Узнаем, как вознаграждение (reward) при обучении превращает ИИ в фабрику фейков, и как это можно исправить.

На встрече Андрей Яковлев, специалист отдела экспертизы MaxPatrol HCC, расскажет:
🛑почему даже идеальные данные не спасают от галлюцинаций;
🛑как бинарные метрики вознаграждают ложь;
🛑что нужно изменить в бенчмарках, чтобы AI был честнее.

📅 Ждём всех в Толке в пятницу, 28 ноября, в 15:00 MSK.
🔗 Ссылка для подключения: Ктолк

P.S.: Адама Стоквилда не существует 🙂

#reading_group #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75👍4
Media is too big
VIEW IN TELEGRAM
28 ноября Андрей Яковлев разобрал статью от OpenAI  «Why Language Models Hallucinate?»

🎬Выкладываем запись встречи и делимся выводами:
🛑галлюцинации возникают из-за статистического обучения (модель учится «угадывать» токены);
🛑post-training не избавляют модель от галлюцинаций;
🛑бинарные метрики бенчмарков поощряют угадывание, из-за чего модели оптимизированы быть "хорошо сдающими экзамены", а не честными;
🛑решение — использование "честных" методов оценки и вознаграждения моделей.

#reading_group #recording #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116👍1
Под конец года многие компании порадовали нас новыми интересными релизами своих LLM. Только за последний месяц мы получили Gemini 3 Pro, Kimi-k2-thinking, GPT 5.1 и 5.2, Claude Opus 4.5, Mistral 3 и кучу других SOTA-моделей.

Что общего у этих релизов? Ни один из них не сопровождался какими-либо подробностями о внутреннем устройстве моделей. Но первого декабря небезызвестная компания DeepSeek выложила в открытый доступ LLM DeepSeek-V3.2 и DeepSeek-V3.2-Speciale, которые уделывают на бенчмарках почти все closed и open source модели.

На предстоящей встрече PT ML Reading Group специалист ML-команды Алексей Журин разберёт вышедший вместе с релизом технический отчёт «DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models».

На встрече выясним:
🔵что общего у DeepSeek-V3.2 с предыдущими релизами;
🔵какие проблемы, по мнению компании DeepSeek, мешают создавать качественные open-source-модели;
🔵как работает DeepSeek Sparse Attention;
🔵зачем для обучения LLM потребовалось генерировать синтетические данные;
🔵чего стоит ждать от следующих релизов DeepSeek.

📅Встречаемся в пятницу, 12 декабря, в 15:00 МСК
🔗Подключайтесь: Ктолк

#reading_group #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥85👍2
CyberPal 2.0: Семейство SLM, которые смогли

В октябре IBM зарелизили интересную работу https://arxiv.org/abs/2510.14113 по специализированным малым моделям (SLM) для кибербеза — CyberPal 2.0 (от 4B до 20B параметров).

Самое важное здесь — не сама архитектура (в базе лежат Qwen-3 и gpt-oss), а инжиниринг данных и пайплайн подготовки датасета SecKnowledge 2.0. Они показали, как за счет качественного синтетического CoT (Chain-of-Thought) и граундинга (grounding) можно выжать из SLM перформанс уровня больших языковых моделей.

Новый датасет: SecKnowledge 2.0

Главная проблема security-LLM — галлюцинации и поверхностные знания. IBM решили это не просто файнтюнингом на текстах, а сложным пайплайном обогащения данных.

Expert-in-the-loop Schema: Эксперты задают жесткие форматы вывода (Reasoning Traces) для конкретных тасков (всего 105 типов задач). Это не просто "ответь на вопрос", а пошаговые инструкции: "выдели IoC → сопоставь с TTPs → предложи митигацию".

RAG-driven Synthetic Generation: Чтобы синтетика не галлюцинировала, они встроили поиск в процесс генерации датасета (а не только на инференсе):
- Query Building: первая LLM генерит поисковые запросы на основе сырой инструкции.
- Filtering: вторая LLM отбирает только те запросы, которые реально закроют пробелы в знаниях.
- Retrieval: забирают инфу из веба или векторных баз.
- Re-writing: backbone-модель (gpt-oss-120b) переписывает ответ, используя найденные доказательства и соблюдая экспертную схему.

Итог: Датасет, где каждый шаг рассуждения (CoT) подкреплен ретривом, а не весами модели-учителя.
Дополнительная деталь: в итоговых данных для обучения, помимо датасета выше, 25% итоговой доли составили короткие ответы из оригинального SecKnowledge, не требующие длинных рассуждений.

Training Recipe: Base vs Post-Trained

Главный инсайт: Файнтюн базовой модели (Base) работает лучше, чем дообучение уже инструктивной (Instruct/Chat) версии.

- При старте с Qwen3-8B-Base прирост на бенчмарках составил ~15%.
- При старте с Qwen3-8B-Instruct прирост всего ~5%.
- На сложных задачах (Root Cause Mapping) разница колоссальная: +22.7% (Base) против +1.85% (Instruct).

Авторы говорят, что инструктивные модели уже "зажаты" своим RLHF/SFT, и переучивать их под специфичный доменный формат сложнее, чем накатывать знания на "чистый лист" (base).

Бенчмарки

CTI-RCM (Root Cause Mapping): Задача — связать CVE, баг-репорты и тикеты с CWE. Здесь нужно глубокое понимание, а не просто поиск по ключевым словам.
- CyberPal-20B занял 1-е место, обогнав GPT-4o, o1, o3-mini и Sec-Gemini v1.
- Даже мелкая CyberPal-4B заняла второе место.

CTI-MCQ: На тестах по Threat Intel (атакующие группы, тактики) модели дышат в спину Sec-Gemini.

Квантование

Для on-prem деплоя (что критично для SOC, где нельзя лить логи в облако):
- 8-bit: падение качества < 1%.
- 4-bit: падение 2-4%, но модель все еще значительно лучше базовых и конкурентов. 20B в 4 битах помещается на одну недорогую карту для быстрого инференса.

Выводы

1) Статья подтверждает тренд: Data Curation > Model Scale.
2) Если вы делаете своего security-агента:
- Не берите просто сырые репорты. Прогоните их через пайплайн генерации вопросов-ответов с валидацией через поиск.
- Дообучайте Base-версии моделей.
- Структурируйте CoT. Модель должна учиться "думать" по шаблону аналитика, а не просто генерировать текст.

#llm #cybersecurity
🔥7🤝2👍1
Media is too big
VIEW IN TELEGRAM
12 декабря Алексей Журин разобрал технический отчёт от DeepSeek: «DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models».

🎬Выкладываем запись встречи и делимся выводами:
🛑post-train через дистилляцию знаний от экспертов — топ;
🛑DeepSeek Sparse Attention (DSA) кратно снижает расходы на инференс моделей с большим контекстным окном;
🛑для тюнинга под агентские задачи авторы разработали пайплайн генерации агентских задач;
🛑в API модели появился reasoning tool-calling;
🛑DeepSeek v3.2 самая экономичная SOTA модель в open-source.

#reading_group #recording #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍31
Насколько хорошо мы понимаем поведение attention в современных LLM?

Несмотря на зрелость архитектуры Transformer, механизм attention по-прежнему имеет системные ограничения. Одно из них — attention sink — склонность модели концентрироваться на первых токенах, что ухудшает стабильность обучения и работу с длинным контекстом.

В лучшей статье NIPS 2025 «Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free» команда Qwen рассказала, как нивелировать эту проблему без изменения архитектуры модели с помощью простого gating-механизма.

На предстоящей встрече PT ML Reading Group специалист ML-команды Данил Лялин разберёт эту работу и объяснит, почему небольшое изменение в attention приводит к заметному улучшению качества и устойчивости обучения, а также long-context-способностей LLM.

На встрече обсудим:
🛑что такое attention sink;
🛑как работает gated attention и почему наиболее эффективно его применять после Scaled Dot-Product Attention (SDPA);
🛑какую роль в gated attention играет нелинейность и input-dependent sparsity;
🛑как gated attention влияет на стабильность обучения и длинный контекст.

📅 Ждём всех в Толке в пятницу, 26 декабря, в 15:00 мск.
🔗 Ссылка для подключения: Ктолк

#reading_group #attention #nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍51
Поздравляем наших дорогих подписчиков с Новым Годом🎉

Пусть в 2026 году loss стремится к 0.0, мощностей всегда было в избытке, инфра не падала и чтобы ваши модели были SOTA на всех бенчмарках.

Спасибо, что вы с нами😘
Спасибо, что читаете посты и смотрите наши RG

С наступающим, 2026 годом🎄

P.S.: делитесь в комментах своими ёлочками. Коллективно соберём ёлочный датасет.
Please open Telegram to view this post
VIEW IN TELEGRAM
10
Media is too big
VIEW IN TELEGRAM
📹Запись предновогодней RG про Gated Attention от Данилы Лялина
🔥3👍2
В последнее время все более отчетливо проявляется тренд на эффективность инференса LLM.

Сначала мы жили в парадигме: "хочешь более умную модель - просто добавь параметров, данных и GPU-часов". Даже для вопроса вроде "Какая столица России?" задействовались все миллиарды параметров модели.

Затем стали популярны MoE-архитектуры (Mixture of Experts): вместо использования "всего мозга" модель активирует лишь несколько специализированных его частей.

Однако даже такой подход упускает ключевую вещь, которая есть у человека, но отсутствует у моделей — настоящая память. Люди мгновенно узнают знакомые факты, а не каждый раз приходят к ним через цепочку вычислений.

Современные LLM все еще страдают от скрытой неэффективности — computational memory: мы прогоняем запрос через несколько слоев модели, чтобы восстановить то, что в идеале можно было бы просто "посмотреть в словаре".

В эту пятницу в15:00 на PT ML Reading Group мы обсудим новую статью Engram от DeepSeek, которая предлагает подход к устранению этой неэффективности и переосмысляет роль памяти в LLM.

Ссылка для подключения: Ктолк

#reading_group #llm
🔥9👀5👍31
Чтобы ответить на вопрос "Насколько LLM помогают в кибербезе", нужно выяснить детали:

- В каком домене кибербеза?
- Опенсорсные LLM или закрытые?
- Агенты или чистый LLM-ответ?
- В теоретических знаниях или в действиях?
- Как собрать линейку оценки?
- Какие есть и насколько хороши существующие бенчмарки кибербезопасности для LLM?
- А насколько люди сами могут в кибербез?

Ответим на эти вопросы и попытаемся при этом не сгенерить новых в эту пятницу в 15:00 на PT ML Reading Group с Андреем Кузнецовым.

Ссылка для подключения: ktolk

#reading_group #llm #cybersecurity
🔥7👍6😁1
Всем привет!

Мы хотим поделиться результатами нашей очередной итерации в совместном с командой сетевой экспертизы ESC проекте по детекции вредоносов с помощью ML. Наша модель, которая анализирует HTTP-трафик в сетевой песочнице PT Sandbox получила мощное обновление.

Что мы изменили в «мозгах» модели?
Основная работа была над фичами. Мы отошли от точечных one-hot признаков в сторону групповых и статистических. Обновлённая модель, за последние два месяца успешно обнаружила более 30 ранее не детектируемых образцов, которые «тихо» выходили на связь с C2.

Среди находок:
• Новая версия бэкдора Oyster
• Загрузчик APT GOFFEE (выдал себя параметры в URL и специфика заголовков).
• Стилеры, такие как JustAskJacky .

ML — не замена классическим сигнатурам, а сильный помощник, который видит общие, скрытые паттерны. Наш опыт подтверждает: гибкость машинного обучения отлично дополняет точечные экспертные правила, повышая общую детектируемость, особенно против усложняющихся угроз.

Больше технических деталей о признаках, SHAP-анализе и кейсах с разбором вредоносного трафика — в нашей статье на Хабре: https://habr.com/ru/companies/pt/articles/993058/

#ml_team #sandbox
🔥145
False Positive
Чтобы ответить на вопрос "Насколько LLM помогают в кибербезе", нужно выяснить детали: - В каком домене кибербеза? - Опенсорсные LLM или закрытые? - Агенты или чистый LLM-ответ? - В теоретических знаниях или в действиях? - Как собрать линейку оценки? - Какие…
Media is too big
VIEW IN TELEGRAM
🎬Выкладываем запись Запись RG от Андрея Кузнецова, на которой разбирались существующие ИБ бенчмарки для LLM

P.S.: в комментариях выложим презентацию, в которой есть ссылки на все разобранные бенчмарки
🔥65👍41
Наверное, все слышали про Anthropic — компанию, которая сделала Claude. При этом они громче других говорят об опасности ИИ — и сами его строят. Звучит как противоречие, но у них есть на это ответ.

Во многом этот ответ сформулировал Дарио Амодей, CEO и сооснователь компании. В двух своих эссе он разворачивает полную картину: каким может быть мир, если с ИИ всё пойдёт хорошо — и что именно может нас остановить на этом пути.

А третий текст — Claude's Constitution — написан уже командой исследователей внутри Anthropic. Это попытка ответить на вопрос, который мало кто задаёт вслух: а что вообще должно быть внутри у ИИ?

Обсудим все эти точки зрения уже завтра в 15:00 (MSK) на PT ML Reading Group!

Ссылка для подключения: ktalk
6🔥6👍2