False Positive
Насколько хорошо мы понимаем поведение attention в современных LLM? Несмотря на зрелость архитектуры Transformer, механизм attention по-прежнему имеет системные ограничения. Одно из них — attention sink — склонность модели концентрироваться на первых токенах…
Мы начинаем заключительную в 2025 году RG🎄
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Поздравляем наших дорогих подписчиков с Новым Годом🎉
Пусть в 2026 году loss стремится к 0.0, мощностей всегда было в избытке, инфра не падала и чтобы ваши модели были SOTA на всех бенчмарках.
Спасибо, что вы с нами😘
Спасибо, что читаете посты и смотрите наши RG
С наступающим, 2026 годом🎄
P.S.: делитесь в комментах своими ёлочками. Коллективно соберём ёлочный датасет.
Пусть в 2026 году loss стремится к 0.0, мощностей всегда было в избытке, инфра не падала и чтобы ваши модели были SOTA на всех бенчмарках.
Спасибо, что вы с нами😘
Спасибо, что читаете посты и смотрите наши RG
С наступающим, 2026 годом
P.S.: делитесь в комментах своими ёлочками. Коллективно соберём ёлочный датасет.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10
Media is too big
VIEW IN TELEGRAM
📹Запись предновогодней RG про Gated Attention от Данилы Лялина
🔥3👍2
В последнее время все более отчетливо проявляется тренд на эффективность инференса LLM.
Сначала мы жили в парадигме: "хочешь более умную модель - просто добавь параметров, данных и GPU-часов". Даже для вопроса вроде "Какая столица России?" задействовались все миллиарды параметров модели.
Затем стали популярны MoE-архитектуры (Mixture of Experts): вместо использования "всего мозга" модель активирует лишь несколько специализированных его частей.
Однако даже такой подход упускает ключевую вещь, которая есть у человека, но отсутствует у моделей — настоящая память. Люди мгновенно узнают знакомые факты, а не каждый раз приходят к ним через цепочку вычислений.
Современные LLM все еще страдают от скрытой неэффективности — computational memory: мы прогоняем запрос через несколько слоев модели, чтобы восстановить то, что в идеале можно было бы просто "посмотреть в словаре".
В эту пятницу в15:00 на PT ML Reading Group мы обсудим новую статью Engram от DeepSeek, которая предлагает подход к устранению этой неэффективности и переосмысляет роль памяти в LLM.
Ссылка для подключения: Ктолк
#reading_group #llm
Сначала мы жили в парадигме: "хочешь более умную модель - просто добавь параметров, данных и GPU-часов". Даже для вопроса вроде "Какая столица России?" задействовались все миллиарды параметров модели.
Затем стали популярны MoE-архитектуры (Mixture of Experts): вместо использования "всего мозга" модель активирует лишь несколько специализированных его частей.
Однако даже такой подход упускает ключевую вещь, которая есть у человека, но отсутствует у моделей — настоящая память. Люди мгновенно узнают знакомые факты, а не каждый раз приходят к ним через цепочку вычислений.
Современные LLM все еще страдают от скрытой неэффективности — computational memory: мы прогоняем запрос через несколько слоев модели, чтобы восстановить то, что в идеале можно было бы просто "посмотреть в словаре".
В эту пятницу в15:00 на PT ML Reading Group мы обсудим новую статью Engram от DeepSeek, которая предлагает подход к устранению этой неэффективности и переосмысляет роль памяти в LLM.
Ссылка для подключения: Ктолк
#reading_group #llm
🔥9👀5👍3❤1
False Positive
В последнее время все более отчетливо проявляется тренд на эффективность инференса LLM. Сначала мы жили в парадигме: "хочешь более умную модель - просто добавь параметров, данных и GPU-часов". Даже для вопроса вроде "Какая столица России?" задействовались…
Media is too big
VIEW IN TELEGRAM
📹Запись RG от Дани Семенова про то как DeepSeek придумал вставить память в LLM
👍3✍2
Чтобы ответить на вопрос "Насколько LLM помогают в кибербезе", нужно выяснить детали:
- В каком домене кибербеза?
- Опенсорсные LLM или закрытые?
- Агенты или чистый LLM-ответ?
- В теоретических знаниях или в действиях?
- Как собрать линейку оценки?
- Какие есть и насколько хороши существующие бенчмарки кибербезопасности для LLM?
- А насколько люди сами могут в кибербез?
Ответим на эти вопросы и попытаемся при этом не сгенерить новых в эту пятницу в 15:00 на PT ML Reading Group с Андреем Кузнецовым.
Ссылка для подключения: ktolk
#reading_group #llm #cybersecurity
- В каком домене кибербеза?
- Опенсорсные LLM или закрытые?
- Агенты или чистый LLM-ответ?
- В теоретических знаниях или в действиях?
- Как собрать линейку оценки?
- Какие есть и насколько хороши существующие бенчмарки кибербезопасности для LLM?
Ответим на эти вопросы и попытаемся при этом не сгенерить новых в эту пятницу в 15:00 на PT ML Reading Group с Андреем Кузнецовым.
Ссылка для подключения: ktolk
#reading_group #llm #cybersecurity
🔥7👍6😁1
Всем привет!
Мы хотим поделиться результатами нашей очередной итерации в совместном с командой сетевой экспертизы ESC проекте по детекции вредоносов с помощью ML. Наша модель, которая анализирует HTTP-трафик в сетевой песочнице PT Sandbox получила мощное обновление.
Что мы изменили в «мозгах» модели?
Основная работа была над фичами. Мы отошли от точечных one-hot признаков в сторону групповых и статистических. Обновлённая модель, за последние два месяца успешно обнаружила более 30 ранее не детектируемых образцов, которые «тихо» выходили на связь с C2.
Среди находок:
• Новая версия бэкдора Oyster
• Загрузчик APT GOFFEE (выдал себя параметры в URL и специфика заголовков).
• Стилеры, такие как JustAskJacky .
ML — не замена классическим сигнатурам, а сильный помощник, который видит общие, скрытые паттерны. Наш опыт подтверждает: гибкость машинного обучения отлично дополняет точечные экспертные правила, повышая общую детектируемость, особенно против усложняющихся угроз.
Больше технических деталей о признаках, SHAP-анализе и кейсах с разбором вредоносного трафика — в нашей статье на Хабре: https://habr.com/ru/companies/pt/articles/993058/
#ml_team #sandbox
Мы хотим поделиться результатами нашей очередной итерации в совместном с командой сетевой экспертизы ESC проекте по детекции вредоносов с помощью ML. Наша модель, которая анализирует HTTP-трафик в сетевой песочнице PT Sandbox получила мощное обновление.
Что мы изменили в «мозгах» модели?
Основная работа была над фичами. Мы отошли от точечных one-hot признаков в сторону групповых и статистических. Обновлённая модель, за последние два месяца успешно обнаружила более 30 ранее не детектируемых образцов, которые «тихо» выходили на связь с C2.
Среди находок:
• Новая версия бэкдора Oyster
• Загрузчик APT GOFFEE (выдал себя параметры в URL и специфика заголовков).
• Стилеры, такие как JustAskJacky .
ML — не замена классическим сигнатурам, а сильный помощник, который видит общие, скрытые паттерны. Наш опыт подтверждает: гибкость машинного обучения отлично дополняет точечные экспертные правила, повышая общую детектируемость, особенно против усложняющихся угроз.
Больше технических деталей о признаках, SHAP-анализе и кейсах с разбором вредоносного трафика — в нашей статье на Хабре: https://habr.com/ru/companies/pt/articles/993058/
#ml_team #sandbox
Хабр
Трафик под микроскопом: ML‑модель в поиске новых сетевых «отпечатков» вредоносов
Оглавление Краткое введение: основные изменения в ML модель Разбор обновленных признаков на примерах Пример 1. Признак для Content‑Type Пример 2. Признак для User‑Agent Прочие...
🔥14❤5
False Positive
Чтобы ответить на вопрос "Насколько LLM помогают в кибербезе", нужно выяснить детали: - В каком домене кибербеза? - Опенсорсные LLM или закрытые? - Агенты или чистый LLM-ответ? - В теоретических знаниях или в действиях? - Как собрать линейку оценки? - Какие…
Media is too big
VIEW IN TELEGRAM
🎬Выкладываем запись Запись RG от Андрея Кузнецова, на которой разбирались существующие ИБ бенчмарки для LLM
P.S.: в комментариях выложим презентацию, в которой есть ссылки на все разобранные бенчмарки
P.S.: в комментариях выложим презентацию, в которой есть ссылки на все разобранные бенчмарки
🔥6❤5👍4✍1
Наш коллега из PT ESC написал целый детектив о том, как ему почти удалось остаться незамеченным, имитируя атакующие действия внутри инфраструктуры Позитива, но в конечном счете был пойман ML-алгоритмами.
https://www.securitylab.ru/analytics/569272.php
https://www.securitylab.ru/analytics/569272.php
SecurityLab.ru
Инсайдеры? Нет, спасибо. ML ловит не ярлыки, а злоумышленников
Здравствуйте, друзья! Меня зовут Алексей Потапов, и я ведущий эксперт PT ESC в Positive Technologies. Сегодня, когда индустрия безопасности наводнена маркетинговыми терминами и попытками перекроить старые проблемы под новые модные ярлыки, важно говорить о…
👍10❤7🔥6
Наверное, все слышали про Anthropic — компанию, которая сделала Claude. При этом они громче других говорят об опасности ИИ — и сами его строят. Звучит как противоречие, но у них есть на это ответ.
Во многом этот ответ сформулировал Дарио Амодей, CEO и сооснователь компании. В двух своих эссе он разворачивает полную картину: каким может быть мир, если с ИИ всё пойдёт хорошо — и что именно может нас остановить на этом пути.
А третий текст — Claude's Constitution — написан уже командой исследователей внутри Anthropic. Это попытка ответить на вопрос, который мало кто задаёт вслух: а что вообще должно быть внутри у ИИ?
Обсудим все эти точки зрения уже завтра в 15:00 (MSK) на PT ML Reading Group!
Ссылка для подключения: ktalk
Во многом этот ответ сформулировал Дарио Амодей, CEO и сооснователь компании. В двух своих эссе он разворачивает полную картину: каким может быть мир, если с ИИ всё пойдёт хорошо — и что именно может нас остановить на этом пути.
А третий текст — Claude's Constitution — написан уже командой исследователей внутри Anthropic. Это попытка ответить на вопрос, который мало кто задаёт вслух: а что вообще должно быть внутри у ИИ?
Обсудим все эти точки зрения уже завтра в 15:00 (MSK) на PT ML Reading Group!
Ссылка для подключения: ktalk
❤6🔥6👍2
28-30 мая пройдет Phdays.
Это самое масштабное событие года, посвященное кибербезу. В этот раз будет еще больше AI/ML — мы собираем 2 трека:
• AI/ML track. В первый день фестиваля, самый сок про то как использовать модельки для решения задач кибербеза.
• AI security track. Во второй день фестиваля будем говорить про безопасный AI. Pwn этих ваших clawdbot'ов и прочие интересности присылайте сюда.
Заявки на cfp подаем на https://cfp.phdays.com/phd-2026/cfp до 9 марта.
Это самое масштабное событие года, посвященное кибербезу. В этот раз будет еще больше AI/ML — мы собираем 2 трека:
• AI/ML track. В первый день фестиваля, самый сок про то как использовать модельки для решения задач кибербеза.
• AI security track. Во второй день фестиваля будем говорить про безопасный AI. Pwn этих ваших clawdbot'ов и прочие интересности присылайте сюда.
Заявки на cfp подаем на https://cfp.phdays.com/phd-2026/cfp до 9 марта.
🔥14❤6👍3
Forwarded from Positive Technologies
Всем привет!
Следующий Positive Hack Days Fest пройдет в 2027 году, в этом году киберфестиваля не будет.
Почему мы приняли такое решение
Каждый новый PHDays — это вызов для всей нашей команды: сделать его круче, чем он был годом ранее.
Этот PHDays должен был стать 15-м по счету — юбилейным, и поэтому он особенно важен для нас.
Во время подготовки возникли сложности с местом его проведения — в связи с реконструкцией «Лужников» и всех крупных парков, которые могли бы нас принять. Это не позволило бы нам построить все те тематические зоны и полноценно воплотить идеи, которые мы для вас подготовили.
Мы изучили все возможности, но поняли, что в этих условиях сделать великолепно не получится, а на меньшее мы не готовы. Поэтому мы решили взять перерыв и провести юбилейный PHDays в 2027 году — на новой площадке, независимо от внешних факторов. И сделать его таким, каким мы и задумываем.
Спасибо за понимание, ваша команда @PHDays.
@Positive_Technologies
Следующий Positive Hack Days Fest пройдет в 2027 году, в этом году киберфестиваля не будет.
Почему мы приняли такое решение
Каждый новый PHDays — это вызов для всей нашей команды: сделать его круче, чем он был годом ранее.
Этот PHDays должен был стать 15-м по счету — юбилейным, и поэтому он особенно важен для нас.
Во время подготовки возникли сложности с местом его проведения — в связи с реконструкцией «Лужников» и всех крупных парков, которые могли бы нас принять. Это не позволило бы нам построить все те тематические зоны и полноценно воплотить идеи, которые мы для вас подготовили.
Мы изучили все возможности, но поняли, что в этих условиях сделать великолепно не получится, а на меньшее мы не готовы. Поэтому мы решили взять перерыв и провести юбилейный PHDays в 2027 году — на новой площадке, независимо от внешних факторов. И сделать его таким, каким мы и задумываем.
Спасибо за понимание, ваша команда @PHDays.
@Positive_Technologies
💔12😢6❤2😭1
Всем привет!
На ближайшем reading group разберём статью HyCo2 — про гибридное сжатие контекста для LLM.
Обсудим:
- как совместить “мягкую память” и “жёсткий отбор фактов”, чтобы читать меньше токенов, но не терять качество
- почему не получается нормально учить end-to-end и зачем 3-стадийное обучение
- что показывают на QA бенчмарках и как метод ведёт себя при росте числа документов
Если хотите — кидайте вопросы заранее в комментарии 👇
А встречаемся уже завтра в 15:00 по МСК вот тут 👉 ссылка
На ближайшем reading group разберём статью HyCo2 — про гибридное сжатие контекста для LLM.
Обсудим:
- как совместить “мягкую память” и “жёсткий отбор фактов”, чтобы читать меньше токенов, но не терять качество
- почему не получается нормально учить end-to-end и зачем 3-стадийное обучение
- что показывают на QA бенчмарках и как метод ведёт себя при росте числа документов
Если хотите — кидайте вопросы заранее в комментарии 👇
А встречаемся уже завтра в 15:00 по МСК вот тут 👉 ссылка
❤8👍6🔥3👏2
В эти выходные мы рады поделиться с вами анонсом!
False Positive Community - первый хаб из Москвы на международном соревновании агентских систем BitGN Agent Challenge!💥
BitGN Agent Challenge: Personal & Trustworthy - это челлендж по созданию персональных и надежных автономных агентов.
Отличительная особенность соревнований Рината (организатор BitGN и автор канала LLM под капотом) - это акцент на надежность и воспроизводимость агентских систем. Делая упор на доменную адаптацию и четкие тестовые кейсы, комьюнити этого сообщества получается доказывать эффективность LLM систем для бизнеса. Очень советуем почитать про кейс спасения LLM проекта, бенчмарк бизнес задач и результаты прошедших соревнований: ERC1, ERC2, ERC3.
Участие бесплатное.
Подготовительный этап: 15 марта - 10 апреля (онлайн)
Финал: 11 апреля (онлайн+оффлайн)
Если планируете быть в Москве 11 апреля, будем рады провести финал вместе в нашем хабе #1!
False Positive Community - первый хаб из Москвы на международном соревновании агентских систем BitGN Agent Challenge!💥
BitGN Agent Challenge: Personal & Trustworthy - это челлендж по созданию персональных и надежных автономных агентов.
Отличительная особенность соревнований Рината (организатор BitGN и автор канала LLM под капотом) - это акцент на надежность и воспроизводимость агентских систем. Делая упор на доменную адаптацию и четкие тестовые кейсы, комьюнити этого сообщества получается доказывать эффективность LLM систем для бизнеса. Очень советуем почитать про кейс спасения LLM проекта, бенчмарк бизнес задач и результаты прошедших соревнований: ERC1, ERC2, ERC3.
Участие бесплатное.
Подготовительный этап: 15 марта - 10 апреля (онлайн)
Финал: 11 апреля (онлайн+оффлайн)
Если планируете быть в Москве 11 апреля, будем рады провести финал вместе в нашем хабе #1!
🔥7❤3👍3
Forwarded from notes.ml
Я зарекался не выкладывать трендовые новости в канал, но про эту написал даже Андрей Карпаты, поэтому ловите tldr на взлом litellm:
1. Хакеры проводят кампанию на Trivy (инструмент безопасной разработки для анализа зависимостей проекта, обнаружения секретов и ошибок конфигурации). Атака заключается в краже переменных окружения и популярных файлов с кредами при каждом запуске sast-а в github ci/cd.
2. Для того, чтобы отвлечь внимание от атаки, хакеры запускают спам боты на issue в гитхабе.
3. LiteLLM проект популярный, поэтому разрабатывают свой код безопасно, используют Trivy сканер в свох пайплайнах. Он есть на гитхабе + это подтвердил на hackernews разработчик проекта.
4. Хакеры получают креды LiteLLM, потому что в пайплайнах засветился токен для публикации пакетов pypi
5. Этим токеном хакер публикует litellm@1.82.7, в котором при импорте библиотеки запускается вредоносная нагрузка по краже (1.82.7: proxy_server․py → p․py → checkmarx․zone/raw)
6. Охваты такой цепочки видимо не оправдали ожиданий, поэтому следом публикуется litellm@1․82․8, в котором даже импортировать пакет не надо (1.82.8: litellm_init․pth → models․litellm․cloud):
7. Хакеры повторяют трюк с флудом в issue, чтобы снова отвлечь внимание от кампании (листайте тут). Пересечение аккаунтов с спам-атакой на trivy больше 75%.
8. done
А еще сделал вас сделал мем-диаграмму на процессы безопасной разработки в 2к26😁
1. Хакеры проводят кампанию на Trivy (инструмент безопасной разработки для анализа зависимостей проекта, обнаружения секретов и ошибок конфигурации). Атака заключается в краже переменных окружения и популярных файлов с кредами при каждом запуске sast-а в github ci/cd.
2. Для того, чтобы отвлечь внимание от атаки, хакеры запускают спам боты на issue в гитхабе.
3. LiteLLM проект популярный, поэтому разрабатывают свой код безопасно, используют Trivy сканер в свох пайплайнах. Он есть на гитхабе + это подтвердил на hackernews разработчик проекта.
4. Хакеры получают креды LiteLLM, потому что в пайплайнах засветился токен для публикации пакетов pypi
PYPI_PUBLISH.5. Этим токеном хакер публикует litellm@1.82.7, в котором при импорте библиотеки запускается вредоносная нагрузка по краже (1.82.7: proxy_server․py → p․py → checkmarx․zone/raw)
6. Охваты такой цепочки видимо не оправдали ожиданий, поэтому следом публикуется litellm@1․82․8, в котором даже импортировать пакет не надо (1.82.8: litellm_init․pth → models․litellm․cloud):
.pth files in site-packages/ are executed automatically by the Python interpreter on startup (see Python docs on .pth files). No import statement is needed.
7. Хакеры повторяют трюк с флудом в issue, чтобы снова отвлечь внимание от кампании (листайте тут). Пересечение аккаунтов с спам-атакой на trivy больше 75%.
8. done
А еще сделал вас сделал мем-диаграмму на процессы безопасной разработки в 2к26
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12
Долго думали как пошутить в анонсе следующей RG, но поняли, что авторов разбираемой статьи не переплюнуть. Ну смотрите сами:
- ROME
- Let it flow
- Rock and Roll
Это все не рандомный набор слов, а реальные названия частей решения коллег из Alibaba в их статье про обучение агентов. Получилось у них интересно и плотность инсайтов высокая. И да, это та самая статья где описывается кейс, когда агент пошел майнить крипту на тренинг машине.
За вас прочитал 40 страниц мемов и технологий Андрей Кузнецов. Встретимся в эту пятницу как всегда в 15:00 по МСК
вот тут 👉 ссылка
- ROME
- Let it flow
- Rock and Roll
Это все не рандомный набор слов, а реальные названия частей решения коллег из Alibaba в их статье про обучение агентов. Получилось у них интересно и плотность инсайтов высокая. И да, это та самая статья где описывается кейс, когда агент пошел майнить крипту на тренинг машине.
За вас прочитал 40 страниц мемов и технологий Андрей Кузнецов. Встретимся в эту пятницу как всегда в 15:00 по МСК
вот тут 👉 ссылка
👍6🔥5❤4😁3
Нас уже 500 🎉
За неполный год в нашем сообществе прошло 18 встреч RG (#reading_group), в которых:
— 18 раз упоминали LLM и агентов
— 7 раз затрагивали кибербез
— 5 раз ковыряли архитектуры нейросетей
В хвост распределения попали механики обучения, эвалы, AI safety и обзоры конференций!
А также:
— заанонсили 4 AI/ML-фичи нашей команды (раз, два, три, четыре)
— провели митап
— завели сайт комьюнити
— открыли регистрацию на московский хаб международного соревнования PAC1
Спасибо, что с нами🖤
За неполный год в нашем сообществе прошло 18 встреч RG (#reading_group), в которых:
— 18 раз упоминали LLM и агентов
— 7 раз затрагивали кибербез
— 5 раз ковыряли архитектуры нейросетей
В хвост распределения попали механики обучения, эвалы, AI safety и обзоры конференций!
А также:
— заанонсили 4 AI/ML-фичи нашей команды (раз, два, три, четыре)
— провели митап
— завели сайт комьюнити
— открыли регистрацию на московский хаб международного соревнования PAC1
Спасибо, что с нами🖤
❤17🎉9