🎬Выкладываем запись Запись RG от Андрея Кузнецова, на которой разбирались существующие ИБ бенчмарки для LLM

P.S.: в комментариях выложим презентацию, в которой есть ссылки на все разобранные бенчмарки

Наш коллега из PT ESC написал целый детектив о том, как ему почти удалось остаться незамеченным, имитируя атакующие действия внутри инфраструктуры Позитива, но в конечном счете был пойман ML-алгоритмами.

https://www.securitylab.ru/analytics/569272.php

Наверное, все слышали про Anthropic — компанию, которая сделала Claude. При этом они громче других говорят об опасности ИИ — и сами его строят. Звучит как противоречие, но у них есть на это ответ.

Во многом этот ответ сформулировал Дарио Амодей, CEO и сооснователь компании. В двух своих эссе он разворачивает полную картину: каким может быть мир, если с ИИ всё пойдёт хорошо — и что именно может нас остановить на этом пути.

А третий текст — Claude's Constitution — написан уже командой исследователей внутри Anthropic. Это попытка ответить на вопрос, который мало кто задаёт вслух: а что вообще должно быть внутри у ИИ?

Обсудим все эти точки зрения уже завтра в 15:00 (MSK) на PT ML Reading Group!

Ссылка для подключения: ktalk

28-30 мая пройдет Phdays.

Это самое масштабное событие года, посвященное кибербезу. В этот раз будет еще больше AI/ML — мы собираем 2 трека:

• AI/ML track. В первый день фестиваля, самый сок про то как использовать модельки для решения задач кибербеза.

• AI security track. Во второй день фестиваля будем говорить про безопасный AI. Pwn этих ваших clawdbot'ов и прочие интересности присылайте сюда.

Заявки на cfp подаем на https://cfp.phdays.com/phd-2026/cfp до 9 марта.

Всем привет!

Следующий Positive Hack Days Fest пройдет в 2027 году, в этом году киберфестиваля не будет.

Почему мы приняли такое решение

Каждый новый PHDays — это вызов для всей нашей команды: сделать его круче, чем он был годом ранее.

Этот PHDays должен был стать 15-м по счету — юбилейным, и поэтому он особенно важен для нас.

Во время подготовки возникли сложности с местом его проведения — в связи с реконструкцией «Лужников» и всех крупных парков, которые могли бы нас принять. Это не позволило бы нам построить все те тематические зоны и полноценно воплотить идеи, которые мы для вас подготовили.

Мы изучили все возможности, но поняли, что в этих условиях сделать великолепно не получится, а на меньшее мы не готовы. Поэтому мы решили взять перерыв и провести юбилейный PHDays в 2027 году — на новой площадке, независимо от внешних факторов. И сделать его таким, каким мы и задумываем.

Спасибо за понимание, ваша команда @PHDays.

@Positive_Technologies

Всем привет!

На ближайшем reading group разберём статью HyCo2 — про гибридное сжатие контекста для LLM.

Обсудим:
- как совместить “мягкую память” и “жёсткий отбор фактов”, чтобы читать меньше токенов, но не терять качество
- почему не получается нормально учить end-to-end и зачем 3-стадийное обучение
- что показывают на QA бенчмарках и как метод ведёт себя при росте числа документов

Если хотите — кидайте вопросы заранее в комментарии 👇

А встречаемся уже завтра в 15:00 по МСК вот тут 👉 ссылка

В эти выходные мы рады поделиться с вами анонсом!

False Positive Community - первый хаб из Москвы на международном соревновании агентских систем BitGN Agent Challenge!💥

BitGN Agent Challenge: Personal & Trustworthy - это челлендж по созданию персональных и надежных автономных агентов.

Отличительная особенность соревнований Рината (организатор BitGN и автор канала LLM под капотом) - это акцент на надежность и воспроизводимость агентских систем. Делая упор на доменную адаптацию и четкие тестовые кейсы, комьюнити этого сообщества получается доказывать эффективность LLM систем для бизнеса. Очень советуем почитать про кейс спасения LLM проекта, бенчмарк бизнес задач и результаты прошедших соревнований: ERC1, ERC2, ERC3.

Участие бесплатное.

Подготовительный этап: 15 марта - 10 апреля (онлайн)
Финал: 11 апреля (онлайн+оффлайн)

Если планируете быть в Москве 11 апреля, будем рады провести финал вместе в нашем хабе #1!

Коллега из нашей команды выкатил в своем канале разбор взлома LiteLLM:

Долго думали как пошутить в анонсе следующей RG, но поняли, что авторов разбираемой статьи не переплюнуть. Ну смотрите сами:

- ROME
- Let it flow
- Rock and Roll

Это все не рандомный набор слов, а реальные названия частей решения коллег из Alibaba в их статье про обучение агентов. Получилось у них интересно и плотность инсайтов высокая. И да, это та самая статья где описывается кейс, когда агент пошел майнить крипту на тренинг машине.

За вас прочитал 40 страниц мемов и технологий Андрей Кузнецов. Встретимся в эту пятницу как всегда в 15:00 по МСК
вот тут 👉 ссылка

Мы начинаем!

Нас уже 500 🎉

За неполный год в нашем сообществе прошло 18 встреч RG (#reading_group), в которых:
— 18 раз упоминали LLM и агентов
— 7 раз затрагивали кибербез
— 5 раз ковыряли архитектуры нейросетей

В хвост распределения попали механики обучения, эвалы, AI safety и обзоры конференций!

А также:
— заанонсили 4 AI/ML-фичи нашей команды (раз, два, три, четыре)
— провели митап
— завели сайт комьюнити
— открыли регистрацию на московский хаб международного соревнования PAC1

Спасибо, что с нами🖤

Модель, которая не смогла остановиться...

Qwen/Qwen3.5-122B-A10B-FP8, vLLM, temperature=0

Небольшая вводная: есть набор задач, есть входные данные и промпт из них для модели. И модель начинает уходить в бесконечную генерацию на, казалось бы, обычных входных данных

Начали ковырять вход, проблема все воспроизводилась и воспроизводилась, пока случайно не заметили, что дело оказалось в переданном хеше в промпте, который нужно было использовать модели в своем ответе

Да, 2dac9f524a8996e8b5638ac7c29fb89358c311d4 с нулевой температурой приводил модель в ужас и не давал выйти из цикла генерации ответа

Обрезка хеша до фиксированной длины 2dac9f52 исправила ситуацию, проблема решена, можно дальше работать, но интерес почему так произошло не давал покоя

Полезли в токенизатор модели, а у нас тут
- 2dac9f524a8996e8b5638ac7c29fb89358c311d4 -> 2 | dac | 9 | f | 5 | 2 | 4 | a | 8 | 9 | 9 | 6 | e | 8 | b | 5 | 6 | 3 | 8 | ac | 7 | c | 2 | 9 | fb | 9 | 9 | 3 | 5 | 8 | c | 3 | 1 | 1 | d | 4 — 36 токенов
- 2dac9f52 -> 2 | dac | 9 | f | 5 | 2 — 6 токенов

И вот модель начинает генерировать хеш посимвольно — токен за токеном. При temperature=0 (greedy decoding) модель на каждом шаге выбирает самый вероятный следующий токен. Проблема в том, что у таких повторений есть эффект самоподкрепления: чем больше hex-символов уже сгенерировано в контексте, тем выше вероятность, что модель продолжит генерировать еще один hex-символ вместо того, чтобы остановиться. Контекст заполняется однотипными токенами [0-9a-f], и модель буквально не может из этого выбраться — greedy decoding не дает ей шанса случайно выбрать стоп-токен, потому что он каждый раз оказывается чуть менее вероятным, чем очередной hex-символ. Отдельно интересно, что это хорошо согласуется с наблюдениями из литературы

Поэтому решается это проблема и при помощи возвращения модели к дефолт параметрам (temperature > 0)

PS: в комментах для вас подготовили пару скриншотов

Всем участникам BitGN PAC1 приготовиться!

False Positive Hub открывает свои двери в 11:00

В 14:00 начинается PAC-prod

p.s. Мерч забрал, везу в хаб!

Всем удачных голодных игр!

bitgn/pac1-prod is live in blind mode!

Switch your agents to this id.