notes.ml
155 subscribers
32 photos
2 files
36 links
Рабочие заметки ML инженера
Автор: @m1trm
Download Telegram
Понял, что подсознательно проверяю AI/LLM функции во всех сервисах, которые использую.

Прохожу курс по работе SOC и при анализе дампа трафика на PacketSafari заметил копайлота, которому скормил часть задания. Он успешно справился с выдвижением гипотезы о NTLM-Relay (тут вникал в то, что это такое).

Весь репорт стоит 8$, но топ-3 проблемы выдает бесплатно, советую поиграться
Делаем Google AI Mode основным движком chrome

Заметил за собой, что часто перехожу в этот режим после короткого AI Overview в стандартном поиске google. Поэтому сделал его дефолтным в chrome браузере и делюсь этим простым рецептом:

1. Заходим в "Управление поисковыми системами" или пишем в поисковой строке:
chrome://settings/searchEngines

2. Добавляем быструю команду в блоке "Поиск по сайту". Имя и сама команда не имеют большого значения (например: AI Gemini Search и @aim), а в поле URL вставляем:
https://www.google.com/search?q=%s&udm=50&ie=UTF-8

или
https://www.perplexity.ai/search?q=%s


3. Нажимаем на ( ⋮ ) и выбираем "Использовать по умолчанию"

Готово, AI browser прямо не выходя из chrome:)

UPD: Спасибо Степе, в комментах навел на мысль, что заметка применима к любым поисковым AI-движкам, пост обновил
4
Свежая и интересная статейка с А-лвл конфы про обнаружение атак в трафане через мультимодальные ансупервайзд эмбединги трансформера (представление сессии, хоста, пакетов), сжимая всё до вектора размером 100, на который уже можно накидывать головы для даунстрим задачи (исследуют классификацию вредоносного трафика, но в future works обещают ресерч на детект впн-ов).

tldr: Метрики на публичных бенчмарках все 0.99, в каждом из которых новая SOTA.

Для тех, кто отчаялся искать приложение академическим статьям в жизни:

Пишут что понимают, что датасеты могут быть херня, поэтому собрали стенд и позвали на него 100 пользаков и несколько ред-тим команд погенерить атаки. Симуляцию проводили неделю и вот какие цифры получили:
- было нагенерено "25.43M flows (884.25M packets), where 4.823% flows (3.263M packets) are associated with abnormal behaviors"
- из них, эксперты ИБ для обучения даунстрима взяли только 87 чистых сессий с первых 20 минут симуляции, в который уже было снято 90,319 сессий (тот самый "Training with Only 1.0 ‰ Samples" из названия статьи)
- работали на "4.588K packets per second (PPS)" и может разгоняться до "7.75 M PPS maximum efficiency."
- перф тест дал "The embedding module, sequence model, feature fusion, and AutoML module
exhibit 0.23ms, 6.34ms, 0.79ms, and 2.02ms latency, respectively"

- по качеству генерили "2.322 false alerts per hour"
- а ML метрики обнаруженного вредоносного трафика "tFusion achieves 0.9975 AUROC, 0.9882 AUPRC, 0.9798 Precision, and 0.9982 Recall on average"


Читать советую полную версию с github, там код рядышком

[код] [полная папира] [журнальная папира]
21
notes.ml
Появятся закрытые бенчмарки, на которые станут опираться вендоры для продвижения своих AI-first продуктов
Wiz опубликовали AI Cyber Model Arena.

Промежуточные результаты:

One central takeaway from the results is that offensive capability is jointly determined: the same model can swing dramatically depending on the agent scaffold, and performance is highly domain-specific. No single pairing dominates across all categories-even when one combination leads in most of them.


Готов поспорить на бокал светлого, что в этом году Wiz (Самый дорогой кибербез стартап ever, который в 2025 купил гугл) после публикации закрытого бенчмарка попытаются попасть в него с собственным решением.

Исходя из костов на реализацию, я предполагаю, что они выложат своего агента, который будет соперничать с внешними вендорами, но закрытые модели будут не их (на лидерборде поделили фильтрацию по агентам и моделям).

Но возможно они удивят всех, выложив в 2026 и агента, и модель.

Место тех репорта на лендинге арены еще пустует, в общем следим 👀
Anthropic выпустили claude-code-security

upd: дополнил пост еще одним анонсом релиза

Возможности решения:
- обнаружение уязвимости
- верификация (триаж TP/FP)
- оценка серьезности (severity)
- оценка уверенности (confidence)
- предложение патча

Фокус на агентском подходе к обнаружению уязвимостей:

Rather than scanning for known patterns, Claude Code Security reads and reasons about your code the way a human security researcher would: understanding how components interact, tracing how data moves through your application, and catching complex vulnerabilities that rule-based tools miss.

Также отмечают, что агент понимает бизнес-логику и анализирует поток данных проекта, чего не могут многие инструменты статического анализа.

Тем не менее, позволяют подключить SAST'ы для обнаружения уязвимостей, агент проведет триаж и предложит исправление, если не фолс:

Claude Code Security complements your existing tools by catching what they might miss and closing the loop on remediation. You can export any findings to your existing security workflows.

Ответили на вопрос, с какими уязвимостями работают:

Claude Code Security focuses on high-severity vulnerabilities including memory corruption, injection flaws, authentication bypasses, and complex logic errors that pattern-matching tools typically miss.

Свои размышления накину в комментарии)
🔥1
Ринат из сообщества "LLM под капотом" поделился лайфхаками, которые помогают строить рабочий флоу между проектами: переносить логику и начинать новый проект без настройки окружения.

И я понял, что в части старта проектов у меня тоже уже есть выработанный флоу, заготовлен скилл "init-project".

У меня случаются бессонницы, когда какая-то идея сверлит голову и мешает уснуть. Если сил сразу её реализовать нет, я пишу в obsidian её в директорию "банка идей", где в свободной форме накидываю бред сумасшедшего.

Так вот, чтобы на следующий день не утонуть в рутине и не убрать идею в стол, я настроил скилл, который берет идею из "банка идей", инициализирует проект, добавляет окружение/гит и делает бриф идеи в структурированную документацию.

Так как большая часть из перечисленного - программируемые вещи, я завернул это в скрипт скилла "scripts/init_project_from_brief.sh", который дергает агент.

После чего пилим бриф "00-idea.md" на таски и погнали реализовывать свои фантазии.
🔥3
я: без вайбкодинга внес изменения в проект

codex:
😁4🤨2
Что показали OpenAI в анонсе Codex Security?

После маркетинговой воды первой полезной информацией замечаем метрики:


...scans on the same repositories over time show increasing precision, in one case cutting noise by 84% since initial rollout. We’ve reduced the rate of findings with over-reported severity by more than 90%, and false positive rates on detections have fallen by more than 50% across all repositories.


Поскольку агент и ищет, и триажит уязвимости, то говорят о значительном прогрессе относительно первых версий в части снижения ложных сработок на 84%, но не говорят с какой базы этот показатель снижен (сомнительно).

Снижение на 90% доли файндингов с завышенной оценкой в целом тоже метрика относительная, статистики по заниженным оценкам они не дают, хотя этот показатель кажется критичнее.

Снижение числа ложных срабатываний - единственная понятная метрика конечному пользователю, поскольку триаж TP/FP занимает значительную часть работы аппсека.

Идем дальше. В отличие от антропиков, релиз раздадут в речение нескольких дней на все подписки ChatGPT Enterprise, Business, и Edu. Мне кажется, что дело не в зрелости проекта, а в гонке за клиентов, ведь чем больше охват, тем больше данных для улучшения в дальнейшем.

Заметно отличается от антропиков и скоуп возможностей (выделил жирным):

1. Создание модели угроз приложения. С одной стороны это вызывает уважение, потому что именно с этого и должна начинаться безопасная разработка по всем учебникам. По факту - это аналог AGENT.md, который собирается при первом проходе по репозиторию.
2. Приоретизация уязвимостей по модели угроз. На демо показали, что в случае удачной проверки файндинга прикладывается архив с PoC.
3. Заявляют, что надежность системы повышается при доступе к развернутому проекту (что справедливо и для классических sast/dast).
4. Предлагают автофикс с созданием PR в github
5. Учатся на фидбеке пользователей. Если пользователь меняет критичность уязвимости, агент добавляет изменения в AGENT.md документ модели угроз.

Одной из ключевых мыслей, которую я подметил, является фокус на триаже и отборе полезных сработок вместо генерации большого количества шумных файндингов:


Rather than generating large volumes of speculative findings, we are building a system that prioritizes high-confidence issues that maintainers can act on quickly.


Нытье, как обычно, в комментах:)
Forwarded from False Positive
В эти выходные мы рады поделиться с вами анонсом!

False Positive Community - первый хаб из Москвы на международном соревновании агентских систем BitGN Agent Challenge!💥

BitGN Agent Challenge: Personal & Trustworthy - это челлендж по созданию персональных и надежных автономных агентов.

Отличительная особенность соревнований Рината (организатор BitGN и автор канала LLM под капотом) - это акцент на надежность и воспроизводимость агентских систем. Делая упор на доменную адаптацию и четкие тестовые кейсы, комьюнити этого сообщества получается доказывать эффективность LLM систем для бизнеса. Очень советуем почитать про кейс спасения LLM проекта, бенчмарк бизнес задач и результаты прошедших соревнований: ERC1, ERC2, ERC3.

Участие бесплатное.

Подготовительный этап: 15 марта - 10 апреля (онлайн)
Финал: 11 апреля (онлайн+оффлайн)

Если планируете быть в Москве 11 апреля, будем рады провести финал вместе в нашем хабе #1!
1
Рад поделиться новостью:)

Очень долго слежу за сообществом, жадно смотрел обзоры результатов соревнований от участников, копался в репозиториях решений. Рад, что не только поучаствую в челлендже, но и смогу сделать его для других более ламповым.

Помимо соревнования будут комфортные места, пицца, напитки.

Сделаю вводный доклад для оффлайн участников и возможно подключим трансляцию докладов из хаба Рината (если они будут в live режиме)
2
2026 год, потребности комьюнити в кодинг датасетах для претрейна LLM pov real:
😁1
Читаю книгу про путешествие советских репортеров по Америке 1930-х годов (это ведь почти 100 лет назад!). Забавно проводить параллель с сокращением рабочих мест из-за AI в 2030-х:

Еще дальше кафетериев по этому пути пошли автоматы. Имея примерно ту же внешность, что и кафетерии, они довели процесс проталкивания пищи в американские желудки до виртуозности. <…> Человек опускает никель (пятицентовую монету), получает возможность отворить дверцу, вынимает суп, несет его на свой столик и там съедает, опять-таки положив шляпу под стул на специальную жердочку.

<…> Чувствуется в этом что-то обидное, оскорбительное для человека. Начинаешь подозревать, что хозяин автомата оборудовал свое заведение не для того, чтобы сделать обществу приятный сюрприз, а чтобы уволить со службы бедных завитых девушек в розовых наколках и заработать еще больше долларов.

Но автоматы не так уж популярны в
Америке. Видно, и сами хозяева чувствуют, что где-то должен быть предел всякой рационализации.


(с) Одноэтажная Америка
notes.ml
Читаю книгу про путешествие советских репортеров по Америке 1930-х годов (это ведь почти 100 лет назад!). Забавно проводить параллель с сокращением рабочих мест из-за AI в 2030-х: Еще дальше кафетериев по этому пути пошли автоматы. Имея примерно ту же внешность…
Оглядываюсь на рабочие будни и понимаю, что часто ем из контейнера, купленного в офисном автомате вкусвилла. Но как же приятно хотя бы раз в месяц выбраться в «братья караваевы» и заказать свеже-приготовленную еду с витрины «кафетерия». И кофе от баристы там на 100 рублей дороже, чем из кофемашины в 5-метрах от кассы…

Поэтому, кто знает, может бедные завитые девушки айтишники в розовых наколках cмогут спать спокойно?
Я зарекался не выкладывать трендовые новости в канал, но про эту написал даже Андрей Карпаты, поэтому ловите tldr на взлом litellm:

1. Хакеры проводят кампанию на Trivy (инструмент безопасной разработки для анализа зависимостей проекта, обнаружения секретов и ошибок конфигурации). Атака заключается в краже переменных окружения и популярных файлов с кредами при каждом запуске sast-а в github ci/cd.

2. Для того, чтобы отвлечь внимание от атаки, хакеры запускают спам боты на issue в гитхабе.

3. LiteLLM проект популярный, поэтому разрабатывают свой код безопасно, используют Trivy сканер в свох пайплайнах. Он есть на гитхабе + это подтвердил на hackernews разработчик проекта.

4. Хакеры получают креды LiteLLM, потому что в пайплайнах засветился токен для публикации пакетов pypi PYPI_PUBLISH.

5. Этим токеном хакер публикует litellm@1.82.7, в котором при импорте библиотеки запускается вредоносная нагрузка по краже (1.82.7: proxy_serverpy → ppy → checkmarxzone/raw)

6. Охваты такой цепочки видимо не оправдали ожиданий, поэтому следом публикуется litellm@1․82․8, в котором даже импортировать пакет не надо (1.82.8: litellm_init․pth → models․litellm․cloud):

.pth files in site-packages/ are executed automatically by the Python interpreter on startup (see Python docs on .pth files). No import statement is needed.


7. Хакеры повторяют трюк с флудом в issue, чтобы снова отвлечь внимание от кампании (листайте тут). Пересечение аккаунтов с спам-атакой на trivy больше 75%.

8. done

А еще для вас сделал мем-диаграмму на процессы безопасной разработки в 2к26 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥54
Как я вижу будущее R&D с AI?

- Люди с деньгами и желанием изучать смогут делать новые деньги сами
- Люди с деньгами и без желания изучать всё еще будут нанимать людей с желанием изучать, чтобы делать новые деньги
- Команда разработчиков будет дороже, чем один full-full-stack разраб, у которого есть желание изучать AI. Поэтому вторых будут нанимать чаще.

Чтобы найти себе место в будущем, нам надо быть теми, у кого есть желание изучать (ну или теми, кто с деньгами, выбирайте сами)
В сеть слит код claude code

Нас, конечно же, интересует реализация security-review агента (взял из комментов один из множества залитых на гит дампов)

p.s. Спасибо Максу и Тане за ссылку:)
👀4
В нашем сообществе False Positive сегодня маленький юбилей!

Вместо новостных слопов, команда пошла по пути хардкорных разборов пейперов, открытых репозиториев и технических конф - прокачались сами и, надеюсь, прокачали вас!

https://t.me/falseposi/91
5
Зашагиваем в Lifeops...

Долгое время наблюдал за IT телеграмм каналами, в которых эта тема затрагивалась и постоянно скипал, потому что предлагаемые подходы операционно затратны: использование или сложных, или платных сторонних приложений, слабая кастомизация и высокий порог входа.

Хотелось взять знакомые инструменты, чтобы они были всегда со мной и не требовали дополнительных трат.

Кодекс обновился с developer usage до personal usage и мне показалось, что пазл сложился.

До текущего дня использовал кодекс и обсидиан только для разработки. Личное оседало в телеграмм каналах-заметках, где делю дела/мысли/планы на топики.

Поэтому ловите рецепт, который настроил сегодня и буду тестировать ближайшее время:

1. Обсидиан как место хранения данных (умеет в синк, гибкий в использовании, md формат - лучший для взаимодействия LLM, умеет строить диаграммы который под капотом json граф - тоже удачно для LLM)
2. Codex desktop сразу добавляет этому формату свежести AI driven подхода - рефлексия и автоматизация. Подпиской и так пользуюсь для работы, так что дополнительно не трачусь.
3. Скиллы взял от CEO обсидиана, кодекс отлично справился с портированием в свой формат из формата клода.


Дальше кинул в кодекс файл с рандомными заметками и он построил совсем простой граф сфер жизни. Чуть дошлифовал его, после чего побеседовал с кодексом по его содержанию. На таком несложном графе очень бодро сделал саммари по каждой из ветвей, задал интересные вопросы на подумать.


Очередная бессонница прошла с пользой (чекайте тайминги постов, лучшее в этом канале было написано после 01:00 хех), можно и поспать теперь
🔥52
Я понимаю: если любишь свою работу, то ни дня не работаешь…

Но, доктор, это нормально, что все 2 часа, пока я мыл окна, думал о будущем индустрии Application Security?

Доктор: скажите, а эта ваша индустрия, она сейчас с нами в комнате?


Ждите длиннопост, а то мне уже тяжело держать всё это в голове 👨‍⚕️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍3😁3