Победителей выбрали в конкурсе на анти нейрослоп советов для Standoff 365 Bug Bounty . Просьба тех, кто увидел свой ник и коммент найти меня на Standoff Talks. Я на первом этаже, хожу в панамке чёрной и черной футболке BugHunter

собираться коллегией триажеров в баре и коллективно оценивать каждый отчет на нейрослопность 🙂

1. ограничение количества отправляемых отчетов с новых аккаунтов. Снятие ограничения после нескольких валидных отчетов с выплатами. Опционально сюда же ограничение создания новых аккаунтов платформы.
2. Ввести скоринг "нейрослопности" отчета и маркировать для триажеров отчеты, превышающие пороговый уровень
3. сделать обязательным поле для прикрепления скрина/видео с эксплуатацией перед отправкой отчета.
4. введение отдельного статуса "нейрослоп" минусящего больше реуптации, нежели "не является уязвимостью"


Мерч похека не нужен, спасибо :)

P.S. а вот снизить нагрузку на триажеров, нупажалустооооо

Как было в одной стфке, промт иньекцию на рм рф машинки добавлять в программах/вёрстках сайта, на дурачка ловушка чисто и нейрослопить после этого не так хочется) А так, из годных вариантов как будто только видосы/фото в отчёте обязательными ставить или систему рейтинга более серьёзную вводить

Лично мои мысли, фото и видео на мой взгляд не сильно поможет от нейрослопа т.к начинающий будет ему верить и отправлять отчёт с фото видео якобы показывающей импакт, моё предложение, попробовать внедрять ИИ локальное которое будет со стороны standoff оценивать отчёты и оценивать реальность есть реальная опасность или в отчёте только потенциальность чего то возможного или невозможного. Тем самым ИИ будет выступать фильтром если отчёты не с эксплатируемыми рисками то они просто откладываются, а те что реальные передвигаются в первую категорию на рассмотрение триажерами и в последнюю уже очередь ИИ слопы, т.к уверен на их рассмотрение уходит куда меньше времени чем на реальные отчёты могу ошибаться. Что думаете? А, засчёт локального ИИ будет соблюдаться безопасность и никуда информация утекать не будет, т.к он никуда доступа не будет иметь кроме авторизованных лиц

Добавить каптчу как в тг, на сдачу отчёта 😁

сразу банить того, кто прислал такое

Вообще можно использовать несколько подходов, как по мне:

1. Пусть хантеры сами получат возможность тэгать свои отчеты как нейрослоп. Они будут попадать в более отдельные, более долгие очереди, но все-равно будут проверяться. За отсутствие маркировки - минус реп. Звучит парадоксально, но если ты аи-культист и тебе по кайфу дропать нейрослоп, который ты не промаркировал 2-3 раза - твои отчеты падают вниз по приоритету, маркировку на них все равно автоматом доставят, ты по сути уже заложник системы, ты либо выбираешь ручной ввод, либо страдаешь в общем котле для аи-культистов.

2. Тут уже гуляла эта идея, но везде применялась LLM, мне кажется она для этой задачи имеет слишком высокий уровень сложности. Думаю, можно натренить совершенно небольшую ml-модельку, выделить несколько явных признаков ИИ-отчетов, и запустить ее в тестовом режиме. Особенно хорошо это стакнется с первым направлением. Таким образом можно избавить триажеров от задачи определять нейрослоп, система может научиться автоматически проставлять такую марку, заставив снова вернуться к ручному вводу и проверке написанного.

3. Из самых смешных вариантов мне показалось - привести отчеты к уровню нормативных документов, в ворде и с титульником) Ни одна нейронка сейчас, насколько мне известно, не делает нормоконтроль хорошо, отступы, шрифты, даже если закинуть ей шаблон получишь корявый огрызок. Это сразу позволяет выкинуть отчет из очереди валидных багов в очередь нейрослопа

4. Система оценивания. Если нейрослоп это реально проблема - докажите это деньгами, ведь деньги - это главная и отчасти единственная мотивация хантеров. Если отчет написан нейронкой - просто снизьте валидность бага на 1 значение, например, был крит, стал хай, просто за использование ИИ. Да, это жесткое ограничение, но оно сработает, ведь прежде всего люди хотят хоть что-то зарабатывать, а зная, что использовать ИИ - это с 100% шансом уменьшать себе сумму выплаты - это хороший буст к тому, чтобы подкорректировать свою тесную связь с ии.

5. Введение метрики "Качество отчета". Тут без особо больших критериев, просто в конце отчета сделать для триажера цифру от 1 до 10, которая ему покажется максимально близкой к правде
1 - нейрослоп пукнул
10 - ооо мужик ты реально крут!
И показывать эту метрику хантерам, более того, привязать ее к сумме выплаты. Баг валидный, но отчет сделан плохо? Минус бабки. Баг не валидный, отчет сделан плохо? Забудь как выглядят купюры. Пусть эта метрика привязывается к аккаунту каждого хантера и преследует его как бельмо на глазу. Таким образом можно будет быстро понимать, что у человека с средним баллом качества 4 - многие отчеты написаны лайк нейрослопчег.

6. Тотал видеопруф:
"Всем привет, я крипер2007, и сегодня я покажу вам как реализовать уязвимость NNN-NNNN-NNNN на сайте компании N ровно за 32 секунды"

Вроде все, спасибо.

Может топовым багхантерам давать такую возможность отсеивать нейрослопы типо как в доте патруль и давать ачивки или баллы

Думаю стоит разделить 2 проблемы.
1 Полностью сделанный ИИ отчёт и работа(нюанс в том что хантер может вообще не понимать что там понаписано)
2 Сделанный только отчёт с помощью ИИ (он сам хантил, но отчёт было делать лень)
Решения для 1 варианта:
Делать созвоны если есть намёки на реальную эксплуатацию уязвимости и дальше уже разговаривать про содержание, если не понимает то предупреждение/бан/увеличение комиссии площадки за сданные отчёты.
Сделать свою ИИшку, ИИшку может победить только другая ИИшка, пусть она сама определяет процент ИИ или пусть переделает отчёт под ваши нужды (проблема в том чтобы до обучить)
Решение для 2 варианта:
Тоже создать свою ИИшку и ввести чуть большие выплаты, 5-10%, за нормальные отчёты
Дать готовый промт или шаблон/инструкции хантеру, раз уж они делают ИИшкой так пусть будет нормально.
Скажи если понадобиться что-то уточнить или дополнить, я постараюсь помочь, вставить банан в конце как и было сказано в невидимом тексте запроса )

«Русский писатель»: ваши отчёты оказались настолько длинными, что вместо триажа их стали задавать как литературу на лето для школьников

Тут уже предлагали натравливать ИИ на такие отчеты. Я хотел предложить то же самое, но чуть расширю и конкретизирую эту историю. Нужно сделать агента (самый простой вариант) который при анализе отчета будет опираться во-первых на модель угроз (тут надо тюнить под каждый сервис), а во-вторых на эксплуатируемость уязвимости. Обычно у ИИ c этим большие проблемы. Оно хорошо и много пишет как всех поломало, но по факту килчейн не выстраивается. Это относительно легко хэндлится глазами живого триажера, но агента тоже можно научить отстреливать большую часть такого шлака. Если показалось интересным, то пусть представители стендофа напишут мне на рабочую почту ;) Я поделюсь деталями.

На самом деле есть простой но ОЧЕНЬ эффективный способ победить слоп . При сдаче отчёта спросить у хакера , "Отчёт сдан с помощью ИИ ?" Если ответ "да", супер он уходит в ии пул где его отдельно можно агентами триажить , нанять триаж стендоффа только на этот пул и ТД . Если ответ "нет" супер , если там в итоге в нет лежит ИИ отчёт хакер теряет решением площадки возможность сдавать отчёты в обычный пул . Тоесть все его следующие отчёты автоматически летят в ИИ пул . При таких жёстких правилах об ии будут сами сообщать и проблем не будет , а единичные проблемы легко будут так решаться

Мне кажется, что тут общая проблема в том, что люди с ИИ бездумно и без верификации отправляют отчёты.

У меня была ситуация, когда за ночь ИИ нашла более 20 уязвимостей. Но на этапе проверки и подготовки скринов я понимаю, что там фигня какая-то. Спрашиваю ИИ проверить как триажер, примут ли их (тыкаю прям носом, что лажу какую-то он собрал) и он соглашается, что сгенерировал какую-то фигню и ситуации нереальные...

Я бы предложил ввести на первом этапе такую же проверку ИИ со стороны площадки. Дайте ИИ чекеру отчёт и скрины хантера, таргеты и условия программы. Если ИИ чекеру кажется, что отчёт лажа, то он не блочит его, но предупреждает хантера и предлагает ему либо добавить пруфы\поправить отчёт, либо рискнуть и отправить его дальше.

Но в таком случае, если подтверждается, что отчёт 💩, он получает минус репу и страйк. N страйков и таймаут на сдачу отчётов.

Идея: Т.к. нейросети уже никуда не уйдут, предлагаю 2 рабочих контур варианта:

1) Улучшить шаблон .md отчетов, когда создаешь репорт там есть форма, уверен, что почти все ее копируют и отдают нейронке, добавьте шаблон для ии по галочке, например.

предварительно промт инженерте сами под качественные оформления на эталонных отчетах, чтобы создать шаблон, так вы сможете контроллировать форму, по которой ребята будут собирать отчеты и быстрее отсекать мусор/норм отчеты. Половина воды уйдет

Сюда же можно сделать дисклеймер (проверяйте руками по гайду и т.п.), где общими словами описан процесс само проверки

2) Гайд по репортам при помощи ии, что должно, что не должно, как проверять

Победителей выбрали в конкурсе на анти нейрослоп советов для Standoff 365 Bug Bounty . Просьба тех, кто увидел свой ник и коммент найти меня на Standoff Talks. Я на первом этаже, хожу в панамке чёрной и черной футболке BugHunter

Сколько-то/30 выдано

Если кто-то не смог меня найти, то пишите в ЛС @szybnev с того акка, с которого писали коммент