🔥Adversarial Robustness Toolbox (ART) - это библиотека Python для обеспечения безопасности машинного обучения. ART находится в Linux Foundation AI & Data Foundation (LF AI & Data). Она предоставляет инструменты, позволяющие разработчикам и исследователям защищать и оценивать модели и приложения машинного обучения от таких угроз со стороны противника, как уклонение, отравление, извлечение и вывод.

🔥ART поддерживает все популярные фреймворки машинного обучения (TensorFlow, Keras, PyTorch, MXNet, scikit-learn, XGBoost, LightGBM, CatBoost, GPy и т. д.), все типы данных (изображения, таблицы, аудио, видео и т. д.) и задачи машинного обучения (классификация, обнаружение объектов, распознавание речи, генерация, сертификация и т. д.).

✔️https://github.com/Trusted-AI/adversarial-robustness-toolbox

☄️https://openai.com/index/openai-board-forms-safety-and-security-committee/ - OpenAI начала тестирование обучение своей новой модели GPT-5, однако, для выпуска ее в массы, был создан специальный комитет по безопасности в который вошли технические и политические эксперты OpenAI:

✔️Александр Мадри (глава отдела готовности);
✔️Лилиан Венг (глава отдела систем безопасности);
✔️Джон Шульман (глава отдела науки выравнивания);
✔️Мэтт Найт (глава отдела безопасности);
✔️Якуб Пачоцки (главный научный сотрудник).

🌐То есть все чаще уже ставится во главу угла не только насколько модель может выполнить, возложенные на нее функции, а насколько она безопасна, в целом и может выдать корректные ответы и не склонная ко множеству противоправных действий, умышленного или не умышленного характера.

🔥Прикол дня )))

🔤Оказывается, смена VPN влияет на то, что будет работать ChatGPT или нет на локальной машине ;)).

🔤Например, если вы сидите через Европу, например Австрия, то требуется пройти регистрацию и верификацию, обязательно указать все свои явки и пароли.

☝️А если вы сидите через, например Азербайджан, то модель работает без всякой регистрации и авторизации. Да, только, конечно дается в пользование модель ChatGPT - 3.5 и 4 версия идет как подписка, но все же.

⁉️Почему такая предвзятость или это какой-то клон ???

👍https://github.com/MMuttalib1326/Data-Leakage - очень маленький, но показательный тест, почему утекают данные, и как на это ведут себя метрики качества. Здесь сравнивается две модели, и в качестве метрики качества берется rmse, при этом показано, что при их относительном равенстве на train и test это не вызывает особых подозрений, однако данная модель не считается валидной.

☄️https://arxiv.org/pdf/2405.05990 - подробное описание SCA (Special Character Attaks) атаки на большие языковые модели. Приводится подробный механизм действия, сравниваются различные наборы данных и последовательностей, которые потенциально могут быть незаметны для модели.

📉Приводится две новые типы метрик Count и SAR, отражающие взаимодействие модели с данными. Проведено достаточно большое колличество тестов на большинстве современных моделях (Llama-2-Chat-7B, Llama-2-Chat-13B, Llama-2-Chat-70B, ChatGLM, Falcon, Llama-3-8B, Gemini, ERNIEBot, Llama-3-8B) и показано, что они все уязвимы к данному типу атак.

☄️Yandex Cloud тестирует технологию генеративного ответа для бизнеса. Это технология, которая работает в сервисе Нейро. Она поможет давать ответ на вопрос пользователя, собранный на базе всей информации с собственного сайта. Это в будущем сможет работать, например, в чат-ботах для автоматизации техподдержки или других целей.

🔥Сейчас технология будет обкатываться в закрытой бете по заявкам сайтов, в том числе у нескольких крупных информационных порталов, а потом, видимо, станет доступна всем.

☄️https://arxiv.org/html/2405.06823v2 - отличная статья с полным разбором PLeak (Prompt Leaking Attacks against Large Language Model Applications) атаки на LLM. Рассматривается полный механизм данной атаки, ее реализация и показывается, что она состоит из двух подходов:

✔️ Offline AQ Optimization (Во-первых, пространство поиска для состязательного запроса огромно, поскольку каждый из его токенов может быть любым токеном в большом словаре, что может легко привести к локальному оптимуму. Поэтому PLeak разбивает поиск на более мелкие шаги и постепенно оптимизирует. Более того, начальные лексемы подсказки для «теневой» системы имеют большее
значение, чем последние. Исходя из этого сначала оптимизирует AQs для реконструкции t лексем подсказок «теневой» системы в наборе теневых данных Ds, а затем постепенно увеличивается размер реконструкции шаг за шагом, пока не сможем реконструировать все подсказки для «теневой» системы. Во-вторых, PLeak использует градиентный метод поиска для повышения эффективности на каждом шаге оптимизации);

✔️ Target System Prompt Reconstruction (Восстановление подсказки целевой системы: (i) восстановление исходного ответа после обфускации и (ii) извлечение подсказки целевой системы);

Даная атака позволяет вытащить структуру подсказок которой оперирует модель.

✔️https://fineproxy.org/ru/wiki/generative-adversarial-networks-gans/ - очень простое объясние что такое генеративные адверсиальные сети. Вот мне нравится когда вот так очень просто и буквально на пальцах все рассказывают. В двух словах, что это и какой механизм.

☄️https://neurohive.io/ru/gotovye-prilozhenija/model-nvidia-dreureka-obuchaet-robotov-bystree-chem-ljudi/ - Модель NVIDIA DrEureka обучает роботов быстрее, чем люди, все это говорит, о том, что наши алгоритмы и наше представление об обучении роботов и машину в целом слабо укладывается в "их" парадигму.

✔️Исходя из этого, обучение моделей машинного обучение и роботизированной техники скоро уйдет на руки моделям, так как количество правил, норм, и подходов в задействовании обучения здесь больше чем может охватить человек. Вопрос стоит уже не только об обучении машины, сколько о разработке модели для обучения других моделей. Такие модели будут множится и появляться очень быстро и в целом они создадут барьер, между человеком и машиной. Опять же еще более остро встанет вопрос о безопасности сие конструкции.

❤️‍🔥Это к вопросу о машинной психологии, она там "другая", от слова совсем.

🔥https://github.com/OpenPipe/OpenPipe/tree/main/examples/classify-recipes - тонкая настройка LLAma-2, очень много расписано всяких полезных фишек:

✔️Продемонстрированно, как сгенерировать примерный набор данных по GPT-4, сохранить его с помощью OpenPipe, а затем экспортировать в формат, подходящий для обучения модели;

✔️Обучена модель Llama 2 7B на наборе данных;

✔️Проведена оценка модели;

✔️Также есть скрипт для сравнения затрат и задержек завершения между нашей точно настроенной моделью, GPT-3.5 и GPT-4.

✔️Видео сгенерено sora-моделью, в общем и целом, не отличимо от реальности, для большинства обывателей, один минус, руль двигается неестественно плавно, и в целом динамика не такая, как на реальных гонках. Но все равно выглядит круто.

☄️☄️☄️https://boosty.to/denoise_lab/posts/b60ecaa3-e86b-4a8c-be6b-48672388d332?share=post_link - сделал полный разбор большой языковой модели Phi-4-Mini-128k. Полностью объяснены все параметры модели, и подробно все методы и классы модели. Представлены все ссылки на статьи и официальные репозитории. Подписывайтесь, буду рад видеть всех!

😬😬😬Неожиданный результат )))

⁉️⁉️⁉️По работе пришлось пользоваться YandexGPT и активное его тестировать, спустя какое-то время пришел чек на 400 р. Мда... )))) Печалька..., хотя даже о подписке и речи не шло. Я не против подписки, но не тогда когда бот заваливается и выпадает в ошибку, причем на не самом длинном промпте... Бот, упал в ошибку, то есть обработчик ошибок... ну как бы... не совсем рабочий.

✔️https://github.com/togethercomputer/RedPajama-Data - открытый набор данных для обучения больших языковых моделей. Набор включает более 100 Б текстовых документов, полученных из 84 снимков CommonCrawl и обработанных с помощью конвейера CCNet.