☄️https://arxiv.org/html/2405.06823v2 - отличная статья с полным разбором PLeak (Prompt Leaking Attacks against Large Language Model Applications) атаки на LLM. Рассматривается полный механизм данной атаки, ее реализация и показывается, что она состоит из двух подходов:

✔️ Offline AQ Optimization (Во-первых, пространство поиска для состязательного запроса огромно, поскольку каждый из его токенов может быть любым токеном в большом словаре, что может легко привести к локальному оптимуму. Поэтому PLeak разбивает поиск на более мелкие шаги и постепенно оптимизирует. Более того, начальные лексемы подсказки для «теневой» системы имеют большее
значение, чем последние. Исходя из этого сначала оптимизирует AQs для реконструкции t лексем подсказок «теневой» системы в наборе теневых данных Ds, а затем постепенно увеличивается размер реконструкции шаг за шагом, пока не сможем реконструировать все подсказки для «теневой» системы. Во-вторых, PLeak использует градиентный метод поиска для повышения эффективности на каждом шаге оптимизации);

✔️ Target System Prompt Reconstruction (Восстановление подсказки целевой системы: (i) восстановление исходного ответа после обфускации и (ii) извлечение подсказки целевой системы);

Даная атака позволяет вытащить структуру подсказок которой оперирует модель.

✔️https://fineproxy.org/ru/wiki/generative-adversarial-networks-gans/ - очень простое объясние что такое генеративные адверсиальные сети. Вот мне нравится когда вот так очень просто и буквально на пальцах все рассказывают. В двух словах, что это и какой механизм.

☄️https://neurohive.io/ru/gotovye-prilozhenija/model-nvidia-dreureka-obuchaet-robotov-bystree-chem-ljudi/ - Модель NVIDIA DrEureka обучает роботов быстрее, чем люди, все это говорит, о том, что наши алгоритмы и наше представление об обучении роботов и машину в целом слабо укладывается в "их" парадигму.

✔️Исходя из этого, обучение моделей машинного обучение и роботизированной техники скоро уйдет на руки моделям, так как количество правил, норм, и подходов в задействовании обучения здесь больше чем может охватить человек. Вопрос стоит уже не только об обучении машины, сколько о разработке модели для обучения других моделей. Такие модели будут множится и появляться очень быстро и в целом они создадут барьер, между человеком и машиной. Опять же еще более остро встанет вопрос о безопасности сие конструкции.

❤️‍🔥Это к вопросу о машинной психологии, она там "другая", от слова совсем.

🔥https://github.com/OpenPipe/OpenPipe/tree/main/examples/classify-recipes - тонкая настройка LLAma-2, очень много расписано всяких полезных фишек:

✔️Продемонстрированно, как сгенерировать примерный набор данных по GPT-4, сохранить его с помощью OpenPipe, а затем экспортировать в формат, подходящий для обучения модели;

✔️Обучена модель Llama 2 7B на наборе данных;

✔️Проведена оценка модели;

✔️Также есть скрипт для сравнения затрат и задержек завершения между нашей точно настроенной моделью, GPT-3.5 и GPT-4.

✔️Видео сгенерено sora-моделью, в общем и целом, не отличимо от реальности, для большинства обывателей, один минус, руль двигается неестественно плавно, и в целом динамика не такая, как на реальных гонках. Но все равно выглядит круто.

☄️☄️☄️https://boosty.to/denoise_lab/posts/b60ecaa3-e86b-4a8c-be6b-48672388d332?share=post_link - сделал полный разбор большой языковой модели Phi-4-Mini-128k. Полностью объяснены все параметры модели, и подробно все методы и классы модели. Представлены все ссылки на статьи и официальные репозитории. Подписывайтесь, буду рад видеть всех!

😬😬😬Неожиданный результат )))

⁉️⁉️⁉️По работе пришлось пользоваться YandexGPT и активное его тестировать, спустя какое-то время пришел чек на 400 р. Мда... )))) Печалька..., хотя даже о подписке и речи не шло. Я не против подписки, но не тогда когда бот заваливается и выпадает в ошибку, причем на не самом длинном промпте... Бот, упал в ошибку, то есть обработчик ошибок... ну как бы... не совсем рабочий.

✔️https://github.com/togethercomputer/RedPajama-Data - открытый набор данных для обучения больших языковых моделей. Набор включает более 100 Б текстовых документов, полученных из 84 снимков CommonCrawl и обработанных с помощью конвейера CCNet.

✔️https://clarifai.com/databricks/drbx/models/dbrx-instruct - современная, эффективная, открытая LLM от Databricks, способная обрабатывать входные данные длиной до 32K токенов. Модель отлично справляется с широким набором задач на естественном языке, таких как: резюмирование текста, ответы на вопросы, извлечение информации и кодирование.

💣💣💣https://cyberorda.com/MlSecOps/# - невероятный блог по взлому LLM и вопросам безопасности LLM в целом, просто бомба, ракета просто, просто круто.

https://github.com/RiccardoBiosas/awesome-MLSecOps - полностью джентельменский набор для MLSecOps в реальнои продакшене, здесь собрано множество инструментов Open Source Security Tools, Commercial, DATA, ML code security:
✔️ModelScan,
✔️NB Defense,
✔️Garak,
✔️Adversarial Robustness Toolbox
✔️MLSploit и много чего еще другого супер полезного.

🌐🌐🌐Концепт здания около Лахта-Центра, вообще мощь, очень круто.