Forwarded from Data Secrets
Intellect-2 или как обучить ризонинг модель на 32В без кластера GPU
Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM?
Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт.
Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые.
Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast.
Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий.
Ждем Airbnb для GPU
Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM?
Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт.
Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые.
Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast.
Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий.
Ждем Airbnb для GPU
Forwarded from что-то на DL-ском
This media is not supported in your browser
VIEW IN TELEGRAM
Open Computer Agent от Hugging Face
TL;DR: запускаете Space → набираете в prompt действие → наблюдаете, как агент кликает, печатает и сам закрывает вкладки
💛 smolagents core ≈ 1 000 строк Python. Планировщик LLM → цепочка tool-calls → low-level «мышь/клавиатура».
Repo лежит рядом с Space; ставится одной командой.
💛 облачный Linux + Xvfb + Firefox. Desktop стримится вам через noVNC (iframe в HF Spaces).
💛 Qwen-VL в качестве вижена, bounding-box целей на скриншоте, чтобы агент «попал» мышкой.
💛 xdotool/pyautogui генерирует X-Events
💛 high-level LLM размечает шаги, детектор экрана ищет координаты, executor кликает. Петля повторяется, пока done = True.
🤗Space
TL;DR: запускаете Space → набираете в prompt действие → наблюдаете, как агент кликает, печатает и сам закрывает вкладки
Repo лежит рядом с Space; ставится одной командой.
🤗Space
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from что-то на DL-ском
Forwarded from Data Secrets
Конспект LLM.pdf
38.1 MB
Большой коспект по LLM от нашей команды 👍
Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:
➖ Краткая история LLM от перцептрона до ризонинг-моделей
➖ Необходимая математика: линал и матанализ на пальцах
➖ Все про механизм внимания и трансформеры от А до Я
➖ Дотошное объяснения процесса предобучения
➖ Практический гайд "Как самостоятельно затюнить модель"
➖ RL – с нуля до ризонинга
Все – в иллюстрациях, схемах и интуитивно понятных примерах.
Сохраняйте, делитесь с друзьями и ставьте ❤️
Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:
Все – в иллюстрациях, схемах и интуитивно понятных примерах.
Сохраняйте, делитесь с друзьями и ставьте ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Forwarded from GolDBUG
One of the frameworks that may be useful in cases
👆
👆
Forwarded from CodeCamp
Ночное-полезное: нашел очень крутой ресурс с бесплатными лабораторными работами и туториалами для ИБ-специалистов.
Никаких видео — только полностью интерактивные лаборатории, разработанные для более быстрого и эффективного обучения. Даже есть нейросеть-помощник, если возникнут трудности с выполнением заданий. Из минусов: не все лабы переведены на русский язык, но я в вас верю.
Это бесплатно, забираем.
Никаких видео — только полностью интерактивные лаборатории, разработанные для более быстрого и эффективного обучения. Даже есть нейросеть-помощник, если возникнут трудности с выполнением заданий. Из минусов: не все лабы переведены на русский язык, но я в вас верю.
Это бесплатно, забираем.
rags_agents_for_CTI_linkmeetup2025_v1.pdf
1.4 MB
Построение AI-ассистента для работы с TI-знаниями
Крутейший доклад Коли Арефьева на https://linkmeetup.ru/msk25doklady
Каждый день в мире появляются десятки киберугроз, требующих анализа и оперативного реагирования. За год число тактических и оперативных TI отчетов превышает 4000. Анализ столь большого объема информации требует значительных ресурсов, в том числе крупных команд TI-аналитиков.
AI-ассистент на основе LLM и RAG может стать полноценным интерфейсом между аналитиками и обширной базой внешних TI-знаний. В рамках доклада я расскажу общую теорию построения мульти-агентских AI-ассистентов, упрощающих работу с огромным массивом TI-знаний.
Крутейший доклад Коли Арефьева на https://linkmeetup.ru/msk25doklady
Каждый день в мире появляются десятки киберугроз, требующих анализа и оперативного реагирования. За год число тактических и оперативных TI отчетов превышает 4000. Анализ столь большого объема информации требует значительных ресурсов, в том числе крупных команд TI-аналитиков.
AI-ассистент на основе LLM и RAG может стать полноценным интерфейсом между аналитиками и обширной базой внешних TI-знаний. В рамках доклада я расскажу общую теорию построения мульти-агентских AI-ассистентов, упрощающих работу с огромным массивом TI-знаний.
Forwarded from DeepSchool
Как обучить текстовый эмбеддер на домен?
Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает.
Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен.
В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области.
Читайте новую статью по ссылке
Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает.
Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен.
В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области.
Читайте новую статью по ссылке
👍1
Forwarded from CodeCamp
Полезное: нашёл библиотеку с 60+ сайд-проектами по нейросетям. Внутри гайды, по которым вы научитесь делать ИИ-агентов, RAG, поднимать MCP сервера и файн-тюнить модели.
У проектов разный уровень сложности, есть видео-туторы и весь нужный код — идеально для тренировки навыков.
Это бесплатно, забираем
У проектов разный уровень сложности, есть видео-туторы и весь нужный код — идеально для тренировки навыков.
Это бесплатно, забираем
😘2
Llama FireWall
https://www.arxiv.org/abs/2505.03574
https://thehackernews.com/2025/04/meta-launches-llamafirewall-framework.html
https://ai.meta.com/research/publications/llamafirewall-an-open-source-guardrail-system-for-building-secure-ai-agents/
https://www.arxiv.org/abs/2505.03574
https://thehackernews.com/2025/04/meta-launches-llamafirewall-framework.html
https://ai.meta.com/research/publications/llamafirewall-an-open-source-guardrail-system-for-building-secure-ai-agents/
arXiv.org
LlamaFirewall: An open source guardrail system for building secure...
Large language models (LLMs) have evolved from simple chatbots into autonomous agents capable of performing complex tasks such as editing production code, orchestrating workflows, and taking...
Forwarded from AISecHub
Agent Name Service (ANS) for Secure Al Agent Discovery.pdf
1.7 MB
Agent Name Service (ANS) for Secure Al Agent Discovery
The Agent Name Service (ANS), developed under the OWASP GenAI Security Project – Agentic Security Initiative, introduces a secure, DNS-inspired framework for AI agent discovery. ANS leverages Public Key Infrastructure (PKI) for identity verification, structured JSON schemas for communication, and a protocol adapter layer supporting A2A, MCP, and ACP protocols.
The architecture defines a comprehensive naming structure (ANSName) that encodes protocol, agent capability, provider, and version metadata, enabling consistent, secure resolution across diverse agent networks. Security measures include PKI-backed identity verification, digital signatures, and Zero-Knowledge Proofs (ZKP) for capability validation.
The Agent Name Service (ANS), developed under the OWASP GenAI Security Project – Agentic Security Initiative, introduces a secure, DNS-inspired framework for AI agent discovery. ANS leverages Public Key Infrastructure (PKI) for identity verification, structured JSON schemas for communication, and a protocol adapter layer supporting A2A, MCP, and ACP protocols.
The architecture defines a comprehensive naming structure (ANSName) that encodes protocol, agent capability, provider, and version metadata, enabling consistent, secure resolution across diverse agent networks. Security measures include PKI-backed identity verification, digital signatures, and Zero-Knowledge Proofs (ZKP) for capability validation.
Forwarded from Security Harvester
I built Mithra: a security scanner for LLM-integrated APIs (detects prompt injection, DAN..)
https://mithrasec.com:
1. It detects risks unique to AI-enabled APIs—such as prompt injection, context bleeding, over-permissive output, and misuse potential—before attackers exploit them.
2. Finds vulnerabilities where user input may alter LLM behavior, responses, or access control logic.
3. Get your AI Vulnerability Database Taxonomy (AVID) and OWASP Top 10 for Large Language Model Applications report in minutes.
@secharvester
https://mithrasec.com:
1. It detects risks unique to AI-enabled APIs—such as prompt injection, context bleeding, over-permissive output, and misuse potential—before attackers exploit them.
2. Finds vulnerabilities where user input may alter LLM behavior, responses, or access control logic.
3. Get your AI Vulnerability Database Taxonomy (AVID) and OWASP Top 10 for Large Language Model Applications report in minutes.
@secharvester
ALERT: A Framework for Efcient Extraction of Attack Techniques from Cyber Threat Intelligence Reports Using Active Learning
by NIST
https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958028
by NIST
https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958028
Forwarded from AISecHub
The Vulnerable MCP Project
A community-maintained database of known vulnerabilities, limitations, and security concerns with the Model Context Protocol (MCP)
vulnerablemcp.info
A community-maintained database of known vulnerabilities, limitations, and security concerns with the Model Context Protocol (MCP)
vulnerablemcp.info
Два определения агентов из статей 2023 года, в которых описываются агенты: LLM-агенты для планирования задач и использования инструментов (TPTU) и агенты когнитивной архитектуры (CoALA).
CoALA определяет "языковых агентов" как "систему искусственного интеллекта, которая использует LLM для взаимодействия с миром".
TPTU: агент - это "программа, использующая методы искусственного интеллекта для выполнения задач, которые обычно требуют человекоподобного интеллекта"
CoALA определяет "языковых агентов" как "систему искусственного интеллекта, которая использует LLM для взаимодействия с миром".
TPTU: агент - это "программа, использующая методы искусственного интеллекта для выполнения задач, которые обычно требуют человекоподобного интеллекта"
👍1
GolDBUG
AI Auditing Framework - IIA.pdf
Governance — первая область фреймворка - основано на подходе организации к стратегическому планированию ИИ и обеспечению надзора и мониторинга за тем, как ИИ планируется, управляется и реализуется руководством. Руководящий орган полагается на информацию, предоставляемую ему службой внутреннего аудита. Внутренние аудиторы должны стремиться к установлению доверительных отношений консультанта с руководящими органами, такими как комитет по аудиту, правление или аналогичный руководящий орган, и эти отношения должны включать в себя новые темы, такие как искусственный интеллект, который создает новые проблемы для надзора.
В области Management в фреймворке описан подход, который организация будет использовать при планировании и внедрении ИИ в организации. Среда внутреннего контроля, окружающая ИИ, устанавливается руководством на “первом этапе”, она также включает стратегические аспекты, такие как постановка целей и задач, связанных с общим стратегическим планом ИИ. Внутренний аудит должен гарантировать, что он понимает стратегическое направление развития искусственного интеллекта в организации и подход руководства к управлению искусственным интеллектом.
Область Управления фреймворка также содержит аспекты мониторинга ИИ “второго уровня”, например, какие аспекты управления рисками предприятия следует учитывать при мониторинге “первого уровня”. Часто ожидается, что внутренний аудит будет участвовать в процессе оценки рисков организации. Эта область будет иметь отношение к внутреннему аудиту, поскольку она поддерживает знания о рисках, связанных с искусственным интеллектом.
Третья область применения фреймворка, Internal Audit, включает аспекты как консультационной деятельности для руководства, так и предоставления услуг по обеспечению достоверности в качестве аудитора (“Третья линия”). Внутренний аудит может использовать фреймворк в качестве отправной точки в обеих областях, когда ему поручено участвовать в заданиях по ИИ
В области Management в фреймворке описан подход, который организация будет использовать при планировании и внедрении ИИ в организации. Среда внутреннего контроля, окружающая ИИ, устанавливается руководством на “первом этапе”, она также включает стратегические аспекты, такие как постановка целей и задач, связанных с общим стратегическим планом ИИ. Внутренний аудит должен гарантировать, что он понимает стратегическое направление развития искусственного интеллекта в организации и подход руководства к управлению искусственным интеллектом.
Область Управления фреймворка также содержит аспекты мониторинга ИИ “второго уровня”, например, какие аспекты управления рисками предприятия следует учитывать при мониторинге “первого уровня”. Часто ожидается, что внутренний аудит будет участвовать в процессе оценки рисков организации. Эта область будет иметь отношение к внутреннему аудиту, поскольку она поддерживает знания о рисках, связанных с искусственным интеллектом.
Третья область применения фреймворка, Internal Audit, включает аспекты как консультационной деятельности для руководства, так и предоставления услуг по обеспечению достоверности в качестве аудитора (“Третья линия”). Внутренний аудит может использовать фреймворк в качестве отправной точки в обеих областях, когда ему поручено участвовать в заданиях по ИИ
🔥2
NeuralDeepXDealer.AI
<unknown>
Встретились как-то два Дяди поболтать за жизнь LLM и GuardRails
Валера тут конечно в лице девушки, а Дядя как всегда брутален!
Посидели тут и послушали разговор еще раз и наконец-то открыли notebooklm.
И сделали вот такую красоту, для вас, чтобы вы тоже могли послушать.
Еще лайфхак как делать тайминги).
00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре
Upd. Залили mp3, яблочники ликуйте и слушайте.
Валера тут конечно в лице девушки, а Дядя как всегда брутален!
Посидели тут и послушали разговор еще раз и наконец-то открыли notebooklm.
И сделали вот такую красоту, для вас, чтобы вы тоже могли послушать.
Еще лайфхак как делать тайминги).
00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре
Upd. Залили mp3, яблочники ликуйте и слушайте.