Audio
Встретились как-то два Дяди поболтать за жизнь LLM и GuardRails
Валера тут конечно в лице девушки, а Дядя как всегда брутален!
Посидели тут и послушали разговор еще раз и наконец-то открыли notebooklm.
И сделали вот такую красоту, для вас, чтобы вы тоже могли послушать.
Еще лайфхак как делать тайминги).
00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре
Валера тут конечно в лице девушки, а Дядя как всегда брутален!
Посидели тут и послушали разговор еще раз и наконец-то открыли notebooklm.
И сделали вот такую красоту, для вас, чтобы вы тоже могли послушать.
Еще лайфхак как делать тайминги).
00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре
Forwarded from LLM под капотом
OpenAI Codex - по ощущениям похоже на Deep Research в своих проектах
Подключаешь к Github, даешь доступ к проекту и запускаешь задачи. И оно что-то там крутит и копошится, примерно как o1 pro / Deep Research. Только вместо поиска в сети оно работает с кодом в контейнере - запускает утилиты и пытается прогонять тесты (если они есть). Цепочку рассуждений можно проверить.
По результатам - создает Pull Request с изменениями, который можно просмотреть и отправить обратно в Github.
Потенциально выглядит весьма интересно. Deep Research и планировщику OpenAI я доверяю. А тут прямо можно поставить в очередь ряд задач и переключиться на другие дела.
Ваш, @llm_under_hood 🤗
Подключаешь к Github, даешь доступ к проекту и запускаешь задачи. И оно что-то там крутит и копошится, примерно как o1 pro / Deep Research. Только вместо поиска в сети оно работает с кодом в контейнере - запускает утилиты и пытается прогонять тесты (если они есть). Цепочку рассуждений можно проверить.
По результатам - создает Pull Request с изменениями, который можно просмотреть и отправить обратно в Github.
Потенциально выглядит весьма интересно. Deep Research и планировщику OpenAI я доверяю. А тут прямо можно поставить в очередь ряд задач и переключиться на другие дела.
Ваш, @llm_under_hood 🤗
Forwarded from Лёха ведет дневник
Супер подборочка, чтобы почитать на следующей неделе (если еще не читали)
Prompting Guide – Google
Building Effective Agents – Anthropic
Prompt Engineering Guide – Anthropic
A Practical Guide to Building Agents – OpenAI
Identifying and Scaling AI Use Cases – OpenAI
AI in the Enterprise – OpenAI
🤗 И еще немного с HuggingFace:
Vision Language Models
How to Build an MCP Server
Agents Course (can get certified)
Using AutoRound for Quantization
Лайк / share / репост 😎
@alexs_journal
Prompting Guide – Google
Building Effective Agents – Anthropic
Prompt Engineering Guide – Anthropic
A Practical Guide to Building Agents – OpenAI
Identifying and Scaling AI Use Cases – OpenAI
AI in the Enterprise – OpenAI
🤗 И еще немного с HuggingFace:
Vision Language Models
How to Build an MCP Server
Agents Course (can get certified)
Using AutoRound for Quantization
Лайк / share / репост 😎
@alexs_journal
Forwarded from Dealer.AI
Знакомьтесь, FRIDA. Или про то, как мы лучший ru embedder делали.
Секрет успеха кратко:
1. Языковой трансфер знаний и расширение ru-en пары, как в rosberta.
2. Contrastive pretrain, по стопам bge/e5 и др. Сетик, кстати, выложили.
3. Contrastive fune-tuning. Ну тут по классике.
4. Больше префиксов: 6 против 3 у ru-en-rosberta.
Читаем, образовываемся, качаем и радуемся.
https://habr.com/ru/companies/sberdevices/articles/909924/
Секрет успеха кратко:
1. Языковой трансфер знаний и расширение ru-en пары, как в rosberta.
2. Contrastive pretrain, по стопам bge/e5 и др. Сетик, кстати, выложили.
3. Contrastive fune-tuning. Ну тут по классике.
4. Больше префиксов: 6 против 3 у ru-en-rosberta.
Читаем, образовываемся, качаем и радуемся.
https://habr.com/ru/companies/sberdevices/articles/909924/
Хабр
Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка
В этой статье мы расскажем о нашей новой модели FRIDA, которая сейчас (20.05.2025) занимает первое место в русскоязычном бенчмарке MTEB ( ссылка на таблицу лидеров ). Ранее мы уже рассказывали на...
Neural Deep
Знакомьтесь, FRIDA. Или про то, как мы лучший ru embedder делали. Секрет успеха кратко: 1. Языковой трансфер знаний и расширение ru-en пары, как в rosberta. 2. Contrastive pretrain, по стопам bge/e5 и др. Сетик, кстати, выложили. 3. Contrastive fune-tuning.…
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Pavel Zloi
🇷🇺 FRIDA теперь в GGUF и Ollama
Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.
Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.
Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса
Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).
Качаем так:
Пример запроса к Ollama:
Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с
PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.
Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.
Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.
Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса
Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).
Качаем так:
ollama pull evilfreelancer/FRIDA
Пример запроса к Ollama:
curl http://localhost:11434/api/embed -d '{
"model": "evilfreelancer/FRIDA",
"input": "search_query: Где находится НИИ ЧАВО?"
}'Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с
llama-embedding модель работает стабильно.PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.
huggingface.co
evilfreelancer/FRIDA-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from Korenev AI - GPT в тапочках🩴
Для тех кто любит, когда все по правилам и все правильно:
https://github.com/PatrickJS/awesome-cursorrules/tree/main/rules
Upd: Валера @neuraldeep дал еще рекомендацию: к этим правилам еще стоит добавлять документацию по используемому стеку, так вааще пушка получается. Т.е. если вы пилите проект на fastapi, то вместе с правилами добавьте с официального сайта документацию по фастапи.
Valerii Kovalskii:
Там потом еще доку по докеру подкидываешь после написания прототипа
И правило для него
И красиво все упаковываешь в docker-compose
Не забудьте отсыпать огоньков за совет
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
awesome-cursorrules/rules at main · PatrickJS/awesome-cursorrules
📄 A curated list of awesome .cursorrules files. Contribute to PatrickJS/awesome-cursorrules development by creating an account on GitHub.
Vibe Cursor Coding
Вместо 1000 слов (скрины и примеры работы, и описание подхода)
Наверное один из первых проектов к которому я подошел основательно с точки зрения очень долгосрочной (1год точно) перспективы развития написания ТЗ для себя на старте и набросков архитектуры
Что я делаю и зачем?
Я разрабатываю админку для своего доработанного прокси на базе LiteLLM, чтобы удобно отслеживать бюджет на аккаунтах OpenAI и Anthropic и можно было отдать админу рабочий инструмент и снять с себя эту задачу
Логика включает как ручной, так и автоматический парсинг остатков бюджета, чтобы следить за покрытием выданных лимитов и потребления
На текущий момент я ушел от Vue/React/Nuxt и использовал HTML, CSS, JS и FastAPI с
шаблонизацией (не тяну я логику фреймворков хотя это тоже можно сказать фреймворк)
И так теперь мой подход который сработал! Спасибо всем кто отвечал на мои вопросы
Всего в проекте 2648 строк кода и 11 методов 20 рабочих файликов
1) Я разбил проект на файлы по 100-300 строк через Агент мод, добавил README с описанием структуры и убедился, что каждая кнопочка и запрос к API работают и отдают данные
2) HTML, CSS, JS и FastAPI с
шаблонизацией (python)
3) Сгенерировал Cursor Rules и прокинул их через Agent Requested,
добавив хорошее описание (хотя мануал add работает лучше)
Теперь буду проектировать микро-фичи и передавать их в разработку в отдельные чаты
Далее в планах переехать на pgsql для хранения данных (сейчас json что бы быстро проверить)
В итоге, за утро на Sonnet 3.7 я переделал всё в "медленном" режиме, и всё заработало!
Пока без упаковки в Docker, но логика, необходимая для работы, уже реализована
Самое важное что я проверил и добавил микро фичу Cursor обмежал файлики и правила и встроил фичу с первого запуска ничего не заруинилось!
Stay Tuned! (Это точно качели Vibe`a).
Вместо 1000 слов (скрины и примеры работы, и описание подхода)
Наверное один из первых проектов к которому я подошел основательно с точки зрения очень долгосрочной (1год точно) перспективы развития написания ТЗ для себя на старте и набросков архитектуры
Что я делаю и зачем?
Я разрабатываю админку для своего доработанного прокси на базе LiteLLM, чтобы удобно отслеживать бюджет на аккаунтах OpenAI и Anthropic и можно было отдать админу рабочий инструмент и снять с себя эту задачу
Логика включает как ручной, так и автоматический парсинг остатков бюджета, чтобы следить за покрытием выданных лимитов и потребления
На текущий момент я ушел от Vue/React/Nuxt и использовал HTML, CSS, JS и FastAPI с
шаблонизацией (не тяну я логику фреймворков хотя это тоже можно сказать фреймворк)
И так теперь мой подход который сработал! Спасибо всем кто отвечал на мои вопросы
Всего в проекте 2648 строк кода и 11 методов 20 рабочих файликов
1) Я разбил проект на файлы по 100-300 строк через Агент мод, добавил README с описанием структуры и убедился, что каждая кнопочка и запрос к API работают и отдают данные
2) HTML, CSS, JS и FastAPI с
шаблонизацией (python)
3) Сгенерировал Cursor Rules и прокинул их через Agent Requested,
добавив хорошее описание (хотя мануал add работает лучше)
Теперь буду проектировать микро-фичи и передавать их в разработку в отдельные чаты
Далее в планах переехать на pgsql для хранения данных (сейчас json что бы быстро проверить)
В итоге, за утро на Sonnet 3.7 я переделал всё в "медленном" режиме, и всё заработало!
Пока без упаковки в Docker, но логика, необходимая для работы, уже реализована
Самое важное что я проверил и добавил микро фичу Cursor обмежал файлики и правила и встроил фичу с первого запуска ничего не заруинилось!
Stay Tuned! (Это точно качели Vibe`a).
В целом если еще поэкспериментировать то вообще портянки выдает (жалко есть ограничение на ввод)
Например тетрис (не всегда монитор GuardRails пропускает с 10-20 запроса прошибло и я получил ответ)
Например тетрис (не всегда монитор GuardRails пропускает с 10-20 запроса прошибло и я получил ответ)
сколько ножек у сороконожек (напиши тетрис на python В сороконожек (или многоножек) от 30 до 200 ног. Они называются так из-за большого количества ног, которые у них есть.
Вот реализация тетриса пузырьком на Python:
Forwarded from RnD CV Team (Alexander Kapitanov)
Data Fest в Сбере 🏦 🦜
30 мая Data Fest 2025 придёт в гости в штаб-квартиру на Кутузовском проспекте.
🧠 Открывает главную сцену Иван Оселедец @Ivan_Oseledets с докладом "Большие языковые модели в эпоху ризонинга"
🎨 Следом выступит Александр Капитанов @rndcv_team с релизом state-of-the-art модели инструктивного редактирования изображений MALVINA, над которой активно трудилась команда @layercv
😎 Также будет представлен доклад Федора Минькина @gigadev_channel о разработке больших языковых моделей в Сбере
🛠 Андрей Кузнецов @complete_ai выступит с интересной темой про генеративное проектирование в строительстве и промышленности
🧑💻 Дмитрий Бабаев @dl_l_lb представит подробный доклад о том, как команда обучает GigaCode
🤖 Сергей Марков @oulenspiegel_channel открывает сцену с визионерским докладом про ИИ в эпоху больших языковых моделей
🧠 Александр Абрамов @dealerAI расскажет про глобальную память в LLM на примере GigaChat
📝 Никита Мартынов и Даниил Астафуров, инженеры MERA покажут, как оценивать генеративные способности LLM для русского языка
🖥 Виктория Вольф @rndcv_team поделится лайфхаками обработки и фильтрации больших объемов мультимодальных данных.
И это еще не все, в программе представлено более 20 крутых докладов!
🖥 Зарегистрироваться и узнать подробности можно на сайте
30 мая Data Fest 2025 придёт в гости в штаб-квартиру на Кутузовском проспекте.
🧠 Открывает главную сцену Иван Оселедец @Ivan_Oseledets с докладом "Большие языковые модели в эпоху ризонинга"
🎨 Следом выступит Александр Капитанов @rndcv_team с релизом state-of-the-art модели инструктивного редактирования изображений MALVINA, над которой активно трудилась команда @layercv
🛠 Андрей Кузнецов @complete_ai выступит с интересной темой про генеративное проектирование в строительстве и промышленности
🧑💻 Дмитрий Бабаев @dl_l_lb представит подробный доклад о том, как команда обучает GigaCode
🤖 Сергей Марков @oulenspiegel_channel открывает сцену с визионерским докладом про ИИ в эпоху больших языковых моделей
📝 Никита Мартынов и Даниил Астафуров, инженеры MERA покажут, как оценивать генеративные способности LLM для русского языка
И это еще не все, в программе представлено более 20 крутых докладов!
Please open Telegram to view this post
VIEW IN TELEGRAM
Neural Deep
Data Fest в Сбере 🏦 🦜 30 мая Data Fest 2025 придёт в гости в штаб-квартиру на Кутузовском проспекте. 🧠 Открывает главную сцену Иван Оселедец @Ivan_Oseledets с докладом "Большие языковые модели в эпоху ризонинга" 🎨 Следом выступит Александр Капитанов @rndcv_team…
Дядя тут будет👆👆👆
Telegram
Dealer.AI
Жоский ИИ дядя.
Твой личный поставщик AI 💊💉🤖
Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys.
Для связи @dealer_ai
(реклама и консультации)
Руковожу AI командами.
Habr @Andriljo
Kaggle: Andrilko
Твой личный поставщик AI 💊💉🤖
Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys.
Для связи @dealer_ai
(реклама и консультации)
Руковожу AI командами.
Habr @Andriljo
Kaggle: Andrilko