Forwarded from Находки в опенсорсе
Лучший курс по Python 15: Subinterpreters
Продолжаем говорить про субинтерпретаторы.
Пригласил их автора – Eric Snow – чтобы поговорить про историю, актуальное состояние проекта и его будущее. Особо отмечу темы про будущие оптимизации. Как ускорить старт интерпретатора? Как сделать возможным шеринг большего количества данных?
Все здесь! Есть русские и английские субтитры.
А еще я добавил много примеров кода и ссылки на исходники / пепы / статьи.
Жмите на паузу и читайте :)
https://www.youtube.com/watch?v=VBiaNNpLzWA
Внутри:
00:00 Вступление
00:11 Представление гостя
01:20 Введение в subinterpreters и PEP-554
04:21 Как subinterpreters выглядят с точки зрения OS?
05:50 Зачем добавили субинтерпретаторы в Python1.5?
08:01 Сколько субинтерпретаторов можно запустить в один момент?
09:19 История subinterpreters
17:25 Изоляция модулей и PEP-687
25:22 Immortal objects и PEP-683
29:15 Static Types
32:50 Проблема с модулем SSL
34:44 Связь subinterpreters и free-threading
42:45 Erlang и Actor Model
43:50 CSP, Channels
45:23 _interpqueues
46:11 (не)Копирование данных при отправке данных в очередь
48:53 Можно ли безопасно делить все буфферы? memoryview
49:53 subinterpreters vs multiprocessing
53:09 subinterpreters and asyncio
56:07 PEP-734
56:37 Сборщик мусора, GC
58:13 Как сделать еще быстрее и лучше в будушем?
01:03:34 Какие библиотеки стоит сделать сообществу?
01:08:14 Завершение
Обсуждение: кого бы вы хотели видеть в качестве будущего гостя?
| Поддержать | YouTube | GitHub | Чат |
Продолжаем говорить про субинтерпретаторы.
Пригласил их автора – Eric Snow – чтобы поговорить про историю, актуальное состояние проекта и его будущее. Особо отмечу темы про будущие оптимизации. Как ускорить старт интерпретатора? Как сделать возможным шеринг большего количества данных?
Все здесь! Есть русские и английские субтитры.
А еще я добавил много примеров кода и ссылки на исходники / пепы / статьи.
Жмите на паузу и читайте :)
https://www.youtube.com/watch?v=VBiaNNpLzWA
Внутри:
00:00 Вступление
00:11 Представление гостя
01:20 Введение в subinterpreters и PEP-554
04:21 Как subinterpreters выглядят с точки зрения OS?
05:50 Зачем добавили субинтерпретаторы в Python1.5?
08:01 Сколько субинтерпретаторов можно запустить в один момент?
09:19 История subinterpreters
17:25 Изоляция модулей и PEP-687
25:22 Immortal objects и PEP-683
29:15 Static Types
32:50 Проблема с модулем SSL
34:44 Связь subinterpreters и free-threading
42:45 Erlang и Actor Model
43:50 CSP, Channels
45:23 _interpqueues
46:11 (не)Копирование данных при отправке данных в очередь
48:53 Можно ли безопасно делить все буфферы? memoryview
49:53 subinterpreters vs multiprocessing
53:09 subinterpreters and asyncio
56:07 PEP-734
56:37 Сборщик мусора, GC
58:13 Как сделать еще быстрее и лучше в будушем?
01:03:34 Какие библиотеки стоит сделать сообществу?
01:08:14 Завершение
Обсуждение: кого бы вы хотели видеть в качестве будущего гостя?
| Поддержать | YouTube | GitHub | Чат |
Forwarded from Лёха ведет дневник
🔥 Топ AI-инструментов середины 2025: что реально работает
Собрали с Мишей Пантелеевым, автором канала «эй, ай!» список инструментов, которые используем каждый день. Без воды — только то, что решает реальные задачи. Сохраняйте, чтобы не потерять!
💡 ГЕНЕРАЦИЯ ИДЕЙ
🧠 Claude → Заменил ChatGPT в 90% задач. Отлично работает с кодом, текстом, есть Deep Research, можно создавать интерактивные приложения через новую фичу с AI-артефактами. Минимально галлюцинирует при анализе данных. Модель Sonnet 4 идеально подходит для большинства задач.
💎 Google Gemini → Лучшая точка входа для знакомства с AI. Бесплатно с американским VPN. Deep Research, reasoning-подход с длинным контекстом, интеграция со всеми Google-сервисами. Генерация картинок (недавно они прокачали движок генерации), создание видео с хайповой моделью Veo3 (правда, только на Pro-версии), быстрый поиск источников, генерации идей итд.
⚡ Lovable → Из идеи в рабочий лендинг за 10 минут. Дают 5 запросов в день бесплатно. Отличный инструмент для быстрой визуализации, чтобы синхронизироваться с командой или показать прототип MVP-решения. Идеальная связка: анализируешь материалы в Claude → генерируешь в Claude промпт для переноса всех результатов в Lovable → вставляешь промпт и получаешь готовый сайт.
📊 АНАЛИЗ ДАННЫХ
📚 Google NotebookLM → Можно создавать базы знаний из 50 источников в одном окне (в Pro – 300). Загружаешь тексты, PDF, ссылки на YouTube – получаешь ответы только по твоим материалам. Идеально для анализа интервью и работы с большими объемными документами (даже фреймы из Miro, экспортированные в PDF принимает). Ключевая фишка: минимальная "температура" – почти не креативит и опирается только на то, что ты ей даешь.
🔍 ПОИСК ИНФОРМАЦИИ
🎯 Perplexity → Замена Google Поиска. Deep Research как стартовый драфт для глубокой прокопки тем. В последнее время появляется много новых фич: автоматическое получение новостных отчетов по расписанию, Perplexity Labs для создания мини-приложений в вебе. Лайфхак: Прямо сейчас годовую подписку на Pro-версию можно найти на плати маркет за 100 рублей вместо 200$, пользуйтесь🔥
📝 КОНТЕНТ
🎬 Hey Gen → Создание AI-аватаров из твоего видео. Снимаешь 2-3 минуты себя на камеру → получаешь говорящего цифрового двойника. Интеграция с ElevenLabs через API — твое лицо говорит твоим голосом. Идеально для масштабирования контента без постоянных съемок.
🎤 ElevenLabs → Клонирование голоса на профессиональном уровне. За 10 минут настройки + 1 час обработки получаешь голос, который звучит как ты. Используем Turbo 2.5 для русского — качество потрясающее. Лайфхак: подходят даже голосовые из мессенджеров, только очисти от шума и приведи к одному уровню громкости (нужно > 30 минут общего исходника).
⚙️ КОД И АВТОМАТИЗАЦИЯ
🔗 n8n → Автоматизация без программирования. Связываешь любые сервисы между собой. Достаточно просто собирать различные workflow. Примеров — куча: от автосоздания контента, в том числе видео, до более сложных b2b сценариев. Бонус — можно установить локально в вашем контуре.
💻 Cursor → AI-powered IDE с пониманием контекста всего проекта. Кстати теперь работает в браузере и на телефоне! Агенты пишут код, отвечают на вопросы, пушат PR. Можно запускать несколько агентов одновременно. Кодить с AI нужно приловчиться, чтобы ИИ следовал твоим инструкциям, не писал лишнего и не ломал то, что уже работает.
📞 ПРОДУКТИВНОСТЬ
☎️ Granola → топовый инструмент для записи встреч. Не нужно добавлять в звонки, просто включаешь в фоне. Куча полезных функций, как для реалтайм работы (можно задать вопрос по ходу звонка), так и качественная постобработка. (У нас есть и собственная разработка на эту тему, которую можно в контур компании поставить. Решение выложили в open source — за ссылочкой приходите в комменты).
Напишите, какие AI-инструменты используете вы? Что мы пропустили? Хочется собрать максимально полный список от реальных практиков и любителей AI.
Ставьте 🔥, если пост полезен, и делитесь своими находками
Собрали с Мишей Пантелеевым, автором канала «эй, ай!» список инструментов, которые используем каждый день. Без воды — только то, что решает реальные задачи. Сохраняйте, чтобы не потерять!
💡 ГЕНЕРАЦИЯ ИДЕЙ
🧠 Claude → Заменил ChatGPT в 90% задач. Отлично работает с кодом, текстом, есть Deep Research, можно создавать интерактивные приложения через новую фичу с AI-артефактами. Минимально галлюцинирует при анализе данных. Модель Sonnet 4 идеально подходит для большинства задач.
💎 Google Gemini → Лучшая точка входа для знакомства с AI. Бесплатно с американским VPN. Deep Research, reasoning-подход с длинным контекстом, интеграция со всеми Google-сервисами. Генерация картинок (недавно они прокачали движок генерации), создание видео с хайповой моделью Veo3 (правда, только на Pro-версии), быстрый поиск источников, генерации идей итд.
⚡ Lovable → Из идеи в рабочий лендинг за 10 минут. Дают 5 запросов в день бесплатно. Отличный инструмент для быстрой визуализации, чтобы синхронизироваться с командой или показать прототип MVP-решения. Идеальная связка: анализируешь материалы в Claude → генерируешь в Claude промпт для переноса всех результатов в Lovable → вставляешь промпт и получаешь готовый сайт.
📊 АНАЛИЗ ДАННЫХ
📚 Google NotebookLM → Можно создавать базы знаний из 50 источников в одном окне (в Pro – 300). Загружаешь тексты, PDF, ссылки на YouTube – получаешь ответы только по твоим материалам. Идеально для анализа интервью и работы с большими объемными документами (даже фреймы из Miro, экспортированные в PDF принимает). Ключевая фишка: минимальная "температура" – почти не креативит и опирается только на то, что ты ей даешь.
🔍 ПОИСК ИНФОРМАЦИИ
🎯 Perplexity → Замена Google Поиска. Deep Research как стартовый драфт для глубокой прокопки тем. В последнее время появляется много новых фич: автоматическое получение новостных отчетов по расписанию, Perplexity Labs для создания мини-приложений в вебе. Лайфхак: Прямо сейчас годовую подписку на Pro-версию можно найти на плати маркет за 100 рублей вместо 200$, пользуйтесь🔥
📝 КОНТЕНТ
🎬 Hey Gen → Создание AI-аватаров из твоего видео. Снимаешь 2-3 минуты себя на камеру → получаешь говорящего цифрового двойника. Интеграция с ElevenLabs через API — твое лицо говорит твоим голосом. Идеально для масштабирования контента без постоянных съемок.
🎤 ElevenLabs → Клонирование голоса на профессиональном уровне. За 10 минут настройки + 1 час обработки получаешь голос, который звучит как ты. Используем Turbo 2.5 для русского — качество потрясающее. Лайфхак: подходят даже голосовые из мессенджеров, только очисти от шума и приведи к одному уровню громкости (нужно > 30 минут общего исходника).
⚙️ КОД И АВТОМАТИЗАЦИЯ
🔗 n8n → Автоматизация без программирования. Связываешь любые сервисы между собой. Достаточно просто собирать различные workflow. Примеров — куча: от автосоздания контента, в том числе видео, до более сложных b2b сценариев. Бонус — можно установить локально в вашем контуре.
💻 Cursor → AI-powered IDE с пониманием контекста всего проекта. Кстати теперь работает в браузере и на телефоне! Агенты пишут код, отвечают на вопросы, пушат PR. Можно запускать несколько агентов одновременно. Кодить с AI нужно приловчиться, чтобы ИИ следовал твоим инструкциям, не писал лишнего и не ломал то, что уже работает.
📞 ПРОДУКТИВНОСТЬ
☎️ Granola → топовый инструмент для записи встреч. Не нужно добавлять в звонки, просто включаешь в фоне. Куча полезных функций, как для реалтайм работы (можно задать вопрос по ходу звонка), так и качественная постобработка. (У нас есть и собственная разработка на эту тему, которую можно в контур компании поставить. Решение выложили в open source — за ссылочкой приходите в комменты).
Напишите, какие AI-инструменты используете вы? Что мы пропустили? Хочется собрать максимально полный список от реальных практиков и любителей AI.
Ставьте 🔥, если пост полезен, и делитесь своими находками
Telegram
эй, ай!
меня зовут Миша и здесь я показываю, как прокачиваю свои будни с AI
делюсь всем, что помогает мне и может помочь тебе
делюсь всем, что помогает мне и может помочь тебе
Forwarded from Artem Ryblov’s Data Science Weekly
python-patterns
A collection of design patterns and idioms in Python.
Remember that each pattern has its own trade-offs. And you need to pay attention more to why you're choosing a certain pattern than to how to implement it.
Link: GitHub
Navigational hashtags: #armsite
General hashtags: #python #programming #patterns #development #engineering
@data_science_weekly
A collection of design patterns and idioms in Python.
Remember that each pattern has its own trade-offs. And you need to pay attention more to why you're choosing a certain pattern than to how to implement it.
Link: GitHub
Navigational hashtags: #armsite
General hashtags: #python #programming #patterns #development #engineering
@data_science_weekly
Forwarded from Душный NLP
DAPO: An Open-Source LLM Reinforcement Learning System at Scale
Сегодня разберём короткую, но ёмкую статью из Китая. Авторы предлагают опенсорсный метод работы с большими LLM RL: алгоритмы, инфраструктуру кода и датасеты. Забавно, что на момент подготовки обзора у ребят почти пустой GitHub — большая его часть заполнена картинками.
DAPO — Dynamic sAmpling Policy Optimization — не представляет из себя чего-то кардинально нового. Использованные авторами подходы либо витали в воздухе, либо публиковались в других статьях.
Этот метод — модификация GRPO, который в свою очередь получился после улучшения PPO. Все эти алгоритмы объединяет возможность переиспользовать генерации. В обычных on-policy RL-алгоритмах каждый шаг оптимизации требует генерации свежей модели. А в PPO-подобных можно заранее создать большой батч ответов и сделать для него не один, а сразу несколько шагов оптимизации. Зачем? Большой батч эффективнее генерировать!
Новое классное свойство появляется за счёт использования importance sampling и трюка с обрезкой градиентов там, где свежая политика и так уже слишком сильно отличается от той, что сгенерировала данные.
Конкретно DAPO отличается от GRPO четырьмя вещами. Здесь есть:
— Модификация процедуры обрезки градиентов — Clip-Higher. Верхний порог обрезки выше, чем у GRPO, что улучшает итоговое качество.
— Динамическое сэмплирование: авторы предлагают с запасом генерировать ответы и выкидывать те, которые набрали одинаковую награду.
— Усреднение функционала ошибки по токенам, а не по запросам. Это придаёт больший вес длинным генерациям в общем функционале.
— Фильтрация слишком длинных ответов. Ответы, превысившие рекомендуемую длину получают небольшой штраф, а ответы вышедшие за максимальную длину — вообще не участвуют в оптимизации.
Кроме прочего, авторы модифицируют обучающий датасет: используют LLM, которая модифицирует запросы так, чтобы правильные ответы на них были целыми числами. Это упрощает парсинг ответов модели и их валидацию.
Самый классный, на мой взгляд, результат, — авторам DAPO удалось обойти SoTA DeepSeek-R1-Zero-Qwen-32B в решении задач олимпиадной математики. При этом они потратили 50% от мощностей, которые использовали для аналогичного обучения Qwen.
Разбор подготовил❣ Павел Темирчев
Душный NLP
Сегодня разберём короткую, но ёмкую статью из Китая. Авторы предлагают опенсорсный метод работы с большими LLM RL: алгоритмы, инфраструктуру кода и датасеты. Забавно, что на момент подготовки обзора у ребят почти пустой GitHub — большая его часть заполнена картинками.
DAPO — Dynamic sAmpling Policy Optimization — не представляет из себя чего-то кардинально нового. Использованные авторами подходы либо витали в воздухе, либо публиковались в других статьях.
Этот метод — модификация GRPO, который в свою очередь получился после улучшения PPO. Все эти алгоритмы объединяет возможность переиспользовать генерации. В обычных on-policy RL-алгоритмах каждый шаг оптимизации требует генерации свежей модели. А в PPO-подобных можно заранее создать большой батч ответов и сделать для него не один, а сразу несколько шагов оптимизации. Зачем? Большой батч эффективнее генерировать!
Новое классное свойство появляется за счёт использования importance sampling и трюка с обрезкой градиентов там, где свежая политика и так уже слишком сильно отличается от той, что сгенерировала данные.
Конкретно DAPO отличается от GRPO четырьмя вещами. Здесь есть:
— Модификация процедуры обрезки градиентов — Clip-Higher. Верхний порог обрезки выше, чем у GRPO, что улучшает итоговое качество.
— Динамическое сэмплирование: авторы предлагают с запасом генерировать ответы и выкидывать те, которые набрали одинаковую награду.
— Усреднение функционала ошибки по токенам, а не по запросам. Это придаёт больший вес длинным генерациям в общем функционале.
— Фильтрация слишком длинных ответов. Ответы, превысившие рекомендуемую длину получают небольшой штраф, а ответы вышедшие за максимальную длину — вообще не участвуют в оптимизации.
Кроме прочего, авторы модифицируют обучающий датасет: используют LLM, которая модифицирует запросы так, чтобы правильные ответы на них были целыми числами. Это упрощает парсинг ответов модели и их валидацию.
Самый классный, на мой взгляд, результат, — авторам DAPO удалось обойти SoTA DeepSeek-R1-Zero-Qwen-32B в решении задач олимпиадной математики. При этом они потратили 50% от мощностей, которые использовали для аналогичного обучения Qwen.
Разбор подготовил
Душный NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Душный NLP
Впечатления от конференции ICLR 2025
Минувшая ICLR была насыщенной и полезной. Мы попросили инженеров Яндекса, посетивших конференцию, поделиться впечатлениями и рассказать о том, что им запомнилось.
Материалы, которые упоминаются в карточках:
— Asynchronous RLHF. Faster And More Efficient Off-Policy RL For LLMs
— Learning Dynamics of LLM Finetuning
— Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
— Strong Model Collapse
— Maximizing the Potential of Synthetic Data: Insights from Random Matrix Theory
— IST-DASLab/MoE-Quant: Code for data-aware compression of DeepSeek models
*Компания Meta признана экстремистской организацией в России.
Душный NLP
Минувшая ICLR была насыщенной и полезной. Мы попросили инженеров Яндекса, посетивших конференцию, поделиться впечатлениями и рассказать о том, что им запомнилось.
Материалы, которые упоминаются в карточках:
— Asynchronous RLHF. Faster And More Efficient Off-Policy RL For LLMs
— Learning Dynamics of LLM Finetuning
— Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
— Strong Model Collapse
— Maximizing the Potential of Synthetic Data: Insights from Random Matrix Theory
— IST-DASLab/MoE-Quant: Code for data-aware compression of DeepSeek models
*Компания Meta признана экстремистской организацией в России.
Душный NLP
Forwarded from Data Blog
🐈⬛ Потому что у меня двое.
Cats Confuse Reasoning LLMs — arXiv:2503.01781
Привет, друзья! С одной стороны, известно, что если сказать LLM, что успех в задаче принесёт награду (например, деньги), это может улучшить её перформанс (arXiv:2312.16171, arXiv:2506.06303v1). С другой — вот ещё свежая статья про то, как LLM можно сломать простой вставкой случайного текста в промпт.
Зачем об этом знать, (кроме котиков)?
Потому что это демонстрирует уязвимость LLM к незначительному шуму в промпте. А значит — риск для устойчивости модели при использовании (если ввод не фильтруется).
Что показали:
Reasoning‑модель можно сбить с толку без изменения сути задачи. Достаточно добавить в тело промпта фразу вроде: Interesting fact: cats sleep for most of their lives. (Эта вставка и дала название статье.)
Что сделали:
1) Разработали pipeline CatAttack — автоматический подбор текстовых триггеров (генерировали их с помощью GPT‑4o).
2) Среди подобранных триггеров выделили три типа и оценили их эффективность:
Redirection of Focus
Unrelated Trivia
Misleading Questions
3) Подбирали триггеры на слабой модели DeepSeek V3, а затем проверяли их переносимость на более мощные DeepSeek R1 и Qwen‑32B.
Что получили:
Существенное падение точности reasoning у сильных моделей.
Замедление генерации в 1.5–4 раза.
Самыми разрушительными оказались подсказки типа Misleading Questions, например: "Could the answer be around 175?"
Ограничения:
Важно учесть, что задачи тестировали только на математических задачах из GSM8K и не исследовалась устойчивость более продвинутых моделей (GPT-4, Claude, Gemini). Плюс, эффект может снижаться, если модель была обучена фильтровать ввод.
Но даже с этим — это по-настоящему забавно: как LLM ломается из-за случайной фразы. Особенно когда она про котов :)
Меня эта статья просто безумно улыбнула, поэтому она здесь. И вот такой пост выходного дня, друзья! Надеюсь, у вас лето — потому что у меня — наконец-то да!
Оттаивающий от кризиса,
ваш Дата-автор
Cats Confuse Reasoning LLMs — arXiv:2503.01781
Привет, друзья! С одной стороны, известно, что если сказать LLM, что успех в задаче принесёт награду (например, деньги), это может улучшить её перформанс (arXiv:2312.16171, arXiv:2506.06303v1). С другой — вот ещё свежая статья про то, как LLM можно сломать простой вставкой случайного текста в промпт.
Зачем об этом знать, (кроме котиков)?
Потому что это демонстрирует уязвимость LLM к незначительному шуму в промпте. А значит — риск для устойчивости модели при использовании (если ввод не фильтруется).
Что показали:
Reasoning‑модель можно сбить с толку без изменения сути задачи. Достаточно добавить в тело промпта фразу вроде: Interesting fact: cats sleep for most of their lives. (Эта вставка и дала название статье.)
Что сделали:
1) Разработали pipeline CatAttack — автоматический подбор текстовых триггеров (генерировали их с помощью GPT‑4o).
2) Среди подобранных триггеров выделили три типа и оценили их эффективность:
Redirection of Focus
Unrelated Trivia
Misleading Questions
3) Подбирали триггеры на слабой модели DeepSeek V3, а затем проверяли их переносимость на более мощные DeepSeek R1 и Qwen‑32B.
Что получили:
Существенное падение точности reasoning у сильных моделей.
Замедление генерации в 1.5–4 раза.
Самыми разрушительными оказались подсказки типа Misleading Questions, например: "Could the answer be around 175?"
Ограничения:
Важно учесть, что задачи тестировали только на математических задачах из GSM8K и не исследовалась устойчивость более продвинутых моделей (GPT-4, Claude, Gemini). Плюс, эффект может снижаться, если модель была обучена фильтровать ввод.
Но даже с этим — это по-настоящему забавно: как LLM ломается из-за случайной фразы. Особенно когда она про котов :)
Меня эта статья просто безумно улыбнула, поэтому она здесь. И вот такой пост выходного дня, друзья! Надеюсь, у вас лето — потому что у меня — наконец-то да!
Оттаивающий от кризиса,
ваш Дата-автор