Please open Telegram to view this post
VIEW IN TELEGRAM
Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.
Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.
Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.
Я уже давно работаю с FireDucks
Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.
Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :
import fireducks.pandas as pd
Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:
python
$ python -mfireducks.imhook yourfile[.]py
FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.
Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.
FireDucks побеждает с отрывом.
⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks
⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo
⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb
⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/
#fireducks #Pandas #dataanalysis #datascience #python #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ZyphraAI только что выпустили - лицензированную Apache 2.0, многоязычную модель Zonos для преобразования текста в речь с МГНОВЕННЫМ клонированием голоса! 🔥
> TTS с нулевой скоростью задержки и клонированием голоса: введите текст и 10–30-секундный образец речи для создания высококачественной генерации текста в речь
> Качество звука и контроль эмоций: точная настройка скорости речи, высоты тона, частоты, качества звука и эмоций (например, счастья, гнева, грусти, страха)
> Позволяет реализовать такие фишки, как шепот, которые трудно реализовать с помощью одного лишь клонирования голоса.
> Многоязычная поддержка: поддерживает английский, японский, китайский, французский и немецкий языки.
> Высокая производительность: работает примерно в 2 раза быстрее реального времени на RTX 4090
> Доступно на Hugging Face Hub 🤗
https://huggingface.co/Zyphra/Zonos-v0.1-hybrid
#ai #ml #tts #opensource #ZyphraAI
> TTS с нулевой скоростью задержки и клонированием голоса: введите текст и 10–30-секундный образец речи для создания высококачественной генерации текста в речь
> Качество звука и контроль эмоций: точная настройка скорости речи, высоты тона, частоты, качества звука и эмоций (например, счастья, гнева, грусти, страха)
> Позволяет реализовать такие фишки, как шепот, которые трудно реализовать с помощью одного лишь клонирования голоса.
> Многоязычная поддержка: поддерживает английский, японский, китайский, французский и немецкий языки.
> Высокая производительность: работает примерно в 2 раза быстрее реального времени на RTX 4090
> Доступно на Hugging Face Hub 🤗
apt install espeak-nghttps://huggingface.co/Zyphra/Zonos-v0.1-hybrid
#ai #ml #tts #opensource #ZyphraAI
📚 "Painful intelligence: What AI can tell us about human suffering
Эта бесплатная книга — путеводитель по миру машинного обучения!
Основное, что в ней рассматривается:
• Базовые концепции: Алгоритмы, математические основы и принципы построения моделей.
• Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей.
• Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования.
• Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности.
Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов.
📚 Книга
@data_analysis_ml
#freebook #book #ai #ml #machinelearning #opensource
Эта бесплатная книга — путеводитель по миру машинного обучения!
Основное, что в ней рассматривается:
• Базовые концепции: Алгоритмы, математические основы и принципы построения моделей.
• Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей.
• Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования.
• Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности.
Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов.
📚 Книга
@data_analysis_ml
#freebook #book #ai #ml #machinelearning #opensource
🎉 Выпущен Техрепорт Wan! 🚀
📖 https://arxiv.org/abs/2503.20314
Wan 2.1 — это открытый инструмент для генерации видео от Alibaba.
В отчете описана архитектура модели, конвейер обработки данных, обучение модели, повышение ее эффективности, алгоритм редактирования видео и т. д.
🟢 Официальный сайт: https://wan.video
🟢 Github: https://github.com/Wan-Video/Wan2.1
🟢 HF: https://huggingface.co/Wan-AI
🟢 Modelscope: https://modelscope.cn/organization/Wan-AI
#WAN #OpenSource #VideoGeneration
📖 https://arxiv.org/abs/2503.20314
Wan 2.1 — это открытый инструмент для генерации видео от Alibaba.
В отчете описана архитектура модели, конвейер обработки данных, обучение модели, повышение ее эффективности, алгоритм редактирования видео и т. д.
#WAN #OpenSource #VideoGeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ OpenDeepSearch (ODS) — это открытый поисковый агент, разработанный для интеграции с любыми большими языковыми моделями (LLM).
Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач.
ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search
▪Paper: https://arxiv.org/abs/2503.20201
▪ Code: https://github.com/sentient-agi/OpenDeepSearch
@data_analysis_ml
Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач.
ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search
▪Paper: https://arxiv.org/abs/2503.20201
▪ Code: https://github.com/sentient-agi/OpenDeepSearch
@data_analysis_ml
This media is not supported in your browser
VIEW IN TELEGRAM
reTermAI — это умный ассистент для zsh и bash, который подсказывает команды прямо в терминале на основе вашей истории.
Полезно, если часто забываешь синтаксис или хочешь ускорить работу с CLI.
🚀 Что умеет:
▪ ИИ-рекомендации команд по истории
▪ Поддержка частичного ввода
▪ Выбор LLM (можно подключить свой)
▪ Гибкая адаптация под рабочий процесс
▪ Совместим с zsh и bash
📦 Установил — и терминал стал умнее.
Отличный инструмент для девелоперов, админов и всех, кто живёт в консоли.
pip install reterm-ai🔗 Github
#terminal #cli #bash #zsh #LLM #opensource #reTermAI #ai
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 LTX-Video 13B — один из самых мощных open-source видеогенераторов.
Разработчики внедрили в модель мультимасштабный рендеринг.
✅ Обычные генеративные модели видео рендерят всё изображение целиком, одним разрешением.
Когда в сцене много движущихся объектов или деталей, модель может "размазать" их, потерять чёткость или неправильно совместить фон и передний план.
📝 А мультимасштабный рендеринг — это параллельная отрисовка картинки на разных уровнях детализации:
один поток отвечает за фон (низкая детализация, большой масштаб),
другой — за объекты в центре, движущиеся элементы (высокая детализация, малый масштаб).
Потом всё объединяется в один кадр, как слои в Photoshop.
🎯 Зачем это нужно?
Фон остаётся стабильным, не "дергается"
Движущиеся объекты остаются чёткими и отдельными от фона
Картинка в целом не разваливается (нет смешивания движений, артефактов)
Такой подход помогает удерживать высокое качество картинки даже при сложном движении — например, если в кадре бежит персонаж на фоне движущегося города.
👉 По сути, это умное раздельное внимание к разным частям кадра, чтобы не терять детали ни в статике, ни в движении.
Что нового?
– Модель 13 миллиардов параметров
– Multiscale rendering → больше деталей, чётче текстуры
– Лучше понимает движение и сцену
– Запускается локально на GPU
– Поддержка keyframes, движения камеры/персонажей, мультисценных секвенций
Запускается даже на RTX 4090.
#AI #videoAI #ltxvideo #deeplearning #generativeAI #opensource #videogeneration
▪Попробовать можно тут→ https://app.ltx.studio/ltx-video
▪Code → https://github.com/Lightricks/LTX-Video
▪Weights → https://huggingface.co/Lightricks/LTX-Video
Разработчики внедрили в модель мультимасштабный рендеринг.
✅ Обычные генеративные модели видео рендерят всё изображение целиком, одним разрешением.
Когда в сцене много движущихся объектов или деталей, модель может "размазать" их, потерять чёткость или неправильно совместить фон и передний план.
📝 А мультимасштабный рендеринг — это параллельная отрисовка картинки на разных уровнях детализации:
один поток отвечает за фон (низкая детализация, большой масштаб),
другой — за объекты в центре, движущиеся элементы (высокая детализация, малый масштаб).
Потом всё объединяется в один кадр, как слои в Photoshop.
🎯 Зачем это нужно?
Фон остаётся стабильным, не "дергается"
Движущиеся объекты остаются чёткими и отдельными от фона
Картинка в целом не разваливается (нет смешивания движений, артефактов)
Такой подход помогает удерживать высокое качество картинки даже при сложном движении — например, если в кадре бежит персонаж на фоне движущегося города.
👉 По сути, это умное раздельное внимание к разным частям кадра, чтобы не терять детали ни в статике, ни в движении.
Что нового?
– Модель 13 миллиардов параметров
– Multiscale rendering → больше деталей, чётче текстуры
– Лучше понимает движение и сцену
– Запускается локально на GPU
– Поддержка keyframes, движения камеры/персонажей, мультисценных секвенций
Запускается даже на RTX 4090.
#AI #videoAI #ltxvideo #deeplearning #generativeAI #opensource #videogeneration
▪Попробовать можно тут→ https://app.ltx.studio/ltx-video
▪Code → https://github.com/Lightricks/LTX-Video
▪Weights → https://huggingface.co/Lightricks/LTX-Video
🤖 best-of-robot-simulators: крупнейший рейтинг симуляторов для робототехники
Проект — это автоматизированная и регулярно обновляемая подборка лучших симуляторов для робототехники на GitHub. Это must-have для всех, кто работает с моделированием и тестированием роботов в виртуальной среде.
🧩 Что внутри:
● 120+ симуляторов в 10 категориях
● Более 300 000 звёзд в сумме
● Автоматическая сортировка по GitHub-метрикам: звёзды, форки, активность
● Обновляется каждую среду
📂 Категории симуляторов:
• Generic Robotics
• Aerial (дроны)
• Maritime (морская робототехника)
• Space
• Domain Specific
• Game engines
• AI-training
• Rendering
• Physics engines
• 2D Simulators
🔍 Примеры известных фреймворков:
• Gazebo, Webots, Isaac Sim, MuJoCo, AirSim, PyBullet
🛠 Полезно для:
• Разработчиков и исследователей
• Студентов робототехники
• Команд, выбирающих движок под проект
• Энтузиастов AI/симуляции
📎 Лицензия: CC-BY-SA 4.0
🌐 Репозиторий
#robotics #AI #simulation #opensource #gazebo #webots #isaacsim #mujoco
Проект — это автоматизированная и регулярно обновляемая подборка лучших симуляторов для робототехники на GitHub. Это must-have для всех, кто работает с моделированием и тестированием роботов в виртуальной среде.
🧩 Что внутри:
● 120+ симуляторов в 10 категориях
● Более 300 000 звёзд в сумме
● Автоматическая сортировка по GitHub-метрикам: звёзды, форки, активность
● Обновляется каждую среду
📂 Категории симуляторов:
• Generic Robotics
• Aerial (дроны)
• Maritime (морская робототехника)
• Space
• Domain Specific
• Game engines
• AI-training
• Rendering
• Physics engines
• 2D Simulators
🔍 Примеры известных фреймворков:
• Gazebo, Webots, Isaac Sim, MuJoCo, AirSim, PyBullet
🛠 Полезно для:
• Разработчиков и исследователей
• Студентов робототехники
• Команд, выбирающих движок под проект
• Энтузиастов AI/симуляции
📎 Лицензия: CC-BY-SA 4.0
🌐 Репозиторий
#robotics #AI #simulation #opensource #gazebo #webots #isaacsim #mujoco
Forwarded from Machine learning Interview
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Теперь можно запускать модели Hugging Face прямо в Google Colab — бесплатно!
Больше не нужно настраивать окружение вручную. Просто заходишь на страницу модели — и нажимаешь "Open in Colab". Всё готово для запуска за секунды.
✅ Отлично подходит для:
- Быстрого теста модели
- Прототипирования и экспериментов
- Обучения и демонстраций
💡 Бонус для разработчиков:
Добавь файл
Пользователи смогут запускать твой пример сразу, без копирования кода!
🔥 Работает с Google Colab — бесплатно, быстро, удобно.
#HuggingFace #Colab #ML #AI #OpenSource #DeepLearning
✔️ Подробнее
@machinelearning_interview
Больше не нужно настраивать окружение вручную. Просто заходишь на страницу модели — и нажимаешь "Open in Colab". Всё готово для запуска за секунды.
✅ Отлично подходит для:
- Быстрого теста модели
- Прототипирования и экспериментов
- Обучения и демонстраций
💡 Бонус для разработчиков:
Добавь файл
notebook.ipynb в свой репозиторий модели — и Hugging Face автоматически подхватит его. Пользователи смогут запускать твой пример сразу, без копирования кода!
🔥 Работает с Google Colab — бесплатно, быстро, удобно.
#HuggingFace #Colab #ML #AI #OpenSource #DeepLearning
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 PyTorch Distributed Checkpointing теперь поддерживает HuggingFace safetensors
📦 Что произошло:
Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍 В чём была проблема:
• DCP раньше использовал свой собственный формат чекпоинтов
• Чтобы работать с HuggingFace, приходилось писать конвертеры
• Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀 Что изменилось:
• Теперь можно сохранять и загружать модели напрямую в safetensors
• Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.)
• Интеграция уже улучшила UX в
🛠 Как использовать:
• Просто передай новый load planner и storage reader в
• И аналогично — save planner + writer для
• Всё остальное работает как раньше
📈 Что это даёт:
• Меньше костылей и меньше кода
• Единый формат чекпоинтов для HF и PyTorch
• Более гибкие и производительные пайплайны
#PyTorch #HuggingFace #safetensors #ML #checkpointing #opensource
https://pytorch.org/blog/huggingface-safetensors-support-in-pytorch-distributed-checkpointing
@data_analysis_ml
📦 Что произошло:
Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍 В чём была проблема:
• DCP раньше использовал свой собственный формат чекпоинтов
• Чтобы работать с HuggingFace, приходилось писать конвертеры
• Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀 Что изменилось:
• Теперь можно сохранять и загружать модели напрямую в safetensors
• Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.)
• Интеграция уже улучшила UX в
torchtune, став первым пользователем новой фичи🛠 Как использовать:
• Просто передай новый load planner и storage reader в
load() • И аналогично — save planner + writer для
save() • Всё остальное работает как раньше
📈 Что это даёт:
• Меньше костылей и меньше кода
• Единый формат чекпоинтов для HF и PyTorch
• Более гибкие и производительные пайплайны
#PyTorch #HuggingFace #safetensors #ML #checkpointing #opensource
https://pytorch.org/blog/huggingface-safetensors-support-in-pytorch-distributed-checkpointing
@data_analysis_ml