Анализ данных (Data analysis)
45.2K subscribers
2.03K photos
205 videos
1 file
1.83K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy
📕 Свежий интерактивный учебник по работе с Ollama с использованием Qwen 2.5 14B! 3 главы готовы и еще больше на подходе 🔥

Учение был вдохновлен урокам от Anthropic.

📌 Github

@data_analysis_ml
This media is not supported in your browser
VIEW IN TELEGRAM
🔍 Полезный инструмент, который преобразовывает ваши jpg фото в высококачественные svg изображения!

🔗 Ссылка: *клик*

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 MagicDriveDiT — отличная модель, которая может генерировать видеоролики уличных сцен в высоком разрешении для обучения беспилотных автомобилей!

🔗 Страница проекта: *клик*
🖥 Исходный код на Github (скоро)

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🗣 GaussianSpeech: Гауссовские аватары, управляемые звуком

«По входному аудио GaussianSpeech может синтезировать фотореалистичные 3D-согласованные говорящие аватары человеческой головы.

Метод позволяет генерировать реалистичные и высококачественные анимации, включая внутреннюю часть рта: зубы, морщины и блики в глазах»

🔗Статья: https://arxiv.org/abs/2411.18675
🔗Проект: https://shivangi-aneja.github.io/projects/gaussianspeech/

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ConsisID может генерировать видео, используя входное изображение и текстовый промыт! 🤩 🚀

Apache 2.0 Лицензия.

🔗 Hf: https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space
🔗 Github: github.com/PKU-YuanGroup/ConsisID
🔗 Demo: https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ LLaMA-O1 🦙 Новый член семейства моделей O1

Команда выпустила: базовую и тюненную модель; наборы данных для работы и точной настройки и демонстрацию 🔥

https://huggingface.co/collections/qq8933/llama-o1-1129-datasets-models-codes-and-papers-674d4083d393cca8324d7b61

@data_analysis_ml
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 AI Video Composer — полезный бесплатный инструмент, который позволяет создавать видео из ваших фотографий и аудиофайлов с помощью текстового запроса!

🔗 HuggingFace: *клик*

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 HDR-GS: скоростной синтез HDR-изображений с помощью гауссовой spline-интерполяции.

HDR-GS — это метод рендеринга, который использует гауссову сплайн-интерполяцию для создания изображений с расширенным динамическим диапазоном и изображений со стандартным динамическим диапазоном (LDR) с заданным временем экспозиции.

HDR-GS превосходит NeRF на 1,91 и 3,84 дБ при рендеринге HDR- и LDR-видов, при этом обеспечивает 1000-кратное увеличение скорости инференса и требует всего 6,3% от времени обучения, которое требуется методу HDR-NeRF.

Пайплайн HDR-GS состоит из модели точечного облака DDR, которая использует сферические гармоники для HDR-цвета и 3 MLP для тональной компрессии, параллельной растеризации рендеринга HDR- и LDR-цветов и алгоритма Structure-from-Motion (SfM), который инициирует гауссово облако точек.

Тестирование HDR-GS проводилось на датасетах с 4 реальными сценами и 8 синтетическими, созданными в Blender. По результатам тестирования, HDR-GS значительно превзошел NeRF, NeRF-W, HDR-NeRF и 3DGS как по качеству, так и по эффективности.

⚠️ Рекомендаций по требованиям к GPU в репозитории проекта нет, тесты проводились на 1 GPU A5000.


▶️ Установка и тестовый инференс с предобученными весами сета bathroom:

# Clone repo:
git clone https://github.com/caiyuanhao1998/HDR-GS --recursive

# Windows only
SET DISTUTILS_USE_SDK=1

# install environment of 3DGS
cd HDR-GS
conda env create --file environment.yml
conda activate hdr_gs

# Synthetic scenes
python3 train_synthetic.py --config config/bathroom.yaml --eval --gpu_id 0 --syn --load_path output/mlp/bathroom/exp-time/point_cloud/interation_x --test_only



📌Лицензирование: MIT License.


🟡Arxiv
🟡Датасет и веса
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #HDR-GS #Gaussian
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
EuroLLM-9B: Мощная многоязычная модель для европейских языков! 🌍🤖

Основные характеристики:
🌐 Поддержка 35 языков: охватывает все 24 официальных языка ЕС
🏆 Высочайшая производительность: конкурирует с Gemma и Mistral
4 триллиона токенов: Обучение с использованием высококачественных многоязычных данных.
Открытый исходный код: Доступен на Hugging Face!

https://huggingface.co/utter-project/EuroLLM-9B
🔍 Helicone — инструмент для интеграции и управления запросами к крупным языковым моделям (LLM), таким как OpenAI API!

🌟 Он предоставляет инструменты для анализа и мониторинга использования LLM в приложениях. Helicone собирает метрики, отслеживает затраты на запросы и позволяет разработчикам оптимизировать работу с языковыми моделями.

🌟 Кроме аналитики, Helicone поддерживает такие функции, как отслеживание запросов в реальном времени, настройка логирования, а также интеграция с базами данных и инструментами визуализации данных. Это делает его полезным инструментом для разработчиков, активно использующих генеративный ИИ в своих проектах, например, в чат-ботах или системах рекомендаций.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🗣 Fish Speech v1.5 - многоязычная модель преобразования текста в речь и клонирования голоса с низкой задержкой 🔥

🌟 Fish Speech V1.5: обновление Text-To-Speech модели.

Fish Speech - модель генерации TTS обновилась до версии 1.5. Эта версия обучалась на 1 млн.часов мультиязычных аудиоданных и заняла 2 место в бенчмарке TTS-Arena (как "Anonymous Sparkle").

Заявлена задержка <150 мс с высококачественным мгновенным клонированием голоса.

▶️Языковая структура обучающего корпуса версии 1.5:

🟢Английский (en) >300 тыс. часов
🟢Китайский (zh) >300 тыс. часов
🟢Японский (ja) >100 тыс. часов
🟢Немецкий (de) ~20 тыс. часов
🟢Французский (fr) ~20 тыс. часов
🟢Испанский (es) ~20 тыс. часов
🟢Корейский (ko) ~20 тыс. часов
🟢Арабский (ar) ~20 тыс. часов
🟠Русский (ru) ~20 тыс. часов
🟢Голландский (nl) <10 тыс. часов
🟢Итальянский (it) <10 тыс. часов
🟢Польский (pl) <10 тыс. часов
🟢Португальский (pt) <10 тыс. часов

Fish Speech для локального инференса требует 4Gb GPU и 8 BG GPU для файнтюна. Запуск возможен на MacOS, Linux и Windows в режимах CLI, GUI и WebUI и Docker.

Подробные инструкции по установке, инференсу в различных режимах для каждой платформы, туториал по файнтюну и примеры доступны в документации проекта Fish Speech.

⚠️ Репозиторий на Github еще не обновлен информацией о версии 1.5, а официальное демо от разработчиков поддерживает синтез только на английском, китайском и японском.

> Всего 500 миллионов параметров
> Обучена на 1 миллионе часов аудио
> Поддерживает 13 языков
> Низкая задержка (<150 мс)
> Открытая модель 🤗
> Лучшая часть: занимает 2-е место на TTS Arena (предварительные результаты)


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Demo
🟡Документация
🟡Сообщество в Discord
🖥GitHub

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ DeepThought-8B: новая модель рассуждений построенная на LLaMA-3.1 с масштабированием вычислений.

Внутри:
- Структурированные в формате JSON цепочки рассуждений и управляемые пути вывода.
- ~16 ГБ видеопамяти для запуска модели объемом 70B.
- Опенсорс

https://huggingface.co/ruliad/deepthought-8b-llama-v0.01-alpha

@data_analysis_ml
Forwarded from Machinelearning
🌟 LLaMA-O1: модели ризонинга на базе Llama-3.1-8B-Instruct.

Набор моделей ризонинга от SimpleBerry Research Lab на Hugging face, полученные с использованием методик:

🟢LlaMA-Berry - попарная оптимизация для решения математических задач олимпиадного уровня с помощью поиска Монте-Карло;

🟢Critic-V - методика подключения внешней модели-критика;

🟢MCTSr - метод интеграции LLM с алгоритмом поиска по дереву Монте-Карло для повышения точности решения математических задач.

▶️ LLaMA-O1-Base-1127 - базовая модель ризонинга, файнтюн Llama-3.1-8B-Instruct на датасете longcot_pt. Квантованные версии в формате GGUF.

▶️ LLaMA-O1-Supervised-1129 - файнтюн базовой модели LLaMA-O1-Base-1127 на датасете OpenLongCoT-SFT с использованием комбинаций методов Critic-V и MCTSr. Квантованные версии в формате GGUF.


⚠️ Тестов и бенчмарков официально не предоставлено, демо модели LLaMA-O1-Supervised-1129 можно попробовать в этом HF Space


🟡Набор моделей и датасетов
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Resoning #LlaMA_O1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Эта статья представляет новую архитектуру под названием Mixture-of-Transformers (MoT), ориентированную на работу с мультимодальными моделями!

🌟 Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.

🌟 Основное новшество MoT заключается в раздельной обработке параметров для каждого типа данных (текста, изображений, звука), что позволяет сократить использование ресурсов без потери качества. Например, в задачах генерации текста и изображений MoT достигает производительности стандартных моделей при использовании лишь 55,8% их вычислительных операций. Кроме того, модель демонстрирует улучшенные показатели в задачах, где необходимо объединение нескольких модальностей, при меньших временных и вычислительных затратах

🔗 Ссылка: *клик*

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM