Анализ данных (Data analysis)
46.3K subscribers
2.34K photos
278 videos
1 file
2.08K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🛢 Данные — новая нефть, и именно дата-инженеры умеют эту нефть «добывать», очищать и хранить. Спрос на них стремительно растёт, конкуренция пока минимальна, а зарплаты — выше среднего.

Освоить ключевые компетенции дата-инженера поможет онлайн-магистратура Нетологии и НИУ ВШЭ «Инженерия данных».
За 2 года вы на практике изучите Python, Java, Scala, Kotlin и SQL, научитесь проектировать пайплайны и обрабатывать данные, работать с системами хранения данных и базами данных в облаке. Программа даёт широкий простор для переквалификации, поэтому после учёбы сможете перейти в MLOps, DevOps или менеджмент.

Онлайн-формат позволяет учиться без отрыва от привычной жизни и совмещать занятия с работой. При этом у вас будет отсрочка от армии, льготы на проезд и все остальные бонусы очного обучения.

Станьте магистром программной инженерии с дипломом одного из лучших вузов страны и получите веское преимущество при приёме на работу: https://netolo.gy/ekal

🎁 В этом году при поступлении на программу вы получаете курс по ещё одной IT-профессии в подарок — отличная возможность расширить свой профиль и усилить CV.

Реклама. ООО "Нетология". ИНН 7726464125. Erid: 2VSb5z9sojP
4👍2🙏1
🔌 LIDA — инструмент для автоматического создания визуализаций данных с помощью ИИ. Библиотека использует большие языковые модели для генерации и объяснения графиков на лету, работая с популярными библиотеками вроде Matplotlib и Seaborn.

Проект особенно полезен для аналитиков: он умеет дорабатывать графики по текстовым запросам, оценивать их качество и даже создавать инфографику. Есть веб-интерфейс и поддержка локальных LLM.

🤖 GitHub

@data_analysis_ml
7👍3🔥3🤔1
Конференция, на которую нужно прийти Data Engineers🔥
23 сентября пройдет Data Internals X 2025 — единственная в России конференция, где создатели СУБД и движков обработки данных делятся опытом работы с реальными production-системами экстремального масштаба. Вас ждёт по-настоящему "хардкорная" программа.

🎯 Глубина технических решений
Программа конференции сфокусирована на внутренних механизмах работы с данными — от разработки СУБД до оптимизации запросов и устойчивости к высоким нагрузкам. Это редкая возможность погрузиться в технические детали, которые обычно остаются за кадром.

🏭 Практический опыт масштабирования
Все доклады основаны на реальном опыте работы с петабайтными данными, высоконагруженными системами и решением production-задач в крупных компаниях (Яндекс, Сбер, VK, Т-Банк).

🔧 Импортозамещение и Open Source
Особый акцент на отечественные решения и open-source технологии, что критически важно в текущих реалиях.

🧠 Концентрированный опыт 
Максимум пользы для повышения квалификации за один день: 20+ докладов, рекордная плотность экспертных знаний и нетворкинг с 300+ участниками. 

📌Изучить расписание и забронировать билеты на сайте конференции 

Используйте промокод "Data" для получения скидки 15%.
Приходите сами и приглашайте своих коллег 🔥
1🐳1
🦅 Korvus — RAG-пайплайн в одном SQL-запросе. Библиотека объединяет векторизацию, семантический поиск и генерацию ответов в единый Postgres-запрос. Работает через расширения pgvector и pgml, заменяя сложные микросервисные архитектуры простым вызовом из Python/JS/Rust.

Инструмент локально выполняет все этапы (от чанкинга текста до работы LLM) прямо в базе данных. Подходит для проектов, где важны скорость и минимальная инфраструктурная нагрузка.

🤖 Github

@data_analysis_m
👍144🥰2
🚀 NVIDIA представила **Nemotron-Nano v2** — новую линейку открытых моделей

Модели:
- 12B Base
- 9B Reasoning
- 9B Base

Архитектура: Hybrid Mamba2–Transformer (128K контекст, 4 attention-слоя)
Обучение: 10.6T токенов (из них 3.5T синтетика: DeepSeek, Qwen, Nemotron-4, phi-4 и др.)
Языки: 15 естественных + 43 языка программирования
Датасеты: Nemotron-CC v2 + Nemotron-CC-Math (133B токенов, 5.5× FineMath)

🔥 Бенчмарки
- Математика: 91.4 GSM8K CoT, 63.6 MATH L5, AIME 30→56.7
- Код: 58.5 HumanEval+, 58.9 MBPP+
- Общие знания: 90.7 ARC, 79.9 HellaSwag
- Длинный контекст: 82.2 RULER-128K

Особенности
- Nemotron-CC-Math — первый масштабируемый пайплайн с Lynx + LLM cleanup для сохранения LaTeX и кода. Дал SOTA-буст (+12.6 MATH, +14.3 MBPP+).
- Эффективность: дистилляция 12B → 9B (480B токенов), ~1.5e24 FLOPs, ~724 MWh.
- Деплой: Hugging Face, NGC, NeMo, TRT-LLM, vLLM (GPU-оптимизация).
- Открытость: релиз моделей, датасетов и полных пайплайнов извлечения.

📌 Nemotron-Nano v2 сочетает сильную математику, код и длинный контекст в компактных моделях, готовых к реальному использованию.

🟠MODELS: https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
🟠SETS: https://huggingface.co/collections/nvidia/nemotron-pre-training-dataset-689d9de36f84279d83786b35
🟠RELEASE: https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/

@data_analysis_m
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🖥Альтман и Цукерберг в стиле Матрицы:

— Сэм, выбери таблетку: красную или синюю.
— А можно API-доступ к обеим?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁165👍3