Анализ данных (Data analysis)
46.9K subscribers
2.75K photos
311 videos
1 file
2.34K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️ CodeCut: автогенерация описаний для изображений прямо из PDF

Теперь можно конвертировать документ, пройтись по всем картинкам - и получить текстовые аннотации, которые модель создаёт автоматически.

Это удобно для:
- анализа больших отчетов, презентаций, научных статей
- автоматического извлечения подписей и описаний графиков
- подготовки данных для RAG/LLM-пайплайнов
- улучшения доступности контента

На примере: CodeCut извлекает изображение графика и сразу генерирует его описание — с упоминанием распределений, метрик, масштабов и ключевых наблюдений.

Минимальный код выглядит так:


from docling.document_converter import DocumentConverter

converter = DocumentConverter(...)
doc = converter.convert("report.pdf").document

for pic in doc.pictures:
print(pic.annotations[0].text)
Please open Telegram to view this post
VIEW IN TELEGRAM
15👍7🔥2
Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база.

Всего несколько минут и у вас:
⏺️готовая база на сетевых или локальных дисках
⏺️постоянный primary endpoint
⏺️безопасное подключение через Private Link
⏺️автоматические бэкапы и обслуживания по твоему расписанию


🎄🎁 И грант до 10 000 ₽ на запуск — чтобы точно не пришлось вспоминать, как настраивать failover вручную.

➡️Развернуть кластер
Please open Telegram to view this post
VIEW IN TELEGRAM
2
🖥 NVIDIA открыла исходный код CUDA Tile dialect и байткода.

Компания выложила в open source проект CUDA Tile, который расширяет экосистему MLIR и даёт разработчикам новые инструменты для генерации CUDA-кода на более низком и контролируемом уровне.

Что входит в релиз:
- CUDA Tile MLIR dialect
- Поддержка сериализации и десериализации байткода
- Python-биндинги для MLIR, позволяющие программно строить IR
- Набор conformance-тестов

Что это даёт разработчикам:
- Возможность напрямую интегрировать CUDA Tile в свои проекты
- Генерацию CUDA Tile dialect или байткода нативно через MLIR
- Более тонкий контроль над вычислениями и оптимизациями под GPU

CUDA Tile - это шаг к более модульной, компиляторно-ориентированной экосистеме CUDA, где управление вычислениями смещается с ручного CUDA-кода в сторону формальных IR и автоматических оптимизаций.

Проект стал результатом совместной работы нескольких команд внутри NVIDIA и подчёркивает стратегию компании по развитию MLIR как ключевого слоя для будущих GPU-вычислений.

• NVIDIA Developer: https://developer.nvidia.com/cuda/tile
• CUDA Tile Specification: https://docs.nvidia.com/cuda/tile-ir/13.1/index.html
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍3
🎄 К Новому году Yandex Cloud и Forbes подготовили особый подарок для CDO, дата-инженеров и аналитиков! Что, если работа с данными превратится в увлекательную игру во вселенной, вдохновленной классикой — «Героями меча и магии»? ⚔️📊

Игра превращает привычные инструменты обработки данных (PostgreSQL, ClickHouse, Trino, DataLens и другие) в могущественные артефакты. Их можно получить у хранителей или создать самому в кибер-кузнице 🔧

В проекте можно найти пасхалки на любимую игру и примеры бизнес-сценариев из финтеха, ритейла и промышленности: помогите персонажам побороть дата-хаос и прокачать навыки работы с данными. Игра доступна на десктопе и телефоне 📱💻

На лендинге также собраны проекты компаний, которые уже используют возможности Yandex Cloud для решения бизнес-задач с данными.

Поиграй и вдохновись работой с данными в новом формате!
👉 Играй и узнай больше
👍104
🚀 FineTuningLLMs - понятный и честный разбор fine-tuning LLM

FineTuningLLMs - гайд который объясняет тонкую настройку языковых моделей без лишней теории.

Здесь показывают, как fine-tuning работает на самом деле, где он действительно нужен, а где его использование излишне.

Автор последовательно разбирает весь путь - от подготовки данных до оценки результата. Особое внимание уделено тому, как формат данных и инструкция влияют на поведение модели после обучения. Хорошо видно, почему плохой датасет нельзя «исправить» даже «хорошим» обучением.

Ее каждую задачу стоит решать дообучением, иногда промптинг или RAG дают тот же эффект быстрее и дешевле, а fine-tuning оправдан только там, где нужно устойчивое поведение модели.

Минимум магии, максимум практического смысла и здравого инженерного подхода.

https://github.com/dvgodoy/FineTuningLLMs/
8🔥3👍2
Маленькая модель - крутой результат: LFM2-2.6B-Exp набирает 42% на GPQA

Для модели всего 2,6 млрд параметров такой балл обычно недостижим его ждёшь от куда более крупных систем.

Фокус в том, что команда не меняла архитектуру.
Они просто добавили RL поверх того же чекпоинта: модель генерирует ответы, получает оценку по задаче и обучается чаще выдавать выигрышные варианты.

Почему это важно
GPQA - жёсткий набор по научным вопросам, где «угадывание по шаблону» не работает.

Что внутри LFM2-2.6B
• гибрид: 22 слоя + 8 слоёв внимания
• контекст — до 32 768 токенов
• веса в bfloat16

грамотный дизайн наград + RL способны сильно поднять качество даже у маленьких моделей — без усложнения архитектуры.

https://huggingface.co/LiquidAI/LFM2-2.6B-Exp
7👍6🔥2
🚀 MiniMax M2.1 - теперь open-source и один из лучших ИИ для разработчиков

— топ-результаты на кодинговых бенчмарках (SWE, VIBE, Multi-SWE)
— в ряде тестов обгоняет Gemini 3 Pro и Claude Sonnet 4.5
— MoE-архитектура: активны 10B параметров (230B всего)

И это не только цифры модель очень быста в инференсе и просто в деплоится, её можно запустить даже локально.

https://huggingface.co/MiniMaxAI/MiniMax-M2.1


@data_analysis_ml
13🔥5👍1😁1🤨1
Авито внедряет ИИ-помощников для покупателей и продавцов
На технологической платформе началось тестирование двух новых ИИ-ассистентов: Ави для покупателей и Ави Pro для продавцов. На текущем этапе они доступны только ограниченной группе пользователей.

Функционал помощников различается. Ави помогает покупателям: подбирает варианты по описанию, сравнивает товары, выделяет их сильные и слабые стороны, а также предлагает сопутствующие продукты, даже если запрос сформулирован нечетко. Ави Pro, в свою очередь, предназначен для продавцов и работает в их личных кабинетах. Этот ассистент анализирует статистику, отслеживает изменения и даёт рекомендации для повышения эффективности продаж.

Управляющий директор по искусственному интеллекту Авито Андрей Рыбинцев пояснил, что для компании диалоговый интерфейс представляет собой новый этап в развитии пользовательского опыта. По его словам, это решение сократит число действий для решения задач, повысит конверсию в успешные сделки и позволит платформе лучше понимать намерения клиентов.

Запуск ИИ-помощников является ответом компании на запросы рынка. Согласно внутренним исследованиям Авито, 59% пользователей заходят на платформу без четкой цели, при этом 43% уже готовы доверить выбор искусственному интеллекту. На дальнейшее развитие этих технологий в следующем году компания планирует направить около миллиарда рублей.
5😐1
💰 ИИ-лабы начали платить начинающим исследователям на уровне опытных инженеров - фактически «закрепляя» таланты ещё на старте.

Сегодня стажировки и junior-позиции в топ-лабораториях - это уже не подработк, а прямой вход в исследование: со стипендией и собственным бюджетом на эксперименты.

Примеры программ
- Anthropic - AI Safety Fellows
~ $3 850 в неделю + примерно $15 000 в месяц на вычисления.
По сути — стипендия плюс мини-грант на исследования.
Business Insider отмечает: 80% участников публикуют статьи — программа даёт результат.

- OpenAI Residency
~ $18 300 в месяц в течение 6 месяцев
формат как оплаченное обучение внутри фронтир-организации.


Если дать новичкам деньги + доступ к мощностям,
они начинают приносить ощутимый вклад почти сразу.

ИИ-карьера всё больше выглядит как полноценная научная работа с зарплатой и ресурсами - с самого старта.

businessinsider .com/top-paying-ai-internships-fellowships-residencies-openai-anthropic-meta-google-2025-12
🔥13👍51