Анализ данных (Data analysis)
45.1K subscribers
2.09K photos
225 videos
1 file
1.88K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🧠 BAGEL‑7B‑MoT от ByteDance — открытая мультимодальная модель нового поколения

ByteDance представили BAGEL‑7B‑MoT — мощную мультимодальную модель с 7 млрд активных параметров (14B total), которая уверенно конкурирует с лидерами в генерации, понимании и редактировании изображений.

🔹 Ключевые особенности:
• Архитектура Mixture‑of‑Transformer‑Experts (MoT)
• Два энкодера: один для пикселей (VAE+ViT), второй для семантики
• Обучение на interleaved текст+изображение+видео+web токенах
• Поддержка генерации, редактирования, мультиязычного понимания

🔹 Что умеет BAGEL:
• Понимает изображения на уровне лучших open моделей (Qwen2.5‑VL‑7B)
• Генерирует изображения лучше SD3‑Medium (GenEval score: 0.88)
• Делает интеллектуальное редактирование (CoT score: 55.3)
• Навигация по сценам и предсказание будущих кадров

🔹 Бенчмарки:

| Тест | Qwen2.5‑VL‑7B | BAGEL |
|-------------|---------------|--------|
| MME | 2347 | 2388 |
| MMBench | 83.5 | 85.0 |
| MathVista | 68.2 | 73.1 |
| GenEval | 0.80 | 0.88 |


🔹 Под капотом:
• SigLIP + FLUX.1 + Flash Attention 2
• Параметры: 7B активных, 14B полных
• Весовые файлы доступны на Hugging Face (~29 GB)
• Лицензия: Apache 2.0

📎 Репозиторий и модель:
https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
Media is too big
VIEW IN TELEGRAM
Прогресс искусственного интеллекта поистине стремителен

#Veo3

@data_analysis_ml
🚀 Project NOVA — Networked Orchestration of Virtual Agents

Что это такое?
Project NOVA — это полностью open-source и self-hosted платформа, позволяющая развернуть экосистему ИИ‑ассистентов. В ядре стоит роутер-агент, который принимает запросы и перенаправляет их к одному из 25+ специализированных агентов, реализованных через n8n и MCP-серверы :contentReference[oaicite:0]{index=0}.

Основные особенности
- Централизованная маршрутизация запросов к нужному агенту
- Агенты для разных задач: управление знаниями, разработка, медиа и автоматизация
- Полностью работает локально: конфигурация через Docker и docker-compose
- Общение между агентами через n8n workflows и протокол MCP (Model Context Protocol)
- Есть примеры системных подсказок, Dockerfile и готовые потоки для быстрого старта :contentReference[oaicite:1]{index=1}

Как это работает
- В репозитории:
- Папка agents/ — системные промты для агентов
- mcp-server-dockerfiles/ — Docker-образы и конфиги для запуска серверов MCP
- n8n-workflows/ — экспорт потоков для n8n
- prompt-templates/ — шаблоны для автоматического создания новых агентов
- reference-guide/ — подробная документация и справочники :contentReference[oaicite:2]{index=2}

Примеры агентов
- Управление знаниями: TriliumNext, BookStack, SiYuan, Paperless-NGX и др.
- Разработка: CLI Server, Gitea, Forgejo, поиск по файловой системе
- Медиа: Ableton Copilot, OBS Studio, Reaper, YouTube (транскрипция)
- Автоматизация: веб-скрапинг (Puppeteer), RAGFlow, Flowise
- Умный дом: Home Assistant, Prometheus мониторинг :contentReference[oaicite:3]{index=3}

Начало работы
1. Установи n8n (версия ≥1.88.0) и MCP-клиент
2. Запусти MCP-сервера через Docker (конфиги в репозитории)
3. Импортируй потоки в n8n (через CLI или Web UI)
4. Настрой ключи API и подключи LLM (OpenAI, Claude, Gemini или локальные Ollama)
5. Запусти router workflow — и вводи вопросы в чат: NOVA сама маршрутизирует запросы :contentReference[oaicite:4]{index=4}

Зачем это нужно?
- 📚 Управление знаниями: попросить найти нужные заметки или документы
- 🎙 Медиа‑асистент: управлять Ableton или OBS через чат
- Автоматизация рутинных задач: скрипты, API, инфраструктура и умный дом
- 🔐 Локальный контроль и конфиденциальность — всё на своих серверах

Опыт сообщества
На Reddit отмечают:
> "NOVA — self‑hosted AI ecosystem… entirely self‑hostable, open-source, and privacy-focused" :contentReference[oaicite:5]{index=5}

📌GitHub
: https://github.com/dujonwalker/project-nova
Forwarded from Machinelearning
⚡️ Anthropic представила Claude 4 Opus и Sonnet 4

На мероприятии Code /w Claude CEO Anthropic презентовал Claude 4 Opus и Claude Sonnet 4.

✔️ Opus 4 Anthropic называет лучшей моделью для кодинга, она справляется с многошаговыми задачами, работая часами без потери эффективности — например, сохраняет контекст игры в Pokémon, записывая ключевые данные в локальные файлы.

✔️Sonnet 4, доступная даже бесплатным пользователям, стал серьезным апгрейдом предыдущей версии: точнее выполняет инструкции и сократил ошибки в навигации по коду с 20% до нуля.

Обе модели поддерживают расширенное мышление: чередуют анализ и использование инструментов веб-поиска, а также выполняют задачи параллельно.

Для разработчиков появилась интеграция с VS Code, JetBrains и GitHub Actions — правки от Claude теперь отображаются прямо в редакторе. В бета-режиме можно подключать SDK для создания собственных агентов.

По словам партнеров: GitHub и Replit, Opus 4 понимает сложные кодбазы, а Sonnet 4 идеален для повседневных задач. Например, в GitHub Copilot его уже тестируют как основу для нового агента.

В тарифные планы Pro, Max, Team и Enterprise Claude включены обе модели и расширенное мышление, а Sonnet 4 также доступен для бесплатных пользователей.

Обе модели доступны в Anthropic API, Amazon Bedrock и Google Cloud's Vertex AI. Ценообразование остается неизменным по сравнению с предыдущими моделями Opus и Sonnet: Opus 4 - $15/$75 за миллион токенов (ввод/вывод), Sonnet 4 - $3/$15.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌟 Илон Маск говорит, что Grok 3.5 будет рассуждать, исходя из первых принципов, используя физически обоснованные методы для направления мышления.

Модель разбирает сложные задачи до фундаментальных истин, а затем выстраивает логику «снизу вверх», проверяя выводы на соответствие базовым законам.
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Skywork.ai — первый в мире AI-офис с глубоким исследованием (DeepResearch)

Стартап Skywork.ai запустился глобально и представил уникальное решение — интеллектуальную рабочую среду, в которую встроены «суперагенты» на базе AI. Они умеют проводить глубокий анализ данных и создавать документы, таблицы, презентации и даже подкасты — буквально по одному запросу.

🔍 Что такое Skywork.ai:

📄 Docs — пишет отчёты, статьи и обзоры, подкреплённые фактами и источниками
📊 Sheets — строит таблицы, графики и проводит анализ данных
📽️ Slides — делает готовые презентации с дизайном
🌐 Webpages & Podcasts — создаёт веб-контент и аудио на основе анализа
🧠 General — универсальный агент: понимает тексты, изображения, видео и музыку

🧠 Главное отличие — DeepResearch

Это не просто генерация текста. Skywork.ai:
- Понимает контекст
- Уточняет, что вы хотите (с помощью формы Clarification Card)
- Показывает источники информации прямо в тексте
- Делает выводы на основе проверенных данных

🎯 Преимущества:

Создаёт отчёты и презентации за минуты
Все факты подтверждены источниками
Можно экспортировать в PDF, Excel, PowerPoint
Работает с текстом, таблицами, аудио, видео
Подходит для аналитиков, маркетологов, исследователей, авторов

💸 Цена — от $19.99 в месяц. Уже доступно по всему миру, без инвайтов.

📌 Попробовать просто:
1. Зарегистрируйтесь на [skywork.ai](https://skywork.ai)
2. Введите свой запрос (например: «Сделай отчёт по рынку генеративного ИИ»)
3. Уточните цели через форму Clarification Card
4. Получите готовый документ, графики или презентацию

Skywork Super Agents доступен как онлайн сервис (стоимость от $20/мес., есть пробный период), а для разработчиков открыли исходники фреймворка DeepResearch и API для вызова агентов по выбору.
globenewswire.com

#AI #SkyworkAI #DeepResearch #productivity #документы #презентации #таблицы
😢 Нет, я не плачу, это просто слёзы...
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 GAIA — новый ориентир для General AI Assistants

GAIA — это benchmark, который проверяет, насколько AI-ассистенты могут мыслить, действовать и работать с инструментами в реальных.

📊 Что тестируется

- 466 заданий, требующих:
- логического мышления и планирования
- работы с вебом и мультимодальностью (текст, изображения)
- использования инструментов — браузера, кода, анализа файлов и пр.
- Задания просты для человека, но AI решает их с трудом (люди получают ~92 %, GPT‑4 + плагины — ~15 %)

🔍 Почему это важно

- В отличие от других benchmark-ов, GAIA фокусируется на настоящих задачах, а не узкоспециализированных тестах
- Задания ясны и дают однозначный ответ, что облегчает автоматическую оценку
- Benchmark защищён от «запоминания» — задачи редко встречаются в открытых данных и требуют последовательных действий

🛠️ Как работает

1. Задачи задаются "в ноль" — без примеров
2. AI получает вопрос (текст и/или файл) и должен самостоятельно:
- искать в интернете
- обрабатывать мультимодальные данные
- выполнять код или анализ
3. Ответы оцениваются автоматически — только один правильный вариант

Перспективы и вызовы

- Пока лишь немногие модели приближаются к человеческому уровню — GPT‑4 с плагинами на ~15 %
- Benchmark рассчитан на долгосрочное развитие AGI — от точности решения до открытости и надёжности оценивания
- GAIA подчёркивает необходимость создания систем, способных последовательно действовать, а не просто «угадывать» ответы.

🔗 Github: https://github.com/Intelligent-Internet/ii-agent
🔗 GAIA Examples:
https://ii-agent-gaia.ii.inc
🩺 Google выпустила MedGemma — открытые модели ИИ для медицины

На Hugging Face вышла коллекция MedGemma, созданная Google на базе Gemma 3 специально для медицинских задач. Это мощные модели, способные анализировать как текст, так и медицинские изображения — от рентгена до дерматологии.

📦 В коллекции:
medgemma-4b-it — мультимодальная модель (текст + изображения)
medgemma-4b-pt — предварительно обученная версия
medgemma-27b-text-it — огромная текстовая модель для клинической документации

🔍 Что умеют:
Обнаружение патологий на рентген-снимках
Ответы на медицинские вопросы (VQA)
Генерация медицинских отчётов
Обработка клинических заметок, триажа, историй болезни

📊 Бенчмарки:
• CheXpert F1 (Top‑5): 48.1 vs 31.2 у базовой
• DermMCQA точность: 71.8%
• VQA‑Rad F1: 49.9

🧪 Пример использования:

from transformers import pipeline
pipe = pipeline("image-text-to-text", model="google/medgemma-4b-it")


🔗 Hugging Face: https://huggingface.co/collections/google/medgemma-release-680aade845f90bec6a3f60c4

📝 Лицензия: Apache 2.0 (с медицинским соглашением)

#MedGemma #GoogleAI #Gemma3 #HealthcareAI #RadiologyAI #MedicalAI #OpenSourceAI #HuggingFace
👾 SGLang — промышленный фреймворк для быстрого обслуживания LLM. Проект предлагает готовое решение для быстрого разворачивания модели в продакшене — от оптимизированного рантайма до удобного API. Проект уже используют в NVIDIA, Google Cloud и LinkedIn для обработки триллионов токенов ежедневно на парках из 100k+ GPU. Установка — pip install sglang, а для масштабирования есть туториалы по tensor parallelism.

Ключевая фишка — RadixAttention: система кеширования префиксов, сокращающая время генерации. Поддерживает все популярные модели и фичи вроде speculative decoding или квантования INT4. Для разработчиков есть Python-интерфейс с контролем потока и мультимодальным вводом.

🤖 GitHub

@data_analysis_ml
Media is too big
VIEW IN TELEGRAM
🎥 Veo3 — новая эра генерации видео от Google DeepMind

Veo3 позволяет создавать видео по тексту — теперь даже с диалогами с одного промпта.
Результат: синхронная речь, живые сцены и минимум усилий.

Один из креаторов рассказал, как начал с идеи «пластикового ребёнка», а получил эмоциональную историю с настоящим сюжетом. Офисные сцены, шутки, даже синхрон губ — всё сработало с первого раза.

⚠️ Единственное ограничение: image-to-video хуже справляется с речью, и для стабильности в этом видео используется Pixverse.

Veo3 уже применяют для pre-viz в реальных проектах. Черипики получаются настолько хорошими, что их не хотят менять 😄

👏 Респект Google DeepMind — Veo3 делает видео генерацию по-настоящему живой.

@data_analysis_ml
🧠 Новая работа от ANSE Project: модель уже знает, какой шум лучший

Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).

🔍 В чём идея?

В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.

ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.

🧪 Как это работает?

- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв

📈 Результаты:

На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты

📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/
Выгодная инфраструктура с GPU для проектов любого масштаба

Если вы создаете приложения на базе ИИ, занимаетесь анализом данных и сложными вычислениями, вам знакома проблема нехватки ресурсов GPU. С Selectel о ней можно забыть. Здесь есть мощные серверы с видеокартами для решения задач любой сложности всего от 29 ₽/час:

Почему стоит выбрать аренду серверов с GPU в Selectel:

Широкий выбор видеокарт: Более 20 моделей карт — от GTX 1080 до профессиональных H100 и А100 (40 и 80 ГБ).
Гибкость и масштабируемость: Мгновенное масштабирование под растущие нагрузки, стандартные и индивидуальные конфигурации с нужной видеокартой.
Высокий уровень безопасности: серверы Selectel соответствуют международным и российским стандартам безопасности, включая 152-ФЗ (УЗ-1), PCI DSS, ISO 27001, 27017 и 27018.

Разверните ваш проект на серверах с GPU в Selectel от 29 ₽/час:
https://slc.tl/35i13

Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzquspGb7
🧠 VLM-3R: Мультимодальный агент нового поколения

VLM-3R — это мощный мультимодальный агент, сочетающий визуальное восприятие, речевое взаимодействие и пространственное мышление.

🔍 Расшифровка названия:
VLM-3R = Vision-Language Model for **R**easoning, **R**econstruction и **R**eal-world interaction

🎯 Основные возможности:
• Понимание и генерация изображений, видео и речи
• Работа в 3D-пространствах (реконструкция и навигация)
• Решение задач с реальным контекстом (например, манипуляции с объектами в симуляциях)
• Интерактивный агент с мультимодальной памятью и планированием

🚀 На чём построен:
• VLM-3R интегрирует крупные языковые и визуальные модели
• Использует mid-level представления для более точного понимания
• Работает с 2D и 3D сценами, распознаёт объекты, действия и голосовые команды

🔬 Применения:
• Робототехника
• Виртуальные ассистенты
• Интерактивные обучающие среды
• Моделирование поведения в симулированных мирах

📎 Подробнее: https://vlm-3r.github.io/
🧠 PKU-DS-LAB представили Fairy-R1 — мощную LLM-модели для математики и программирования, которая превосходит более крупные модели при меньшем числе параметров.

🚀 Что такое Fairy-R1:
• Это семейство языковых моделей, разработанных для задач математического и кодингового рассуждения
• Построены на базе DeepSeek-R1 с использованием метода distill-and-merge
• Выпущены две версии:
FairyR1-32B (32B параметров)
FairyR1-14B-Preview (14B параметров)

📊 Результаты на бенчмарках:
• AIME 2024: 80.4 (32B), 73.7 (14B)
• AIME 2025: 75.6 (32B), 64.9 (14B)
• LiveCodeBench: 67.7 (32B), 58.8 (14B)

📌 Почему это важно:
• Модели работают почти так же точно, как GPT-4, но в 20 раз легче
• Умеют обрабатывать задачи на английском и китайском
• Используют архитектуру слияния нескольких специализаций (AcreeFusion)

🛠 Как обучали:
• Математика: AIMO / NuminaMath-1.5
• Программирование: OpenThoughts-114k
• Обучение: на 32 × NVIDIA H100 (32B), 16 × H100 (14B)
• Доступ: полностью open-source (Apache 2.0)

🔗 https://huggingface.co/collections/PKU-DS-LAB/fairy-r1-6834014fe8fd45bc211c6dd7

@data_analysis_ml