Анализ данных (Data analysis)
45.1K subscribers
2.08K photos
224 videos
1 file
1.88K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🤖 Создание легковесного персонального ассистента на базе Qwen

Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.

🔧 Что понадобится:
- Python
- Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets
- Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти

🛠️ Основные шаги:
1. Установка необходимых библиотек и проверка совместимости
2. Загрузка модели и токенизатора с использованием Hugging Face Transformers
3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти
4. Создание функции генерации ответов с учетом истории чата
5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки

📈 Преимущества:
- Работа на локальной машине без необходимости подключения к интернету
- Быстрая генерация ответов благодаря квантизации и использованию GPU
- Гибкость в настройке и расширении функциональности ассистента

🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье
II-Medical-8B — компактная, но мощная модель , специально разработанная для медицинских задач.

Несмотря на размер, она превосходит более крупные модели, такие как GPT-4.5, по точности и эффективности в клинических тестах.

🔍 Почему это важно
Точность и прозрачность: II-Medical-8B обеспечивает пошаговое клиническое рассуждение, что критично для медицинских приложений.

- Доступность: Модель достаточно компактна, чтобы запускаться локально, обеспечиваяет быстрый и приватный доступ без необходимости в дорогой облачной инфраструктуре.

📍 С лицензией MIT.

Для запуска не требуется GPU

https://huggingface.co/Intelligent-Internet/II-Medical-8B
⚡️ NNCF — фреймворк для сжатия нейросетей без потерь точности. Проект поддерживает квантование, сжатие весов и другие методы как после обучения, так и непосредственно во время тренировки моделей.

Инструмент работает с PyTorch, TensorFlow, ONNX и OpenVINO, предлагая единый API для разных фреймворков. Например, для 8-битного квантования после обучения достаточно 300 примеров калибровочных данных, никаких сложных настроек. Проект имеет интеграцию с HuggingFace Optimum и OpenVINO Training Extensions, а также готовые примеры для классификации изображений, детекции объектов и даже NLP.

🤖 GitHub

@data_analytics_ml
Media is too big
VIEW IN TELEGRAM
🔜 soarXiv — и это очень красивый способ исследовать человеческие знания.

Вам нужно заменить «arxiv» на «soarxiv» в URL статьи, и вы попадёте на её визуализацию во Вселенной.

Поддерживается примерно 2,8 миллиона научных работ.

soarxiv.org
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Современные роботы для надёжной и устойчивой работы должны помнить, что происходило ранее.
Но как только в диффузионные политики добавляют историю действий — производительность падает, а обучение становится дорогим и нестабильным.

📌 Исследователи представили новый метод — PTP (Past Trajectory Prediction), который помогает роботам эффективно использовать прошлый опыт.

Что делает PTP:

Учит робота находить связь между прошлым и будущим
Позволяет использовать быстрые кэшированные контексты вместо длинной истории
Ускоряет обучение и повышает качество поведения в 3 раза
Уменьшает вычислительные затраты более чем в 10 раз
Добавляет трюк на этапе запуска, который проверяет, следит ли робот за собственной историей

📈 Обучение роботов с учётом долгосрочного контекста стало реально применимым.
Если мы хотим создавать умных, автономных и надёжных машин — это большой шаг вперёд.

🔗 Подробнее:
-
Статья
-
Проект
-
Код

https://t.me/data_analysis_ml
Владельцы Mac, вам подарок подъехал: MLX LM теперь интегрирован непосредственно в Hugging Face 🤯

⬇️ Вы можете запустить более 4400 LLM локально на Apple Silicon.

Нужно только включить MLX LM в настройках локальных приложений:

https://huggingface.co/settings/local-apps

И выбрать модель: https://huggingface.co/models?library=mlx

#apple #mlx

@data_analysis_ml
🗣️ TEN VAD — ультраточная система обнаружения речи в реальном времени

Это современная модель Voice Activity Detection (VAD), превосходящая по точности популярные решения вроде WebRTC VAD и Silero VAD.

Она стала частью фреймворка TEN Framework — платформы для создания мультимодальных голосовых агентов.

🔹 Что делает TEN VAD особенной:

📈 Точность на SOTA-уровне — протестирована на LibriSpeech, GigaSpeech, DNS Challenge
🕒 Минимальная задержка — точное определение начала и конца речи в реальном времени
🧩 Низкие требования к ресурсам — подходит даже для мобильных устройств
⚙️ Гибкая интеграция — поддержка C и Python, работает на Linux, Windows, macOS, Android и iOS
🔊 Оптимизирована для 16 кГц аудио, с шагами 10/16 мс

https://huggingface.co/TEN-framework/ten-vad
🧠 BAGEL‑7B‑MoT от ByteDance — открытая мультимодальная модель нового поколения

ByteDance представили BAGEL‑7B‑MoT — мощную мультимодальную модель с 7 млрд активных параметров (14B total), которая уверенно конкурирует с лидерами в генерации, понимании и редактировании изображений.

🔹 Ключевые особенности:
• Архитектура Mixture‑of‑Transformer‑Experts (MoT)
• Два энкодера: один для пикселей (VAE+ViT), второй для семантики
• Обучение на interleaved текст+изображение+видео+web токенах
• Поддержка генерации, редактирования, мультиязычного понимания

🔹 Что умеет BAGEL:
• Понимает изображения на уровне лучших open моделей (Qwen2.5‑VL‑7B)
• Генерирует изображения лучше SD3‑Medium (GenEval score: 0.88)
• Делает интеллектуальное редактирование (CoT score: 55.3)
• Навигация по сценам и предсказание будущих кадров

🔹 Бенчмарки:

| Тест | Qwen2.5‑VL‑7B | BAGEL |
|-------------|---------------|--------|
| MME | 2347 | 2388 |
| MMBench | 83.5 | 85.0 |
| MathVista | 68.2 | 73.1 |
| GenEval | 0.80 | 0.88 |


🔹 Под капотом:
• SigLIP + FLUX.1 + Flash Attention 2
• Параметры: 7B активных, 14B полных
• Весовые файлы доступны на Hugging Face (~29 GB)
• Лицензия: Apache 2.0

📎 Репозиторий и модель:
https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
Media is too big
VIEW IN TELEGRAM
Прогресс искусственного интеллекта поистине стремителен

#Veo3

@data_analysis_ml
🚀 Project NOVA — Networked Orchestration of Virtual Agents

Что это такое?
Project NOVA — это полностью open-source и self-hosted платформа, позволяющая развернуть экосистему ИИ‑ассистентов. В ядре стоит роутер-агент, который принимает запросы и перенаправляет их к одному из 25+ специализированных агентов, реализованных через n8n и MCP-серверы :contentReference[oaicite:0]{index=0}.

Основные особенности
- Централизованная маршрутизация запросов к нужному агенту
- Агенты для разных задач: управление знаниями, разработка, медиа и автоматизация
- Полностью работает локально: конфигурация через Docker и docker-compose
- Общение между агентами через n8n workflows и протокол MCP (Model Context Protocol)
- Есть примеры системных подсказок, Dockerfile и готовые потоки для быстрого старта :contentReference[oaicite:1]{index=1}

Как это работает
- В репозитории:
- Папка agents/ — системные промты для агентов
- mcp-server-dockerfiles/ — Docker-образы и конфиги для запуска серверов MCP
- n8n-workflows/ — экспорт потоков для n8n
- prompt-templates/ — шаблоны для автоматического создания новых агентов
- reference-guide/ — подробная документация и справочники :contentReference[oaicite:2]{index=2}

Примеры агентов
- Управление знаниями: TriliumNext, BookStack, SiYuan, Paperless-NGX и др.
- Разработка: CLI Server, Gitea, Forgejo, поиск по файловой системе
- Медиа: Ableton Copilot, OBS Studio, Reaper, YouTube (транскрипция)
- Автоматизация: веб-скрапинг (Puppeteer), RAGFlow, Flowise
- Умный дом: Home Assistant, Prometheus мониторинг :contentReference[oaicite:3]{index=3}

Начало работы
1. Установи n8n (версия ≥1.88.0) и MCP-клиент
2. Запусти MCP-сервера через Docker (конфиги в репозитории)
3. Импортируй потоки в n8n (через CLI или Web UI)
4. Настрой ключи API и подключи LLM (OpenAI, Claude, Gemini или локальные Ollama)
5. Запусти router workflow — и вводи вопросы в чат: NOVA сама маршрутизирует запросы :contentReference[oaicite:4]{index=4}

Зачем это нужно?
- 📚 Управление знаниями: попросить найти нужные заметки или документы
- 🎙 Медиа‑асистент: управлять Ableton или OBS через чат
- Автоматизация рутинных задач: скрипты, API, инфраструктура и умный дом
- 🔐 Локальный контроль и конфиденциальность — всё на своих серверах

Опыт сообщества
На Reddit отмечают:
> "NOVA — self‑hosted AI ecosystem… entirely self‑hostable, open-source, and privacy-focused" :contentReference[oaicite:5]{index=5}

📌GitHub
: https://github.com/dujonwalker/project-nova
Forwarded from Machinelearning
⚡️ Anthropic представила Claude 4 Opus и Sonnet 4

На мероприятии Code /w Claude CEO Anthropic презентовал Claude 4 Opus и Claude Sonnet 4.

✔️ Opus 4 Anthropic называет лучшей моделью для кодинга, она справляется с многошаговыми задачами, работая часами без потери эффективности — например, сохраняет контекст игры в Pokémon, записывая ключевые данные в локальные файлы.

✔️Sonnet 4, доступная даже бесплатным пользователям, стал серьезным апгрейдом предыдущей версии: точнее выполняет инструкции и сократил ошибки в навигации по коду с 20% до нуля.

Обе модели поддерживают расширенное мышление: чередуют анализ и использование инструментов веб-поиска, а также выполняют задачи параллельно.

Для разработчиков появилась интеграция с VS Code, JetBrains и GitHub Actions — правки от Claude теперь отображаются прямо в редакторе. В бета-режиме можно подключать SDK для создания собственных агентов.

По словам партнеров: GitHub и Replit, Opus 4 понимает сложные кодбазы, а Sonnet 4 идеален для повседневных задач. Например, в GitHub Copilot его уже тестируют как основу для нового агента.

В тарифные планы Pro, Max, Team и Enterprise Claude включены обе модели и расширенное мышление, а Sonnet 4 также доступен для бесплатных пользователей.

Обе модели доступны в Anthropic API, Amazon Bedrock и Google Cloud's Vertex AI. Ценообразование остается неизменным по сравнению с предыдущими моделями Opus и Sonnet: Opus 4 - $15/$75 за миллион токенов (ввод/вывод), Sonnet 4 - $3/$15.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌟 Илон Маск говорит, что Grok 3.5 будет рассуждать, исходя из первых принципов, используя физически обоснованные методы для направления мышления.

Модель разбирает сложные задачи до фундаментальных истин, а затем выстраивает логику «снизу вверх», проверяя выводы на соответствие базовым законам.
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Skywork.ai — первый в мире AI-офис с глубоким исследованием (DeepResearch)

Стартап Skywork.ai запустился глобально и представил уникальное решение — интеллектуальную рабочую среду, в которую встроены «суперагенты» на базе AI. Они умеют проводить глубокий анализ данных и создавать документы, таблицы, презентации и даже подкасты — буквально по одному запросу.

🔍 Что такое Skywork.ai:

📄 Docs — пишет отчёты, статьи и обзоры, подкреплённые фактами и источниками
📊 Sheets — строит таблицы, графики и проводит анализ данных
📽️ Slides — делает готовые презентации с дизайном
🌐 Webpages & Podcasts — создаёт веб-контент и аудио на основе анализа
🧠 General — универсальный агент: понимает тексты, изображения, видео и музыку

🧠 Главное отличие — DeepResearch

Это не просто генерация текста. Skywork.ai:
- Понимает контекст
- Уточняет, что вы хотите (с помощью формы Clarification Card)
- Показывает источники информации прямо в тексте
- Делает выводы на основе проверенных данных

🎯 Преимущества:

Создаёт отчёты и презентации за минуты
Все факты подтверждены источниками
Можно экспортировать в PDF, Excel, PowerPoint
Работает с текстом, таблицами, аудио, видео
Подходит для аналитиков, маркетологов, исследователей, авторов

💸 Цена — от $19.99 в месяц. Уже доступно по всему миру, без инвайтов.

📌 Попробовать просто:
1. Зарегистрируйтесь на [skywork.ai](https://skywork.ai)
2. Введите свой запрос (например: «Сделай отчёт по рынку генеративного ИИ»)
3. Уточните цели через форму Clarification Card
4. Получите готовый документ, графики или презентацию

Skywork Super Agents доступен как онлайн сервис (стоимость от $20/мес., есть пробный период), а для разработчиков открыли исходники фреймворка DeepResearch и API для вызова агентов по выбору.
globenewswire.com

#AI #SkyworkAI #DeepResearch #productivity #документы #презентации #таблицы
😢 Нет, я не плачу, это просто слёзы...
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 GAIA — новый ориентир для General AI Assistants

GAIA — это benchmark, который проверяет, насколько AI-ассистенты могут мыслить, действовать и работать с инструментами в реальных.

📊 Что тестируется

- 466 заданий, требующих:
- логического мышления и планирования
- работы с вебом и мультимодальностью (текст, изображения)
- использования инструментов — браузера, кода, анализа файлов и пр.
- Задания просты для человека, но AI решает их с трудом (люди получают ~92 %, GPT‑4 + плагины — ~15 %)

🔍 Почему это важно

- В отличие от других benchmark-ов, GAIA фокусируется на настоящих задачах, а не узкоспециализированных тестах
- Задания ясны и дают однозначный ответ, что облегчает автоматическую оценку
- Benchmark защищён от «запоминания» — задачи редко встречаются в открытых данных и требуют последовательных действий

🛠️ Как работает

1. Задачи задаются "в ноль" — без примеров
2. AI получает вопрос (текст и/или файл) и должен самостоятельно:
- искать в интернете
- обрабатывать мультимодальные данные
- выполнять код или анализ
3. Ответы оцениваются автоматически — только один правильный вариант

Перспективы и вызовы

- Пока лишь немногие модели приближаются к человеческому уровню — GPT‑4 с плагинами на ~15 %
- Benchmark рассчитан на долгосрочное развитие AGI — от точности решения до открытости и надёжности оценивания
- GAIA подчёркивает необходимость создания систем, способных последовательно действовать, а не просто «угадывать» ответы.

🔗 Github: https://github.com/Intelligent-Internet/ii-agent
🔗 GAIA Examples:
https://ii-agent-gaia.ii.inc
🩺 Google выпустила MedGemma — открытые модели ИИ для медицины

На Hugging Face вышла коллекция MedGemma, созданная Google на базе Gemma 3 специально для медицинских задач. Это мощные модели, способные анализировать как текст, так и медицинские изображения — от рентгена до дерматологии.

📦 В коллекции:
medgemma-4b-it — мультимодальная модель (текст + изображения)
medgemma-4b-pt — предварительно обученная версия
medgemma-27b-text-it — огромная текстовая модель для клинической документации

🔍 Что умеют:
Обнаружение патологий на рентген-снимках
Ответы на медицинские вопросы (VQA)
Генерация медицинских отчётов
Обработка клинических заметок, триажа, историй болезни

📊 Бенчмарки:
• CheXpert F1 (Top‑5): 48.1 vs 31.2 у базовой
• DermMCQA точность: 71.8%
• VQA‑Rad F1: 49.9

🧪 Пример использования:

from transformers import pipeline
pipe = pipeline("image-text-to-text", model="google/medgemma-4b-it")


🔗 Hugging Face: https://huggingface.co/collections/google/medgemma-release-680aade845f90bec6a3f60c4

📝 Лицензия: Apache 2.0 (с медицинским соглашением)

#MedGemma #GoogleAI #Gemma3 #HealthcareAI #RadiologyAI #MedicalAI #OpenSourceAI #HuggingFace