Анализ данных (Data analysis)
46.3K subscribers
2.3K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 AI, который управляет твоим браузером — напрямую

💻 OpenDia — расширение, которое позволяет ChatGPT, Claude и локальным LLM напрямую кликать кнопки, заполнять формы и управлять твоим реальным браузером.

🔥 Работает в твоей сессии — использует уже залогиненные аккаунты и открытые вкладки. Не эмуляция, а настоящее взаимодействие.

Поддержка ChatGPT, Claude и LLM с локального хоста
Навигация, ввод текста, нажатия, скролл — всё доступно
Полностью open source (MIT)
Расширение и API на Node.js + Playwright

🛠 Идеально для:
- Автоматизации рутинных задач
- Тестирования сайтов
- Создания AI-агентов с реальным доступом к вебу

🔗 Репозиторий: https://github.com/aaronjmars/opendia
13👍4😐4🔥2
✏️ Школы возвращаются к письменным экзаменам — из-за ИИ списывают почти все

По данным Fox News, 89% студентов используют ChatGPT и другие ИИ для выполнения заданий.

Учителя признаются: отличить текст, написанный ИИ, от человеческого — почти невозможно.

📉 В результате:
- Texas A&M, Университет Флориды и UC Berkeley массово возвращают обычные бумажные тетради и письменные экзамены (ранее перешли на цифровые варианты)

🤖 Почему так?
- ChatGPT умеет имитировать стиль ученика.
- Детекторы ИИ работают слабо — в слепых тестах учителя не смогли отличить ИИ-ответ от настоящего.
- В условиях онлайн-обучения и дистанта — списывать стало слишком просто.

🧠 Что дальше?
- Некоторые школы вводят устные эксзамены, письменные эссе в классе, наблюдение за процессом.
- Другие — обучают этике и грамотному использованию ИИ, как когда-то учили пользоваться калькулятором.

📌 Вывод: Ручка против ИИ — временное решение. Главный вопрос — как переосмыслить само образование в эпоху ChatGPT.

Источник

@data_analysis_ml
🔥15👍97
Media is too big
VIEW IN TELEGRAM
🎨🚀 Tencent представили Hunyuan3D-PolyGen — новый генеративный ИИ для 3D-моделей с высоким уровнем качества

С ходу выйдет из ИИ сразу готовые для пайплайна художников и игровых студий.

Что умеет:

Собственная autoregressive-сеть генерирует чистую, плотную сетку без артефактов
Сложная геометрия — способна выдавать более 10 000 полигонов с высокой детализацией и стабильной структурой
Гибкий экспорт — поддержка tri- и quad-мешей под разные пайплайны

🔥 Подходит для:
— геймдева
— цифрового арта
— быстрых 3д прототипов

ИИ, который реально умеет 3D.

👉 Попробовать (включайте автопереводчик)

@data_analysis_ml

#3d #Tencent #Hunyuan #genai #ai
17👍9🔥5🤯1
🚀 AirLLM — перспективный подход к запуску LLM на слабом железе.

Этот проект позволяет запускать 70B-параметрические модели на видеокартах с 4GB памяти без квантования — это стало возможным благодаря оптимизированной послойной загрузке весов.

Инструмент работает благодаря блочному 4/8-битное сжатие, ускоряющее inference в 3 раза с минимальной потерей качества. Решение работает даже на MacOS с чипами Apple Silicon , поддерживаются Llama3, Qwen2.5, Mixtral и другие топовые LLM.

🤖 GitHub

@data_analysis_ml
🔥198👍4
🔥 Gemini API теперь с Batch Mode — экономия 50%!

Google добавил режим пакетной обработки в Gemini API — теперь можно запускать крупные задания и получать результаты с 50% скидкой. Идеально для массовой генерации, ассистентов и анализа.

Что умеет новый режим:
Обработка больших партий данных — дешевле в 2 раза
Результаты приходят в течение 24 часов
Поддержка встроенных инструментов, включая Google Search
Принимает данные в строках или через JsonL-файлы до 2 ГБ
Кэширование контекста для длинных заданий
Простой API: создание, удаление, получение результатов

Полезен для:
- генерации больших объёмов текстов/ответов
- чат-ботов с очередями задач
- анализа данных с контекстом
- автоматизации LLM-инференса

📘 Документация: https://ai.google.dev/docs/gemini-api/batch

@data_analysis_ml
👍97🔥4
🧠 Energy-Based Transformers — модель, которая умеет думать, а не просто угадывать

Новая архитектура EBT (Energy-Based Transformers) показывает, что трансформеры можно сделать умнее и универсальнее.

Что делает EBT:
- 📊 Лучше классических трансформеров (включая Transformer++) по всем параметрам: данные, глубина, количество параметров, вычисления
- При "долгом размышлении" даёт +29% прирост качества на тестах
- 🌍 Отлично работает с любыми типами данных: текст, видео, звук, 3D и др.
- 🧠 Умеет обобщать — справляется с новыми задачами без дообучения
- Не нуждается в наградах (как в reinforcement learning)

Почему это важно:
EBT — это шаг к ИИ, который способен реально *думать*, а не просто воспроизводить шаблоны. Он не просто быстрее, он глубже понимает, что делает.

Website: https://energy-based-transformers.github.io
Paper: https://arxiv.org/abs/2507.02092

@data_analysis_ml
12👍3🔥2
🚀 Новинка от Hugging Face — FineWeb‑2: огромный высококачественный веб‑датасет на базе CommonCrawl!

📊 Основные характеристики:
- ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024)
- Более 1000 языков и почти 1900 языковых-скриптовых пар
- Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация
- Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях

📝 Зачем это нужно:
- Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral)
- Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu

🔧 Где применить FineWeb‑2:
- Обучение LLM с нуля
- Дообучение на редких языках
- Синтетическая генерация, RAG и пр.

📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
11🔥4👍3
🧠 Hugging Face представили SmolLM-3B — компактную и мощную open-source LLM на 3 млрд параметров, которая работает *прямо на ноутбуке*.

📦 Особенности:
• Тренирована на 1T токенов (RefinedWeb + книги + код + академические тексты)
• Обгоняет Mistral-7B и LLaMA-3 8B на многих задачах
• Работает в GGUF, поддерживается LM Studio, Ollama, LM Deploy и др.

💡 Зачем это нужно?
SmolLM — не про SOTA, а про локальные сценарии: быстрый запуск, приватность, низкие требования к железу.

📁 Репозиторий и демо:
https://huggingface.co/blog/smollm3

@data_analysis_ml
🔥166👍5
🎯 Hugging Face показали, как ускорить обучение мультимодальных моделей, устранив главное узкое место — неэффективную загрузку данных.

Они представили Multimodal Data Pipeline (MMDP) — мощный, но простой пайплайн, который решает проблему простоя GPU из-за паддинга и медленного I/O.

Вот как это работает:

1. Визуализация данных — сначала анализируются длины текстов и структура мультимодальных примеров.
2. Constrained Padding — вместо бездумного паддинга, обрезаются аномально длинные примеры.
3. Packing как bin-packing — батчи собираются по максимальному числу токенов, а не по фиксированному количеству примеров.
4. Multimodal-aware batching — учитывается и число изображений в батче.
5. ConstantLengthDataset — кастомный класс с producer-consumer очередями и плотной упаковкой без паддинга.

💡 Результат — более плотные батчи, меньше токенов вхолостую, выше эффективность обучения.

Исходники и туториал:
📌 https://huggingface.co/blog/mmdp
📌 https://github.com/ariG23498/mmdp

Если ты тренируешь VLM или LLM с изображениями — это must-have.

@data_analysis_ml
12👍3🔥2
🧠 Хочешь сделать свой ИИ-стартап? Начни с базы!

Microsoft запустила бесплатный курс по MCP — это про то, как подключать нейросети к реальным приложениям: сайтам, чатам, бэкендам и не только.

📚 Что внутри:
• 11 модулей с теорией и практикой
• Примеры кода на разных языках
• Всё можно пройти на русском

Идеально, если хочешь научиться использовать ИИ не на уровне «поиграться», а реально внедрять.

👉 Курс бесплатный — забираем здесь
7👍52🔥1
Google DeepMind расширяет линейку своих моделей Gemma

Представлены две новинки:

✔️ T5Gemma — новая жизнь для классической архитектуры encoder-decoder от Google DeepMind

Большинство современных LLM используют архитектуру *decoder-only*, но Google решила напомнить о силе классической схемы *encoder-decoder*, особенно эффективной в задачах вроде перевода, и QA.

Это новая линейка LLM, в которой уже обученные модели Gemma 2 (decoder-only) превращаются в мощные encoder-decoder через метод адаптации. Такой подход даёт сразу два бонуса:
- сохранение знаний из Gemma 2;
- гибкость и эффективность encoder-decoder архитектуры.

Особенности:
- Обновлённая версия Gemma 2 с архитектурой encoder-decoder.
- Отличный баланс между качеством и скоростью инференса (по сравнению с decoder-only).
- Доступны чекпойнты: Small, Base, Large, XL, 2B-2B, 9B-9B, 9B-2B.
- Достигает большей точности, не жертвуя временем инференса.
- Открывает путь к “небалансным” конфигурациям, когда, например, энкодер мощный, а декодер компактный.


✔️ MedGemma — открытые мультимодальные модели для медицины от Google DeepMind


🟡 MedGemma 4B Multimodal
- 64.4% на MedQA — одна из лучших моделей в классе <8B.
- В слепом тесте: 81% отчётов по рентгенам, сгенерированных MedGemma 4B, были признаны квалифицированным рентгенологом достаточно точными для принятия медицинских решений.
- Также показывает SOTA-уровень на задачах медицинской классификации изображений.

🟢 MedGemma 27B (Text + Multimodal)
- 87.7% точности на MedQA — почти как у DeepSeek R1, но в 10 раз дешевле по инференсу.
- Конкурирует с гораздо более крупными моделями на задачах:
- Определение диагноза;
- Интерпретация ЭМК (электронных медкарт);
- Комбинированное понимание текста и изображений.

Открытые модели — можно кастомизировать, дообучать и использовать локально.

🟡T5gemma: https://developers.googleblog.com/en/t5gemma/
🟡MedGemma: https://research.google/blog/medgemma-our-most-capable-open-models-for-health-ai-development/


#GoogleDeepMind #ai #ml #llm #med
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥5👍1