Анализ данных (Data analysis)
52.2K subscribers
2.92K photos
355 videos
1 file
2.47K links
Data science, наука о данных.

#VRHSZ

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
🚀 Новый алгоритм LLM: Speculative Speculative Decoding

SSD - это инновационный алгоритм для вывода LLM, который обеспечивает высокую скорость и точность. Он использует параллельное предсказание от малой модели, что устраняет задержки в процессе генерации. Поддерживает различные модели и оптимизации для повышения производительности.

🚀Основные моменты:
- Параллельное предсказание для ускорения вывода
- Поддержка моделей Qwen3 и Llama3
- Оптимизированные алгоритмы и параллелизм
- Интерактивный чат с поддержкой нескольких моделей

📌 GitHub: https://github.com/tanishqkumar/ssd
👍104😍2🥴1
⚡️ Google представила Groundsource: систему, которая превращает новости в данные с помощью Gemini

Google Research показала новую технологию Groundsource, которая превращает обычные новостные статьи в структурированные датасеты.

Идея простая, но мощная:
в мире публикуются миллионы новостей о событиях, катастрофах и происшествиях, но эти данные неструктурированы и плохо подходят для анализа.

Groundsource решает эту проблему.

Как это работает:

1. Gemini анализирует миллионы новостных статей
2. AI извлекает ключевые факты - место, время и тип события
3. Эти данные превращаются в структурированный датасет

Первый датасет уже создан,
он содержит 2.6 млн исторических случаев внезапных наводнений в 150+ странах.

Ученые долго сталкивались с проблемой - для многих природных катастроф просто нет исторических данных, чтобы обучать модели.

Google решила проблему неожиданным способом -
использовать новостные статьи как источник данных.

На основе Groundsource уже обучена модель, которая может предсказывать flash-flood наводнения до 24 часов заранее.

Прогнозы публикуются в сервисе Flood Hub, где власти и службы реагирования могут видеть зоны риска.

Что это значит для AI:

LLM начинают использоваться не только для генерации текста, а для создания новых датасетов из неструктурированной информации.

Фактически AI превращает интернет-тексты в машиночитаемые данные.

Это открывает огромные возможности:

• климат и природные катастрофы
• экономика
• медицина
• геополитика
• анализ событий в реальном времени

Следующий шаг: LLM смогут автоматически превращать любые текстовые источники в обучающие данные для ML-моделей.

https://research.google/blog/introducing-groundsource-turning-news-reports-into-data-with-gemini/
🔥22👍97
🖥 Большинство парсеров умирают через 2 дня.

Ты научишься делать те, которые работают в продакшене.

Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:

• не падают из-за мелких изменений на сайте
• собирают данные в разы быстрее
• обновляют всё автоматически по расписанию
• обходят ограничения и блокировки
• выглядят как полноценный сервис, а не как хаос из файлов

Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключаться.

В итоге ты сможешь:

• забирать данные для своих проектов
• автоматизировать чужую рутину
• создавать инструменты для аналитики
• брать коммерческие заказы на сбор данных

Это навык, который напрямую превращается в деньги.
Не «знаю Python», а «умею профессионально добывать данные из интернета».

🎁 Скидка 50% на Stepik действует 48 часов: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁74👍2😍2
This media is not supported in your browser
VIEW IN TELEGRAM
Я больше не твой учитель 😆
🤣23🙏10👍5😢53🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
Как Яндекс строил data-платформу для ROSTIC'S: разбор в новом шоу

Yandex B2B Tech запустила «Техно на прокачку» — проект, где инженеры и комик Егор Кукса разбирают реальный кейс внедрения платформы данных в сети ресторанов ROSTIC'S. В ход идет все: от PostgreSQL и ClickHouse до флешки деверя.

Что интересного:
• Рестораны посещают 1,7+ млн человек в день — это 100+ Гб данных в неделю с касс и терминалов
• Инженеры Яндекса развернули платформу на базе собственных сервисов и managed-решений для Greenplum, ClickHouse и Apache Kafka
• Загрузка данных в аналитические отчёты ускорилась в 3 раза

В шоу поэтапно показывают, как строилась архитектура под высокую нагрузку и какие технологии реально работают в крупном бизнесе. Без воды — только инженерия и цифры.

Посмотреть можно на YouTube, VK Видео или Кинопоиске.
🥱18🔥95🥰2👍1🤣1
Goldman Sachs: AI-агенты могут полностью изменить экономику софт-рынка.

Согласно новому исследованию, к 2030 году более 60% прибыли в software может приходиться на системы с AI-агентами.

Это означает сдвиг модели рынка:
деньги будут идти не столько в SaaS-подписки, сколько в агентные рабочие процессы, которые выполняют задачи самостоятельно.

Настоящие агентные системы пока в основном находятся на стадии пилотов и внутренних экспериментов.

Для масштабирования индустрии нужны:
- стабильный platform layer
- защита identity и security
- контроль целостности данных

Эксперты считают, что широкая стандартизация появится примерно через 12 месяцев.

При этом технологии быстро улучшаются:
растёт надёжность и память агентов, что снижает количество ошибок и делает возможным почти автономную работу в:

поддержке, продажах, маркетинге и инструментах разработки.

Компании, которые смогут обернуть рабочие процессы в AI-агентов, фактически станут новым интерфейсом для knowledge-работы и смогут забирать значительную часть экономической выгоды от роста продуктивности.

goldmansachs.com/insights/articles/ai-agents-to-boost-productivity-and-size-of-software-market
🤣76👍6🔥3🥱2🤔1
Началась новая эпоха - гражданской науки, когда обычные люди могут проводить сложные научные исследования с помощью AI.

Инженер без медицинского образования использовал ChatGPT и AlphaFold (AI-систему для анализа белков), чтобы создать экспериментальную вакцину от рака для своей собаки.

Он потратил около $3000, чтобы получить ДНК-последовательности:

- здоровой крови собаки
- опухоли

Перед ним оказались гигабайты сырого генетического кода, который он не умел читать.

И здесь ключевую роль сыграл ChatGPT.

Он использовал его как своего рода биологического консультанта, чтобы понять:

- как сравнить два набора ДНК
- как найти мутации, вызывающие рак
- какие инструменты использовать для анализа

ChatGPT дал пошаговые инструкции, как запустить анализ данных и подсказал использовать AlphaFold, чтобы определить форму повреждённых белков.

В итоге инженер смог составить полстраницы химического рецепта mRNA-вакцины.

Такая вакцина - это по сути генетическая инструкция, которая учит иммунную систему распознавать и атаковать конкретные мутировавшие раковые клетки.

Университетские исследователи были настолько впечатлены его формулой, что помогли произвести реальную вакцину.

Ветеринар сделал инъекцию собаке.

Через несколько недель огромная опухоль уменьшилась примерно на 50%.

Если такие истории начнут повторяться, мы можем увидеть совершенно новую модель науки,
когда AI превращает любопытных инженеров в исследователей.

#AI #ChatGPT #Biotech #AlphaFold #Future

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
52🔥28👍12🍌3❤‍🔥1
«Cursor - лучший для vibe-coding»

«Claude Code лучше. А то, что ты навайбкодил уже принесло деньги?»

«Нет. А у тебе?»

«Нет.»

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
🤣5711👍7😁3🔥1
🧠 Новый подход к архитектуре нейросетей: Attention Residuals

Исследователи предложили переосмыслить одну из базовых идей глубоких нейросетей - residual connections.

До сих пор такие соединения работали очень просто:
каждый слой добавляет свой результат к предыдущим слоям через фиксированное накопление.

Но у этого подхода есть проблемы:
• информация постепенно «размывается»
• растёт скрытое состояние
• модели сложнее извлекать важные представления из прошлых слоёв

Теперь предложена новая идея - Attention Residuals.

Вместо обычного сложения слоёв модель использует attention, чтобы выбирать, какие представления из предыдущих слоёв действительно нужны.

Проще говоря:

модель сама решает, к каким слоям прошлого стоит “вернуться”.

Что это даёт:

🔹 сеть может избирательно извлекать нужные представления
🔹 уменьшается эффект «размывания» информации
🔹 контролируется рост скрытых состояний
🔹 глубина сети используется гораздо эффективнее

Чтобы это работало на больших моделях, авторы предложили механизм Block AttnRes.

Он делит сеть на блоки и применяет сжатое attention между ними, делая кросс-слойное внимание масштабируемым.

По результатам экспериментов:

• около 1.25× выигрыша по вычислениям
<2% увеличение latency на инференсе
• стабильный рост качества на downstream-задачах

Метод протестировали на архитектуре Kimi Linear:

48B параметров всего
3B активных параметров

Если идея подтвердится на больших LLM, это может стать новым стандартом для глубинных архитектур нейросетей.

https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
👍179🔥3
Новое исследование показывает, как огромные зарплаты техногигантов уводят лучших специалистов по ИИ из университетов.

Сегодня топ-1% исследователей ИИ в индустрии зарабатывают около $2 млн в год.

Переходя в частные компании, учёные почти перестают публиковать открытые научные работы — вместо этого они на 530% чаще оформляют патенты, чтобы сохранять разработки внутри компаний.

В рамках исследования были проанализированы карьеры 42 000 специалистов по искусственному интеллекту.

https://www.nber.org/system/files/working_papers/w34964/w34964.pdf

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
🔥127👍4😢3🤣2
This media is not supported in your browser
VIEW IN TELEGRAM
🌟 Spatial-TTT.

Это фреймворк х с использованием test-time training (TTT).
Spatial-TTT адаптирует «быстрые веса», чтобы захватывать и структурировать пространственную информацию из длинных видеопотоков. Это позволяет моделям со временем формировать структурированную 3D-пространственную память.

SOTA-результаты
Модель показывает лучшие результаты на задачах долгосрочного пространственного понимания видео (VSI-Bench).

Работа заняла 1 место в рейтинге Daily Papers на Hugging Face 13 марта.

Проект: https://liuff19.github.io/Spatial-TTT/
GitHub: https://github.com/THU-SI/Spatial-TTT
Статья: https://huggingface.co/papers/2603.12255
Модели и данные: https://huggingface.co/THU-SI

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍95🔥5
⚡️ Нашёл интересный open-source проект: Crucix

Это self-hosted intelligence terminal, который автоматически следит за событиями в мире и присылает сигналы, когда что-то меняется.

По сути это персональный разведывательный агент для данных.

Crucix агрегирует данные примерно из 26 открытых источников и регулярно обновляет их.

Он собирает сигналы из разных категорий:

- геополитика
- экономика
- энергетика
- социальные тренды
- мировые события

И показывает всё это в едином self-hosted дашборде.

Главная идея — не читать десятки сайтов и новостей вручную.

Система сама:

• мониторит источники
• отслеживает изменения
• отправляет уведомления, если появляется важный сигнал

Фактически это инструмент раннего обнаружения трендов.

Можно использовать для:

- мониторинга рынков
- отслеживания геополитики
- анализа новостей
- поиска ранних сигналов изменений

Проект позиционируется как personal intelligence agent, который следит за миром и сообщает, когда происходит что-то важное.

https://github.com/calesthio/Crucix

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
👍246🔥5
🐍 Вышла новая модель из серии Mamba - Mamba-3.

Гибридные архитектуры становятся всё популярнее, поэтому всё больше внимания уделяется созданию следующего поколения линейных моделей.

В Mamba-3 исследователи предложили несколько новых идей вокруг SSM (state space models), которые заметно увеличивают способность модели обучаться без потери скорости.

В результате Mamba-3 показывает более высокую производительность, чем предыдущие линейные модели, включая:

- Mamba-2
- Gated DeltaNet

Причём улучшения наблюдаются во всех размерах моделей.

Интересный факт:
это первая версия Mamba, созданная студентами.

Основные авторы проекта:

- Aakash Lahoti
- Kevin Li
- Berlin Chen
- Caitlin Weng
- Tri Dao

Что нового в Mamba-3:
1. Улучшенная дискретизация SSM

Предложена новая схема дискретизации, которая лучше имитирует свёртку (convolution) и делает модель более выразительной.

Она также позволила избавиться от short convolution, который раньше использовался в линейных моделях.

2. Комплексные переходы состояний
Переходы состояний теперь используют комплексные числа, что значительно улучшает способность модели отслеживать состояние.

Это решает проблемы предыдущих версий Mamba, которые, например, не могли решать даже некоторые простые задачи вроде bit parity.

3. Архитектура MIMO вместо SISO
Модель перешла от структуры SISO (single input single output) к MIMO (multiple input multiple output).

Это позволяет лучше использовать железо при inference, что даёт дополнительный прирост производительности.

Также архитектура была немного обновлена и стала ближе к современным языковым моделям.

Например, добавлены компоненты вроде BC / QK normalization.

Mamba-3 заметно усиливает линейные модели и делает их ещё более конкурентными с трансформерами, особенно в задачах языкового моделирования.

Paper: https://arxiv.org/abs/2603.15569
Code: https://github.com/state-spaces/mamba
Blog: https://goombalab.github.io/blog/2026/mamba3-part1/

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
👍9🔥43
Nvidia DLSS 5 OFF / Nvidia DLSS 5 ON
🤣5110🔥5🍌5🌭3👍2💔2
Alibaba выпустила open-source фреймворк, который похож на смесь OpenClaw и Claude Cowork 🤯

Что он умеет:

• долгосрочная память (long-term memory)
• может работать локально через Ollama
• поддерживает бесплатные модели, например Qwen 3.5
• self-hosting, система skills и многое другое

Ссылка:
https://github.com/agentscope-ai/CoPaw
👍155😍2
Вот это комбо: ты, команда SberAds и шанс получить приглашение в Сбер за один день! ⚡️

28 марта Сбер устраивает One Day Offer* для Data Scientists**, готовых перевести эффективность SberAds, качество и релевантность показываемой рекламы на новый уровень.

Если ты хочешь работать над созданием и улучшением моделей для аукционов и свободно ориентируешься в Python, Go, S3, Spark — регистрируйся на One Day Offer*.

У тебя будет 8000+ коллег — масштабно, правда? Успей занять место в команде мечты!

* One Day Offer — предложение о работе за один день.
** Data Scientists — исследователи данных.
👍4
⚡️ Вышла новая модель Minimax M2.7 и релиз получился очень мощным.

Что интересного:

🧠 Self-evolving модель
M2.7 — одна из первых моделей, которая помогала улучшать саму себя.
Во время RL-обучения она запускала 100+ автономных циклов оптимизации, что дало около 30% внутреннего улучшения.

💻 Крутые результаты в кодинге
56.2% на SWE-Pro (почти уровень Claude Opus 4.6)
55.6% на VIBE-Pro
— может находить и исправлять production-баги менее чем за 3 минуты

🔬 Агент для ML-исследований
66.6% medal rate на MLE Bench Lite
— фактически на уровне Gemini 3.1 в задачах ML-исследований.

📊 Офисная и аналитическая работа
ELO 1495 на GDPval-AA (лучший open-source результат)
97% точность выполнения задач
— может делать полный аналитический workflow:
анализ данных → отчёт → модель → презентация.

🤖 Нативная multi-agent архитектура
Модель изначально рассчитана на работу нескольких агентов вместе.

🎭 OpenRoom
Новый open-source демо-проект с интерактивными AI-персонажами, которые могут взаимодействовать друг с другом.

https://www.minimax.io/news/minimax-m27-en

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
👍11🔥83🍌1
⚡️ Загадочная модель Hunter Alpha появилась в сети и уже наделала много шума

По данным Reuters, на OpenRouter внезапно обнаружили новую ИИ-модель под названием Hunter Alpha.

И самое интересное - это может быть не просто ноунейм 👇

Есть слухи, что это скрытая тестовая версия DeepSeek V4.

Что известно на данный момент:

- около 1 триллиона параметров
- контекст до 1 миллиона токенов
- стиль рассуждений очень похож на chain-of-thought, как у DeepSeek

Во время тестирования модель сама указала:

- обучалась преимущественно на китайских данных
- knowledge cutoff — май 2025

И это практически полностью совпадает с тем, что ранее заявляли про DeepSeek.

Что это может быть:

👉 ранний тест перед релизом
👉 “тихий” запуск без анонса
👉 или хорошо замаскированная модель

Но главное здесь другое:

рынок снова движется в сторону
гигантских моделей + длинного контекста + сильного reasoning

И если это действительно DeepSeek V4 -
нас ждёт новый скачок в возможностях ИИ.

👉 https://www.reuters.com/business/media-telecom/mystery-ai-model-has-developers-buzzing-is-this-deepseeks-latest-blockbuster-2026-03-18/

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml
8👍7🔥2