Big Data AI
17.6K subscribers
990 photos
127 videos
19 files
980 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты?

Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.

Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.

Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.

🎁 48 часов действует скидка в 40% процентов

👉 Начать учиться на Stepik
🥔 ByteDance тестирует новую модель Doubao под кодовым именем “Giga-Potato”

ByteDance уже неделю гоняет свою новую модель Doubao в Kilo Code — там она проходит под названием “Giga-Potato”.

Что пишут в описании Kilo Code:

- На внутренних бенчмарках модель обгоняет почти все open-weight модели, которые тестировали, особенно на задачах кодинга с длинным контекстом
- Контекст: 256k токенов
- Максимальный вывод: 32k токенов
- Отдельно отмечают “строгую дисциплину” — модель отлично следует system prompt
(полезно для enterprise, где важны линтеры, стиль и единые правила кода)

Если это подтвердится в публичных тестах - Doubao может стать одной из самых сильных моделей ByteDance именно для long-context coding.

https://x.com/AiBattle_/status/2014361796279181388
3👍2🔥2
🚀 AgentCPM-Explore - 4B агент-модель, которая играет как тяжеловес

OpenBMB представили AgentCPM-Explore - foundation model на 4B параметров, но по возможностям она реально “пинает выше своей весовой категории”.

🔥 Что в релизе самое важное:

SOTA по агентным бенчмаркам
Модель обгоняет конкурентов на 8 long-horizon тестах (GAIA, HLE и др.).
Это уровень, который обычно ждёшь от куда более крупных моделей.

🧠 Deep Research режим
AgentCPM-Explore тянет 100+ раундов взаимодействия со средой:
- динамический поиск
- проверка фактов (cross-verification)
- адаптация стратегии по ходу решения
То есть это уже не “ответчик”, а автономный мини-исследователь.

🔓 Full-Stack Open Source
Самое вкусное: OpenBMB открывают не только веса модели, а весь стек под агентов:
- Model - сама модель
- AgentRL - обучение/тренировка агентов
- AgentDock - sandbox для инструментов (безопасное выполнение)
- AgentToLeaP - платформа оценки tool-learning

Итог:
маленькая модель - огромные возможности.
End-side агенты (на устройстве) только что получили мощнейший апгрейд.

🤖 Model: https://modelscope.ai/models/OpenBMB/AgentCPM-Explore
🔧 GitHub: https://github.com/OpenBMB/AgentCPM
👍3🔥1🥰1
🦾 Как Data Vault выглядит в реальном проекте, на живых данных и с современным стеком?

👩‍🎓 На открытом вебинаре разберём проектирование хранилища по методологии Data Vault 2.0 на датасете TPC-H с использованием dbt и Trino. Пошагово покажем, как подходить к моделированию, автоматизации и работе с распределёнными источниками данных без усложнения архитектуры. Вы увидите, как Data Vault решает задачи масштабируемости и прозрачности, как dbt помогает выстраивать повторяемые пайплайны и тестировать модели, а Trino — объединять данные из разных систем в едином слое доступа.

🚀 Вы поймёте, когда Data Vault оправдан и какие инструменты использовать, чтобы хранилище не превращалось в неподдерживаемую конструкцию. Это знание критично для инженеров и архитекторов, работающих с современными DWH.

📌 Встречаемся 9 февраля в 20:00 МСК в рамках старта курса «Data Engineer»: https://otus.pw/9qi4/?erid=2W5zFG9cPxU

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🐙 OctoCodingBench - новый бенчмарк, который проверяет ГЛАВНОЕ в кодинг-агентах

Вышел OctoCodingBench - benchmark для оценки *instruction-following* у агентных моделей, которые пишут код.

Датасет:
https://huggingface.co/datasets/MiniMaxAI/OctoCodingBench

Чем он отличается от большинства бенчмарков
Обычно проверяют только одно:
“оно вообще работает?”
“тесты прошли?”

Но этого мало.

OctoCodingBench проверяет другое:
📌 соблюдает ли агент инструкции и ограничения, пока решает задачу.

Почему это важно
В реальности успех ≠ правильное поведение.

Модель может:
- написать код, который проходит тесты
- но проигнорировать требования
(безопасность, стиль, формат, лимиты, запреты, архитектуру)

И вот это уже опасно:
формально задача “выполнена”, но система становится misaligned - делает не то, что нужно бизнесу и продукту.

Главная мысль
High task success ≠ high instruction compliance.

Если ты строишь кодинг-агента - тебе важно не только “правильно”, но и послушно.
И OctoCodingBench наконец-то это измеряет.

https://huggingface.co/datasets/MiniMaxAI/OctoCodingBench
🔥3
Machine learning без путаницы

Когда только начинаешь разбираться в ML, часто возникает ощущение беспорядка — разрозненные материалы из разных источников затрудняют понимание ключевых требований, и в итоге непонятно, что на самом деле нужно учить и твое ли это направление.

Бесплатный демокурс «Погружение в machine learning» от karpovꓸcourses дает структурированное первое знакомство с профессией: погрузитесь в основы Python, разберете базовые ML-подходы, видят, как данные превращаются в модели и решения, и понимают, какие навыки действительно нужны для старта.

Доступ открывается сразу после регистрации, забирайте по ссылке: https://clc.to/erid_2W5zFJdNWfi

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFJdNWfi
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ «Суперинтеллект сможет сам заработать миллион долларов»

Юваль Ной Харари подчёркивает: дело не только в знаниях или скорости ИИ.

Настоящий рубеж наступает тогда, когда система способна самостоятельно взаимодействовать с реальным миром, а не просто отвечать на запросы.

Например:
— открыть банковский счёт
— управлять средствами
— принимать решения
— генерировать доход без постоянного участия человека

Вот здесь и происходит главный сдвиг —
ИИ перестаёт быть инструментом и становится агентом.

Это уже другой класс машинного интеллекта:
не «помощник по команде», а система, которая способна ставить подцели, действовать в среде и добиваться результатов сама.

Переход от tool → agent — один из самых фундаментальных технологических сдвигов нашего времени.
Please open Telegram to view this post
VIEW IN TELEGRAM
🙊5👍4
🚀 LiteRT - универсальная основа для AI прямо на устройстве

Google представил LiteRT — новый универсальный фреймворк для on-device AI, который развивается из TensorFlow Lite и становится базой для высокопроизводительного ML и генеративного AI на устройствах.

🔥 Что важно

До 1.4× быстрее GPU-ускорение
LiteRT показывает прирост производительности на GPU по сравнению с TensorFlow Lite, снижая задержку и улучшая отклик моделей.

🌐 Кроссплатформенность
Работает на Android, iOS, macOS, Windows, Linux и Web. Использует OpenCL, OpenGL, Metal и WebGPU через новый движок.

🤖 Поддержка NPU
Добавлено ускорение на нейропроцессорах с единым API, что упрощает разработку под разные чипы и повышает скорость инференса.

⚙️ Модели из PyTorch и JAX
Есть удобная конвертация моделей, что упрощает перенос современных AI-моделей на устройство.

📦 Open-source
Фреймворк открыт и подходит для продакшена — можно строить реальные on-device AI-приложения.

LiteRT позволяет запускать современные AI и GenAI модели прямо на устройстве — быстрее, с меньшей задержкой и лучшей приватностью, без постоянной зависимости от облака.

https://developers.googleblog.com/litert-the-universal-framework-for-on-device-ai/
4👍1🔥1
🖥 Парсинг на Python - от DOM до асинхронщины. Стань Гуру Парсинга.

Один из лучших курсов по Парсинг на Stepik со скидкой 48%

Освой Python-парсинг так, как это делают в реальных проектах.
Не учебные “игрушки”, а рабочие инструменты для сбора данных с сайтов, API и динамических сервисов.

На курсе ты шаг за шагом пройдешь путь от нуля до уровня, где умеешь стабильно забирать данные, работать с защитами, динамикой и автоматизацией. Без воды - только то, что используют в продакшене.

В итоге ты сможешь не просто “писать на Python”, а решать практические задачи: анализ данных, мониторинг, автоматизация, фриланс-заказы и собственные проекты.

Сегодня можно забрать курс со скидкой 48%: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
🧠 Claude Cognitive: Умная память для Claude Code

Claude Cognitive добавляет рабочую память к Claude Code, позволяя эффективно управлять контекстом и координировать многопоточную работу. Это решение значительно снижает затраты токенов и улучшает производительность разработчиков, обеспечивая сохранение контекста и предотвращая дублирование работы.

🚀Основные моменты:
- Умная маршрутизация файлов с учетом внимания (HOT/WARM/COLD).
- Многофункциональная координация состояния для долгосрочных сессий.
- Экономия токенов до 95% в зависимости от размера кодовой базы.
- Поддержка многопоточной работы без повторного открытия задач.

📌 GitHub: https://github.com/GMaN1911/claude-cognitive
🔥4
💡 Что если можно гарантировать, что ответ LLM всегда будет строго в нужном формате?

Большинство инструментов идут постфактум-путём.
Например, Instructor или PydanticAI проверяют вывод после генерации. Если валидация не прошла - ошибка отправляется обратно в модель, и она пробует снова.

Каждый такой ретрай - это токены, время и деньги, которые не дали полезного результата.

Подход Guidance принципиально другой.
Он ограничивает пространство возможных токенов во время генерации, поэтому модель просто не может выдать невалидный формат.

Не «сгенерировал криво - починили», а «криво сгенерировать невозможно».

Что это даёт:

Жёстко ограниченные ответы через regex и функции выбора

Python-логика прямо в процессе генерации (if/else, циклы)

Генерация JSON с валидацией по Pydantic-схеме

Это уже не просто «prompt engineering».
Это превращение LLM из болтливого генератора текста в управляемый программируемый компонент.
3👍3🔥1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 PYTHON: DEEPSEEK ЛОКАЛЬНО У СЕБЯ

Запуск DeepSeek у себя - это не “поставил pip и готово”. Правильный путь в 2026 - поднять локальный OpenAI-совместимый сервер через vLLM и уже к нему подключаться из Python.

Так ты получаешь нормальную скорость, батчинг, стриминг и один API для любых проектов. Самая частая ошибка - пытаться “загрузить модель в скрипт” и ловить OOM или тормоза. Вместо этого запускай модель как сервис, а Python используй как клиента.


1) Установи vLLM (нужна NVIDIA GPU + CUDA)
pip install vllm openai
2) Запусти локальный OpenAI-совместимый сервер (пример: DeepSeek-Coder 6.7B Instruct)
python -m vllm.entrypoints.openai.api_server \
--model deepseek-ai/deepseek-coder-6.7b-instruct \
--dtype auto \
--port 8000 \
--gpu-memory-utilization 0.90
3) Подключайся из Python как к OpenAI API

from openai import OpenAI

client = OpenAI(
base_url="http://localhost:8000/v1
",
api_key="local"
)

resp = client.chat.completions.create(
model="deepseek-ai/deepseek-coder-6.7b-instruct",
messages=[{"role": "user", "content": "Сгенерируй SQL-запрос для поиска дублей по email"}],
temperature=0.2
)

print(resp.choices[0].message.content)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43🐳3
🤖 nanobot: Легкий ИИ-ассистент

nanobot — это ультра-легкий персональный ИИ-ассистент, который предлагает основные функции в всего лишь ~4000 строках кода, что на 99% меньше, чем у Clawdbot. Он идеально подходит для исследований благодаря чистому и понятному коду, а также обеспечивает быструю работу с минимальными ресурсами.

🚀Основные моменты:
- Ультра-легкий: всего ~4000 строк кода
- Быстрая работа и низкое потребление ресурсов
- Легкость в использовании и настройке
- Поддержка общения через Telegram и WhatsApp
- Готов к исследованиям и модификациям

📌 GitHub: https://github.com/HKUDS/nanobot
4🔥4👍2
🚨 Теперь можно запускать 70B LLM на видеокарте с 4GB VRAM

AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”.

Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти.

Как это возможно?

Вместо загрузки всей модели в память сразу, AirLLM:

- подгружает модель по слоям
- выполняет вычисления
- освобождает память
- переходит к следующему слою

Фактически, это потоковая обработка модели.

Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM.

Что это даёт разработчикам:

- не требуется квантование по умолчанию
- можно запускать Llama, Qwen, Mistral, Mixtral локально
- работает на Linux, Windows и macOS
- не нужен сервер с огромным GPU

Это сдвигает барьер входа для локального LLM-разработки и экспериментов.

AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны.

https://github.com/0xSojalSec/airllm
10👍9😱4🔥2🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Токенизация в LLM - как “Hello” превращается в цифры.

Токенизация - это первый шаг перед тем, как LLM вообще начнет “думать”.

Модель не понимает текст напрямую.
Она понимает только числа.

Поэтому любой текст сначала разбивается на маленькие кусочки - токены:
- иногда это целые слова
- иногда части слов (su, per, man)
- иногда один символ
- иногда даже пробел - тоже токен

Пример:
Фраза "I love programming" разбивается не обязательно на слова, а на кусочки слов:

[I] ,[ love] ,[ program] , [ming]

Обрати внимание:

- " love" начинается с пробела - потому что пробел тоже часть токена
- programming разделилось на 2 токена: " program" + "ming"

То есть Токенизация - это когда LLM режет текст на маленькие кусочки (токены) и переводит их в числа.

Важно:


Чем больше токенов - тем дороже запрос и тем быстрее съедается контекст.

Плохая токенизация = странные ошибки (особенно в коде, ссылках, редких словах).

Поэтому LLM отлично понимают частые слова, но могут путаться на редких именах, терминах и смешанных языках.

И лайфхак: если хочешь “дешевле” и “чище” ответы - пиши короче, без мусора, без повторов.
Контекст - это валюта.


# Tokenization demo (Python)
# pip install tiktoken

import tiktoken

text = "I love programming in Python 🐍"

enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode(text)

print("Text:", text)
print("Token IDs:", tokens)
print("Tokens count:", len(tokens))

# decode back
print("\nDecoded tokens:")
for t in tokens:
print(t, "->", repr(enc.decode([t])))


https://www.youtube.com/shorts/A7DCcYLq38M
5👍2
Протестируйте OpenClaw в облаке Cloud․ru ❤️
Быстро. Бесплатно. Безопасно.

OpenClaw — нашумевший AI-ассистент для DevOps, администраторов и инженеров. В отличие от обычных чат-ботов, он может:
➡️ самостоятельно запускать команды
➡️ работать с файлами
➡️ отправлять отчеты в мессенджеры

Как вам проверить его в действии
Решение доступно в Маркетплейсе Cloud․ru и разворачивается бесплатно. Готовый образ уже протестирован и запускается напрямую в облаке — без установки на рабочий компьютер и без рисков для данных.

👉 Запустить OpenClaw
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔5👍2
🤯 1.7B доменов - крупнейший паблик датасет “public domains” (бесплатно)

Кто-то решил: “а что если реально собрать ВЕСЬ интернет?”
И сделал это.

🔥 1.7 BILLION доменов
- уникальные
- отсортированные
- мульти-TLD
- чистый список без мусора

И самое дикое: весит всего 4.6 GB в сжатом виде.

Почему это реально полезно:
этот список - идеальная база для задач, где нужны “масштаб” и “полная картина”.

Use cases:
OSINT и массовая разведка
threat intel / аналитика угроз
исследование фишинга и детекторы фишинговых доменов
reputation scoring и классификация доменов
passive recon / subdomain enum / brute-force
подготовка данных для AI/LLM (файнтюн, классификаторы, фильтрация)

Хочешь построить:
- лучший детектор фишинга?
- классификатор доменов на ML?
- движок репутации доменов?

Теперь есть топливный бак на 1.7B записей 😈

Репозиторий: github.com/tb0hdan/domains
👌5🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Новая модель для анализа УЗИ сердца — EchoJEPA.

- Обучена на 18 млн видео эхокардиографии
- Снижает ошибку оценки фракции выброса левого желудочка примерно на 20% по сравнению с лучшими существующими моделями
- Работает zero-shot даже на детских исследованиях, на которых не обучалась
- Устойчива к шуму и лучше выделяет именно структуры сердца

Интересен сам подход.

EchoJEPA построена на архитектуре JEPA (идея Yann LeCun):
- модель учится понимать структуру и движение, а не просто пиксели
- предсказывает представления (embeddings), а не изображение целиком
- за счёт этого лучше обобщает на новые данные

Что это даёт на практике:

- более стабильные измерения при анализе УЗИ
- меньше зависимости от качества изображения
- потенциально — автоматическую предварительную оценку для врача

Это хороший пример того, как foundation-подходы начинают работать в реальных медицинских задачах, а не только в общих CV-бенчмарках.

Paper: https://arxiv.org/abs/2602.02603
Code: https://github.com/bowang-lab/EchoJEPA
11👍3
🔥 Полезная подборка каналов только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇

🖥 ИИ: t.me/ai_machinelearning_big_data

🖥 Python: t.me/pythonl

🖥 Linux: t.me/linuxacademiya

🖥 C++ t.me/cpluspluc

🖥 Docker: t.me/DevopsDocker

🖥 Хакинг: t.me/linuxkalii

🖥 Devops: t.me/DevOPSitsec

👣 Golang: t.me/Golang_google

🖥 Аналитика: t.me/data_analysis_ml

🖥 Javascript: t.me/javascriptv

🖥 C#: t.me/csharp_ci

🖥 Java: t.me/javatg

🖥 Базы данных: t.me/sqlhub

👣 Rust: t.me/rust_code

🤖 Технологии: t.me/vistehno

💰 Экономика и инвестиции в ИИ t.me/financeStable

💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi

🖥 Chatgpt бот в тг: t.me/Chatgpturbobot

📚 Бесплатные ит-книги: https://t.me/addlist/HwywK4fErd8wYzQy

🖥Подборка по Golang: https://t.me/addlist/MUtJEeJSxeY2YTFi

⚡️ Лучшие ИИ ресурсы: https://t.me/addlist/2Ls-snqEeytkMDgy

Самое лучшее в этом: ты учишься даже тогда, когда “нет времени, просто потому что читаешь правильную ленту.
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1