Data Science. SQL hub
36.1K subscribers
1.2K photos
99 videos
37 files
1.2K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo

#VRHSZ
Download Telegram
⚡️ SQL с подвохом: NULL в пустом списке

Что выведет PostgreSQL?


SELECT
NULL IN (SELECT 1 WHERE FALSE) AS a,
NULL NOT IN (SELECT 1 WHERE FALSE) AS b;


Ответ: `a = false`,⚡️ SQL с под

Подзапрос возвращаетL в пустом списк Совпадений нет, поэтомув пуствозвращаетодвохом: а SQL с подвозвращаетодвохом: даже если проверяемое значение равно NULL.

Для сравнения:м: NULL в пустовернёт NULL. Пустой набор меняет результат.
👍6🔥2🤯2👎1
ИИ-агент, который только отвечает на вопросы, — это уже прошлый этап. Следующий шаг — научить его работать с реальными системами. Чтобы ИИ-решения приносили пользу бизнесу, агентам нужно получать данные из корпоративных систем, обращаться к базам данных и выполнять действия через внешние инструменты. Но такие интеграции требуют продуманной архитектуры и контроля безопасности.

На открытом уроке 20 октября в 20:00 МСК разберем, как связать ИИ-агентов с корпоративной инфраструктурой с помощью Tool Calling и MCP. Вы узнаете, как агенты взаимодействуют с API, базами данных и внутренними сервисами, а также какие подходы помогают безопасно управлять их действиями.

Урок пройдет в преддверие старта курса «ИИ-архитектор».

Научитесь проектировать ИИ-агентов, которые не просто генерируют ответы, а решают реальные задачи: https://otus.pw/cid2/?erid=2W5zFJRGV85

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤1👎1
🌍 SQL-задача: ближайшие точки на замкнутой карте

Карта 100 × 100: противоположные края соединены. Между координатами 1 и 99 через границу всего 2 единицы.

Для каждой точки найдите всех ближайших соседей, исключая саму точку.


WITH points(id, x, y) AS (
VALUES (1, 1, 1), (2, 99, 99), (3, 3, 99)
),
distances AS (
SELECT a.id, b.id AS neighbor,
POWER(LEAST(ABS(a.x-b.x), 100-ABS(a.x-b.x)), 2)
+ POWER(LEAST(ABS(a.y-b.y), 100-ABS(a.y-b.y)), 2) AS d2
FROM points a
JOIN points b ON a.id <> b.id
),
ranked AS (
SELECT *,
DENSE_RANK() OVER (
PARTITION BY id ORDER BY d2
) AS r
FROM distances
)
SELECT id, neighbor, SQRT(d2) AS distance
FROM ranked
WHERE r = 1
ORDER BY id, neighbor;


Ответ: 1 → 2, 3; 2 → 1; 3 → 1. Расстояние во всех случаях √8 ≈ 2,828.

Подвох: по каждой оси выбираем минимум между прямым путём и переходом через границу. DENSE_RANK() сохраняет все равные минимумы, а ранжирование по квадрату расстояния позволяет вычислить корень только при выводе.
❤5🔥4👍3😁1
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?

Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.

💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий

Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.

👉 Регистрация: https://clck.ru/3WMPsm

Реклама: ООО «ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ» ИНН: 9729274905
ERid: 2VtzqvJYWyT
❤3🔥3👍2
🧩 SQL-задача: почему `LAG()` здесь подведёт?

Есть интервалы работы сервера. Время указано в минутах:


id | start_at | end_at
---+----------+-------
1 | 1 | 10
2 | 2 | 3
3 | 9 | 12
4 | 15 | 16
5 | 16 | 20


Объедините пересекающиеся и соприкасающиеся интервалы. Вложенные интервалы тоже учитываются.

Ожидаемый результат:


start_at | end_at
---------+-------
1 | 12
15 | 20


Попробуйте решить до просмотра ответа 👇

Решение для PostgreSQL:


WITH bounds AS (
SELECT *,
MAX(end_at) OVER (
ORDER BY start_at, end_at, id
ROWS BETWEEN UNBOUNDED PRECEDING
AND 1 PRECEDING
) AS prev_max
FROM intervals
),
marked AS (
SELECT *,
CASE WHEN prev_max IS NULL
OR start_at > prev_max
THEN 1 ELSE 0 END AS new_group
FROM bounds
),
grouped AS (
SELECT *,
SUM(new_group) OVER (
ORDER BY start_at, end_at, id
ROWS UNBOUNDED PRECEDING
) AS grp
FROM marked
)
SELECT MIN(start_at) AS start_at,
MAX(end_at) AS end_at
FROM grouped
GROUP BY grp
ORDER BY start_at;


Подвох: LAG(end_at) для интервала [9,12] вернёт 3 и ошибочно начнёт новую группу. Но более ранний интервал [1,10] всё ещё перекрывает его.

Нужен максимальный конец среди всех предыдущих строк, а не только конец соседней.
👍7❤4🔥3👏1
🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии

Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.

Внутри:
• Линейная алгебра, производные, вероятности и статистика.
• Backpropagation, оптимизаторы, функции потерь и attention.
• Генеративные модели, обучение с подкреплением, RAG и рекомендации.

Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.

Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.

https://github.com/justxor/math-for-ai-2026
🔥13❤5👍1
Как мы перешли от CatBoost к нейросетям в рекомендациях Авито

Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества.

Мы перешли на нейросетевое ранжирование, и вот что получилось:

🚀 +4,3% пользователей с контактами из рекомендаций
🤝 +0,8% пользователей, совершивших сделку, по всему Авито

Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали.

Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👎1🔥1
Forwarded from Machinelearning
🔍 Microsoft выпустила модель, которая только принимает решения. В 35 раз быстрее GPT-6 Sol, выходные токены бесплатно

Microsoft-Decision-1 получает запрос и фиксированный набор вариантов и за один проход выдаёт откалиброванную вероятность для каждого. Да/нет, выбор из списка, рейтинг, оценка ответа ИИ или действия агента по рубрике. Внутри Qwen3.5-9B после пост-трейна.

На 36 закрытых бенчмарках, почти 150 тысяч вопросов, модель показала лучшую точность среди LLM и других decision-моделей. По задержке она в 4,5 раза быстрее ближайшего конкурента и в 35 раз быстрее GPT-6 Sol. На перефразированных и перемешанных вариантах решение меняется лишь в 1,3% случаев.

Внутри Microsoft её уже используют. Xbox Research разметили 10 тысяч отзывов с качеством уровня GPT-6 Sol, но в 14 раз быстрее и в 200 раз дешевле. В Copilot модель оценивает ответы агентов в 100 раз быстрее GPT-5.6 Luna.

Цена $0,042 за миллион входных токенов. Уже в Microsoft Foundry, скоро на OpenRouter.

https://commandline.microsoft.com/microsoft-decision-1-model-foundry/

@ai_machinelearning_big_data

#Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🥰2
🍃 Добавить реплику MongoDB, не копируя всю базу: что меняет Atlas Infinite

В привычной архитектуре каждый узел replica set хранит полную копию данных. Добавление реплики или изменение размера узла требует перемещения больших объёмов данных.

Atlas Infinite разделяет вычисления и хранение. Узлы выполняют запросы, а общий слой хранения, написанный на Rust, отвечает за журнал, страницы данных и долговечность. Вычислительные ресурсы и хранилище масштабируются независимо.

Самая интересная деталь: два журнала с разными задачами.

• oplog фиксирует логические операции. Запись подтверждается после устойчивого сохранения большинством реплик журнала.
• phylog передаёт физические изменения страниц при checkpoint, сохраняя пакетную обработку WiredTiger.

То есть подтверждение записи отделено от подготовки страниц для чтения.

Новая read replica подключается к общим страницам и догоняет хвост журнала. Ей не нужно сначала копировать всю базу. А данные шифруются на вычислительном узле: общий storage-слой работает с зашифрованным содержимым.

Для приложения сохраняются протокол, драйверы и семантика операций. Меняется инфраструктура под базой. Atlas Infinite пока в public preview.

Хороший разбор для тех, кому интересны внутренности СУБД:

https://muratbuffalo.blogspot.com/2026/10/atlas-infinite-mongodbs-disaggregated.html

@sqlhub
❤5🔥5👍3
🐍 Когда стандартного `sqlite3` в Python становится мало, есть APSW.

Another Python SQLite Wrapper даёт доступ к полному C API SQLite из Python.

Что можно использовать:

• Виртуальные таблицы для подключения собственных источников данных.
• VFS для управления тем, как SQLite работает с файлами.
• Session API для записи и применения наборов изменений.
• Полнотекстовый поиск, JSON и передачу массивов через CArray.
• Синхронный код и поддержку асинхронных фреймворков.

Для обычных SQL-запросов встроенного sqlite3 часто достаточно. APSW полезен, когда нужны расширенные возможности SQLite и более глубокий контроль над движком.

Установка: pip install apsw

https://github.com/rogerbinns/apsw
🔥5❤3👍3
Forwarded from AI VK Hub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
Oracle показала архитектуру агентной системы для генерации и проверки контрактов на Kubernetes

Команда Oracle AI & Data Science описала, как построить на OKE (Oracle Kubernetes Engine) платформу, которая автоматически собирает договоры и сверяет их версии. Ключевая мысль инженеров: LLM здесь не источник истины для юридических формулировок и цен. Модель работает внутри структурированных входных данных и заданных админом бизнес-правил.

Как это устроено. На вход идёт PDF-коммерческое предложение из CPQ, его разбирают в JSON, раскладывают по шаблону договора и применяют правила. Второй сценарий сравнивает изменённый договор с оригиналом и сохраняет структурированный diff. На выходе пользователь может поправить результат и скачать DOCX.

Под капотом пять агентов: разбор CPQ, разбор контракта, маппинг, дополнение контракта и ревью. Оркестрирует всё LangGraph с чекпойнтами и прерываниями. Агенты общаются с оркестратором по A2A, а инструменты находят и вызывают через MCP. Длинные шаги ставятся на паузу и возобновляются по вебхуку, состояние лежит в Redis. Задачи идут через очереди OCI Queue, после трёх неудачных попыток сообщение попадает в DLQ, а пользователю не надо загружать файл заново.

Мне показались интересными три инженерные детали. Перед любым рассуждением агента воркер прогоняет guardrails: проверка на prompt injection, вредоносный контент и маскирование PII. Есть реестр агентов как плоскость управления: админ меняет связки агентов с инструментами и бизнес-правила без передеплоя. И есть фреймворк оценки, который сверяет извлечённый JSON с эталоном до того, как изменения в промптах, модели или правилах попадут в прод.

Честные оговорки: конкретные LLM в статье не названы, цифр по скорости и стоимости нет, а кода и репозитория не приложено. Это референс-архитектура, а не готовый открытый проект.

Источник: https://blogs.oracle.com/ai-and-datascience/agentic-contract-generation-review-on-oke-enterprise-ai
❤1
Forwarded from Machinelearning
🖥 Tencent выкатила Hy Memory 2.0: открытая модель, фреймворк и MemHub для долгой памяти ИИ-агентов

Hunyuan выпустили сразу три вещи в одном релизе. Модель Hy-Memory-30B-A3B, SDK-фреймворк и приложение MemHub. По заявлению Tencent, это №1 среди открытых решений на четырёх бенчмарках памяти, а сама модель обходит Opus 5 в ряде популярных фреймворков.

Фреймворк работает с тремя типами памяти: из обычных чатов, из рабочих задач и из кода. То есть агент помнит не только то, о чём вы болтали, но и что делали в проекте.

MemHub, у него есть CLI и версия для Mac, синхронизирует память между более чем десятью ИИ-инструментами. Один раз рассказал контекст, и он доступен везде, без повторных объяснений каждому ассистенту.

Модель на 30B параметров с 3B активными (MoE), так что гонять её локально реалистичнее, чем кажется по цифре. Пока это цифры от самих авторов, независимые замеры стоит дождаться.

Код и MemHub: https://github.com/Tencent-Hunyuan/Hy-Memory

Модель: https://huggingface.co/tencent/Hy-Memory-30B-A3B

Github: https://github.com/Tencent-Hunyuan/Hy-Memory

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
👍3❤1
🐘 ИИ нашёл столько багов в PostgreSQL 19, что разработчики не успевают их исправить

Релиз теперь ожидается примерно 19 ноября. Во время беты из него убрали около 8–10 крупных функций.

По словам коммиттера PostgreSQL Питера Айзентраута, ревью с помощью LLM выявляет редкие ошибки, которые раньше могли всплывать годами. Теперь десятки отчётов приходят сразу. Каждый нужно разобрать, подготовить исправление и проверить, даже если патч занимает три строки.

При этом ИИ лишь часть причин: у некоторых функций обнаружились архитектурные проблемы, а опытные разработчики были заняты исправлением уязвимостей. Айзентраут также отмечает, что большая часть затронутого кода появилась ещё до распространения вайбкодинга.

Поиск ошибок ускорился. На их исправление по-прежнему нужно время людей.

https://peter.eisentraut.org/blog/2026/10/09/the-reverts-will-continue-until-morale-improves
👍10❤3🔥3