Data Science. SQL hub
35.9K subscribers
1.14K photos
95 videos
37 files
1.16K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo

#VRHSZ
Download Telegram
🤖Робозон: хакатон от Ozon Tech с призовым фондом 15 млн рублей

Это один из самых интересных хакатонов лета для специалистов по ML, робототехнике и автоматизации. Участникам предстоит решать задачи на основе реальных данных и кейсов Ozon.

Организатор — Ozon Tech.
Призовой фонд — 15 000 000 рублей.

В программе три трека под разные скиллсеты:

• Имитационное моделирование сортировочного центра
• Конструкция автоматизированного сортировщика товаров
• Интеллектуальная роботизированная система сортировки товаров, которая нам, конечно, наиболее интересна.

Участвовать можно как в одиночку, так и командой до 7 человек.

Регистрация открыта до 11 июля. Подробнее о хакатоне здесь
👍32
This media is not supported in your browser
VIEW IN TELEGRAM
Задача, которую Ньютон решил за один вечер

В июне 1696 года Иоганн Бернулли опубликовал в журнале Лейбница *Acta Eruditorum* математический вызов на 6 месяцев.

Даны две точки на разной высоте.
Какой формы должен быть спуск, чтобы тело съехало из верхней точки в нижнюю за минимальное время?

К январю ответил только Лейбниц и попросил больше времени, поэтому срок продлили до Пасхи.

Ньютон получил письмо с задачей вечером, когда вернулся с работы, и решил её до того, как лёг спать.

Эта задача называется задача брахистохроны.

Самый быстрый путь оказался не прямой линией, а циклоидой.

Пример:

Пусть верхняя точка:

A = (0, 0)

нижняя точка:

B = (π, 2)

а ось y направлена вниз.

Циклоида задаётся формулами:


x = R(θ - sin θ)
y = R(1 - cos θ)
9👍5🔥4
✔️ Data-Juicer: пайплайн для подготовки данных под foundation models

Alibaba и сообщество Data-Juicer развивают open-source систему для обработки датасетов перед обучением, дообучением и RAG.

Data-Juicer помогает чистить, фильтровать, дедуплицировать, синтезировать и анализировать данные. Работает не только с текстом, но и с мультимодальными датасетами: изображениями, аудио и видео. В версии 2.0 заявлено больше 100 операторов для разных модальностей.

Практический сценарий понятный: есть сырой корпус из разных источников, где много дублей, мусора, слабых примеров и перекоса по доменам. Data-Juicer позволяет собрать воспроизводимый data recipe, прогнать его на локальной машине или в распределённом режиме и потом оценить, как изменения в данных влияют на модель.

Проект смотрит на данные как на отдельный слой оптимизации. Позволяет настроить качество, смесь, фильтры и пайплайн обработки. В ранней работе авторы показывали прирост до 7.45% по среднему score на 16 LLM-бенчмарках и 17.5% win rate в GPT-4 pairwise evaluation за счёт data recipes.


https://github.com/datajuicer/data-juicer
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥2
Forwarded from Machinelearning
📌Claude Code изменил чужую продакшен-базу

На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга.

В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения.

🟡Дальше самое неприятное

Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи.

Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца.

🟡Причина пока неизвестна

В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов.

Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию.


Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах.

🟡Есть и куда более прозаичное объяснение

Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст.

Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть.

Автоматика GitHub повесила на тикет метку security.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5
Хотите развиваться в Data Science? Строить ML-продукты для миллионов пользователей? Авито и ведущие вузы страны открывают набор на две совместные магистратуры.

Для тех, кто хочет в Data Science«Прикладное машинное обучение и анализ данных» (МФТИ). Современные ML-подходы, работа с реальными данными Авито, эксперты компании и преподаватели МФТИ. Заявки до 12 июля.

Для тех, кто хочет работать над ML-продуктами«Машинное обучение в цифровом продукте» (НИУ ВШЭ). Полный цикл разработки ML-решений, практические кейсы Авито, преподаватели из индустрии. Заявки до 8 августа.

Что объединяет все три программы: эксперты Авито и вузов, реальные бизнес-задачи, сильное профессиональное сообщество и шанс попасть в Авито уже во время обучения.

Старт — в сентябре. Выбирайте программу и делайте шаг к карьере в IT вместе с Авито.
Forwarded from Machinelearning
🌟 Контекст в PNG экономит токены до 70%

Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки.

Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри.

На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа.

🟡Механика

Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки).

Свежие сообщения и ответы модели идут обычным текстом.

Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов.

На Fable 5 стоимость сессии упала с 42 до 6 долларов.


🟡 Тесты

Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений.

GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную.

🟡Плата за экономию в потере точности

На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться.

Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки.

Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее.


Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста.

Надеемся, что при массовом распространении такого трюка вендоры не поднимут цены на обработку изображений.


📌Лицензирование: MIT License


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Coding #Pxpipe
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥1
Hibernate сгенерировал странный SQL, а ты не понимаешь, откуда он взялся?

У Vlad Mihalcea есть полезный приём: логировать не только сам SQL-запрос, но и stack trace места, где Hibernate его создал.

Для этого используется QueryStackTraceLogger из Hypersistence Utils.

Сценарий понятный:

* DBA нашёл медленный запрос
* в логах видно SQL
* рядом видно Java-цепочку вызовов
* по stack trace можно выйти на repository, service или controller

Это особенно полезно для расследования N+1, слишком частых запросов и тяжёлых SQL, которые внезапно появляются в проде.

В Spring Boot это подключается через STATEMENT_INSPECTOR, а затем включается DEBUG-логирование для Hypersistence Utils.

Итог: ты видишь не просто “какой SQL тормозит”, а кто именно в коде его породил.

https://vladmihalcea.com/source-sql-query-hibernate/
4👍2🔥1
🔥 Подтверди навыки работы с данными: сертификация Yandex Cloud со скидкой 50%

Коллеги, у кого в работе есть Yandex Cloud или кто хочет добавить весомый плюс в резюме — сейчас отличное время.

До 25 сентября включительно можно пройти сертификацию со скидкой 50%. Два уровня на выбор — под любой опыт.


Что доступно:

1️⃣ Data Engineer — подойдёт, если вы уже работаете с облачной платформой. Проверяют загрузку, обработку, ETL/ELT, оркестрацию и безопасность. Хороший базовый уровень для систематизации знаний.

2️⃣ Lakehouse Data Engineer — продвинутый вариант для тех, кто проектирует решения на архитектуре Lakehouse. Глубже, сложнее, солиднее для резюме.


Как проходит экзамен:
Онлайн, с прокторингом — запись на камеру, всё честно. Никаких сюрпризов.

📌 Успейте зарегистрироваться до 25.09.2026:
🔗ссылки

Потом цена вернётся к обычной — успевайте! 💪
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👎31👍1🤔1
SQL-задача с подвохом: почему запрос вернёт 0 строк?

Есть таблицы:


users
id | name
1 | Anna
2 | Boris
3 | Dima



orders
id | user_id
1 | 1
2 | NULL


Нужно найти пользователей, у которых нет заказов.

Кто-то пишет так:


SELECT *
FROM users
WHERE id NOT IN (
SELECT user_id
FROM orders
);


Ожидание:


Boris
Dima


Но результат может быть:


0 rows


Подвох в `NULL`.

Подзапрос возвращает:


1, NULL


А выражение:


id NOT IN (1, NULL)


превращается в логическую ловушку. SQL не может точно сказать, что id не равен NULL, потому что NULL — это неизвестность.

Правильнее так:


SELECT *
FROM users u
WHERE NOT EXISTS (
SELECT 1
FROM orders o
WHERE o.user_id = u.id
);


Правило: если в подзапросе может быть NULL, осторожнее с NOT IN. Часто безопаснее использовать NOT EXISTS.
🔥146👍2
PostgreSQL переписали на Rust с нуля. И это уже не игрушечный прототип.

Проект pgrust заявляет, что новая реализация:

• проходит 46 066 запросов из regression-тестов PostgreSQL 18.3

• совместима с текущей директорией данных Postgres

• запускается в браузере как демо

Rust даёт безопасность памяти, а AI-assisted development помогает быстрее разбирать и переписывать огромную кодовую базу.

Самая дерзкая часть: авторы говорят о WIP-версии, которая пока не опубликована, но якобы даёт до +50% в transactional workloads и до 300x в аналитике.

Звучит почти слишком смело, поэтому к цифрам лучше относиться осторожно. Но сама идея мощная: взять одну из самых сложных СУБД в мире и пересобрать её на Rust, сохранив совместимость с PostgreSQL.

GitHub: https://github.com/malisper/pgrust
👍15😢21
Кто-то разобрал Claude Code почти до винтика

learn-coding-agent - репозиторий для тех, кто хочет понять, как устроены современные coding agents не на уровне промо-страниц, а на уровне архитектуры.

Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги.

Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции.

https://github.com/justxor/Claudecourse/
🔥74👍4👎1
SQL и Python есть: что часто отсекает на собеседовании

Классика вакансий на аналитика: SQL и Python на уровне «уверенно», статистика — «понимание методов A/B-тестирования и работы с большими выборками». Первые две галочки ставятся спокойно. Третья часто оказывается самым сложным местом на собеседовании.

Статистика и ML (машинное обучение) плохо ложатся на короткие курсы — они дают фрагменты, а не систему. Академическая программа работает иначе: серьезная математическая база плюс прикладные задачи по ML.

Именно так устроена совместная онлайн-магистратура karpovꓸcourses и НИУ ВШЭ «Аналитика больших данных». От ВШЭ — экспертиза и опыт одного из крупнейших вузов России, от karpovꓸcourses — практический опыт в сфере анализа данных.

21 июля в 18:00 мск проведут бесплатный День открытых дверей. На эфире разберут: из чего состоит программа, как устроена практика через тренажеры от karpovꓸcourses и как совмещать обучение с работой.

Ведут эфир Анатолий Карпов — основатель karpovꓸcourses, самый популярный эксперт в сфере аналитики данных (по данным NEWHR) — и Евгений Соколов, руководитель департамента больших данных и информационного поиска ФКН НИУ ВШЭ.

Присоединяйтесь по ссылке — после эфира всем участникам придет запись: https://clc.to/erid_2W5zFGPtHER

Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGPtHER
3👍2🔥1🤬1
Какой параметр в postgresql.conf задает объем общей памяти, используемой сервером для кэширования блоков данных?
Anonymous Quiz
54%
shared_buffers
21%
temp_buffers
21%
work_mem
4%
max_connections
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

В IT прокачивается тот, кто каждый день видит сильные идеи, новые инструменты, реальные задачи, вакансии и разборы.

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_1001_notes
Java: t.me/java_library
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: @courses
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

Пока кто-то листает шум, ты будешь видеть инструменты, задачи и идеи, которые помогают расти в профессии.
9👎2👍1🔥1
Хитрый SQL-совет: осторожнее с `NOT IN`

Кажется, что эти запросы делают одно и то же:


SELECT *
FROM users
WHERE id NOT IN (
SELECT user_id
FROM banned_users
);


Но если banned_users.user_id содержит хотя бы один NULL, запрос может вернуть ноль строк.

Надёжнее использовать NOT EXISTS:


SELECT u.*
FROM users AS u
WHERE NOT EXISTS (
SELECT 1
FROM banned_users AS b
WHERE b.user_id = u.id
);


Причина в трёхзначной логике SQL: сравнение с NULL даёт UNKNOWN, а не TRUE или FALSE.

Правило простое: если подзапрос потенциально возвращает NULL, вместо NOT IN почти всегда выбирайте NOT EXISTS.

#sql #postgresql #database
🔥14👍71🥰1
Forwarded from Rust
Рой ИИ-агентов написал аналог SQLite на Rust за несколько часов 🤯

Cursor провела необычный эксперимент: агентам выдали только официальную документацию SQLite объёмом 835 страниц и поручили с нуля реализовать собственный движок базы данных на Rust.

Без интернета, готового исходного кода и дополнительной помощи.

Уже через четыре часа получившиеся реализации правильно выполняли 73–85% запросов из скрытого теста. После дальнейшей работы некоторым командам удалось довести результат до 100%.

Но особенно удивила стоимость:

- связка Opus 4.8 и Composer 2.5 потратила около $1 400;
- Fable — примерно $20 000.

Одинаковая задача, но почти пятнадцатикратная разница в цене.

Во время разработки агенты столкнулись с до боли знакомыми командными проблемами: дублировали работу, конфликтовали при изменении одних и тех же файлов и избегали трогать ядро системы, даже когда без этого было невозможно двигаться дальше.

Получается, ИИ уже способен за часы собрать сложный системный проект, но митинги, конфликты и страх ответственности он тоже автоматизировал 😂

#ai #rust #sqlite #agents #programming

https://cursor.com/blog/agent-swarm-model-economics

@rust_code
🔥84👍3👎2🤬1