Как называется процесс в PostgreSQL, который переносит данные из журналов транзакций (WAL) в основные файлы данных?
Anonymous Quiz
19%
Checkpoint
48%
WAL-Writer
22%
Background Writer
11%
Archiver
Вопрос на SQL собеседовании.
Какой оператор имеет больший приоритет AND или OR (если они используются совместно)?
Ответ:
AND имеет больший приоритет, нежели OR
#sql #собеседование
Какой оператор имеет больший приоритет AND или OR (если они используются совместно)?
Ответ:
#sql #собеседование
3👍9❤1
Как получить значение текущего года в SQL?
Anonymous Quiz
8%
SELECT NOW();
16%
SELECT YEAR();
66%
SELECT YEAR(NOW());
11%
SELECT year FROM Date;
👍3❤1
Forwarded from Анализ данных (Data analysis)
Google Research представила Gemini-SQL2 - новую систему text-to-SQL на базе Gemini 3.1 Pro.
Она превращает вопросы на обычном языке в исполняемые SQL-запросы, позволяя получать данные из баз без ручного написания кода.
На бенчмарке BIRD система показала state-of-the-art результат - 80,04% execution accuracy.
BIRD реально запускает запрос и проверяет, возвращает ли он правильный результат.
https://x.com/GoogleResearch/status/2065475343205740911
@data_analysis_ml
Она превращает вопросы на обычном языке в исполняемые SQL-запросы, позволяя получать данные из баз без ручного написания кода.
На бенчмарке BIRD система показала state-of-the-art результат - 80,04% execution accuracy.
BIRD реально запускает запрос и проверяет, возвращает ли он правильный результат.
https://x.com/GoogleResearch/status/2065475343205740911
@data_analysis_ml
❤7👍6🔥2
Ant Ling выпустили технический отчёт по Ling & Ring 2.6 и открыли два base checkpoint.
Главное:
* 7:1 Hybrid Linear Attention: 7 Lightning Attention слоёв + 1 MLA слой, чтобы сделать 256K context практичнее
* KPop RL: адаптивный Binary KL вместо uniform KL, прирост SWE-bench Verified с 70.8% до 76.28%
* ~4× token efficiency: больше “интеллекта” на меньшее число output-токенов
* Ling-2.6-flash: 104B, быстрый inference
* Ling-2.6-1T: trillion-scale flagship
* Ring-2.6-1T: deep reasoning и long-horizon agentic задачи
Суть релиза: команда оптимизирует не только модель, а всю связку architecture + training + agentic capability.
Открыты:
* Ling-2.6-1T-base
* Ling-2.6-flash-base
* код и inference-стек
📑 Full technical report: http://arxiv.org/abs/2606.15079
🧱 Ling-2.6-1T-base:
http://huggingface.co/inclusionAI/Ling-2.6-1T-base
🧱 Ring-2.6-flash-base:
http://huggingface.co/inclusionAI/Ling-2.6-flash-base
💻 Code:
http://github.com/inclusionAI/Ling-V2.5
⚙️ Inference:
http://github.com/inclusionAI/linghe
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1🔥1
Сегодня вместо опроса настоящий хакатон: Ozon Tech запустил Робозон с задачами по автоматизации складов и призовым фондом 15 000 000 рублей.
Три трека:
— имитационное моделирование сортировочного центра;
— инженерные решения для автоматизированной сортировки;
— системы компьютерного зрения для классификации товаров.
Всё на реальных данных, и решать можно онлайн. Команду можно собрать свою или вписаться в существующую на платформе хакатона. И до 6 сентября есть время предложить решение.
Тех, кто пройдёт в финал, организаторы привезут на E-CODE. На конференции пройдёт и защита, и награждение. Проезд и проживание за счёт компании.
Регистрация до 11 июля.
Задачи уже выложены на сайте
Три трека:
— имитационное моделирование сортировочного центра;
— инженерные решения для автоматизированной сортировки;
— системы компьютерного зрения для классификации товаров.
Всё на реальных данных, и решать можно онлайн. Команду можно собрать свою или вписаться в существующую на платформе хакатона. И до 6 сентября есть время предложить решение.
Тех, кто пройдёт в финал, организаторы привезут на E-CODE. На конференции пройдёт и защита, и награждение. Проезд и проживание за счёт компании.
Регистрация до 11 июля.
Задачи уже выложены на сайте
🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Одна маленькая звёздочка в SQL может незаметно просадить весь backend.
На первый взгляд всё логично: зачем перечислять поля, если можно забрать из таблицы сразу всё? На тестах быстро, в разработке удобно, проблем не видно.
Но потом в таблицу добавляют тяжёлый JSON, аватар, длинный текст или служебные данные. И старый код внезапно начинает таскать лишние мегабайты на каждый запрос.
Дальше всё сыпется по цепочке: растёт трафик, запросы тормозят, память уходит быстрее, кэш работает хуже, а любое изменение схемы становится рискованнее.
Поэтому в продакшене лучше выбирать только те поля, которые реально нужны приложению.
Звёздочка удобна для быстрой проверки. Но в рабочем коде это та самая лень, которая потом больно бьёт по продакшену.
#sql #backend #database #postgresql #mysql #разработка #программирование #devtips #webdev
На первый взгляд всё логично: зачем перечислять поля, если можно забрать из таблицы сразу всё? На тестах быстро, в разработке удобно, проблем не видно.
Но потом в таблицу добавляют тяжёлый JSON, аватар, длинный текст или служебные данные. И старый код внезапно начинает таскать лишние мегабайты на каждый запрос.
Дальше всё сыпется по цепочке: растёт трафик, запросы тормозят, память уходит быстрее, кэш работает хуже, а любое изменение схемы становится рискованнее.
Поэтому в продакшене лучше выбирать только те поля, которые реально нужны приложению.
Звёздочка удобна для быстрой проверки. Но в рабочем коде это та самая лень, которая потом больно бьёт по продакшену.
#sql #backend #database #postgresql #mysql #разработка #программирование #devtips #webdev
👍7❤3
Тест прошёл. А PostgreSQL вообще в курсе?
Интеграционные тесты часто выглядят надёжно ровно до того момента, пока приложение не встречается с настоящей базой.
На локалке всё зелёное. В CI всё зелёное. Моки довольны. In-memory база тоже не против. А потом в проде внезапно выясняется, что реальный PostgreSQL иначе обрабатывает запрос, constraint не даёт сохранить данные, транзакция ведёт себя не так, как ожидалось, а Redis показывает проблему, которую тесты вообще не могли поймать.
Именно поэтому Testcontainers в .NET так хорошо заходят для интеграционных тестов. Вместо имитации базы вы поднимаете настоящий PostgreSQL, Redis или другой сервис в Docker-контейнере, прогоняете приложение против реальной зависимости и удаляете контейнер после тестов.
Это даёт намного больше уверенности, чем тесты против подмены. При этом не нужен общий тестовый сервер, который кто-то сломал, не почистил или настроил иначе.
В хорошей схеме контейнеры запускаются через fixture, приложение получает connection string динамически, версии образов фиксируются, а настройка прячется за небольшими helper-классами. Сам тест при этом остаётся читаемым: он проверяет бизнес-сценарий, а не превращается в простыню из настройки базы и очистки состояния.
Есть важный нюанс. Общие fixtures ускоряют тесты, но требуют дисциплины со shared state. Когда изоляция важнее скорости, лучше использовать отдельные fixtures и не ловить фантомные падения из-за данных, оставшихся от соседнего теста.
Мне нравится этот подход именно за баланс. Вы тестируете не идеальную игрушечную модель приложения, а поведение, максимально близкое к реальному окружению. Но без боли ручной инфраструктуры.
Поэтому в следующий раз, когда интеграционный тест прошёл против in-memory базы, стоит задать неприятный вопрос: а настоящая база с ним согласится?
Интеграционные тесты часто выглядят надёжно ровно до того момента, пока приложение не встречается с настоящей базой.
На локалке всё зелёное. В CI всё зелёное. Моки довольны. In-memory база тоже не против. А потом в проде внезапно выясняется, что реальный PostgreSQL иначе обрабатывает запрос, constraint не даёт сохранить данные, транзакция ведёт себя не так, как ожидалось, а Redis показывает проблему, которую тесты вообще не могли поймать.
Именно поэтому Testcontainers в .NET так хорошо заходят для интеграционных тестов. Вместо имитации базы вы поднимаете настоящий PostgreSQL, Redis или другой сервис в Docker-контейнере, прогоняете приложение против реальной зависимости и удаляете контейнер после тестов.
Это даёт намного больше уверенности, чем тесты против подмены. При этом не нужен общий тестовый сервер, который кто-то сломал, не почистил или настроил иначе.
В хорошей схеме контейнеры запускаются через fixture, приложение получает connection string динамически, версии образов фиксируются, а настройка прячется за небольшими helper-классами. Сам тест при этом остаётся читаемым: он проверяет бизнес-сценарий, а не превращается в простыню из настройки базы и очистки состояния.
Есть важный нюанс. Общие fixtures ускоряют тесты, но требуют дисциплины со shared state. Когда изоляция важнее скорости, лучше использовать отдельные fixtures и не ловить фантомные падения из-за данных, оставшихся от соседнего теста.
Мне нравится этот подход именно за баланс. Вы тестируете не идеальную игрушечную модель приложения, а поведение, максимально близкое к реальному окружению. Но без боли ручной инфраструктуры.
Поэтому в следующий раз, когда интеграционный тест прошёл против in-memory базы, стоит задать неприятный вопрос: а настоящая база с ним согласится?
❤3👍2🔥1🤔1
Но между обученной моделью и решением, которое стабильно работает в продакшене, остается много инженерных задач.
На конференции SmartData 2026 разберут, как строить надежные data-платформы, проектировать ML-инфраструктуру и работать с современными AI-сценариями.
Первые доклады уже появились в программе:
— LLM и современные подходы к AI;
— проектирование data-платформ и хранилищ;
— потоковая обработка данных;
— ML-пайплайны и запуск моделей в продакшене.
SmartData — конференция про инженерию данных для backend-разработчиков, аналитиков и ML-инженеров.
Программа будет пополняться, а следить за новыми темами можно на сайте и через email-рассылку конференции.
До встречи на SmartData 2026!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🤔1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Институт Аллена (Ai2) выпустил MolmoMotion - модель, которая предсказывает, как отмеченный в кадре объект будет двигаться в ближайшие секунды.
На вход подаётся кадр или короткая видеоистория, на видимом в сцене предмете отмечаются опорные точки, и добавляется текстовая инструкция (например, "подвинь и поверни деревянную миску с фруктами").
На выходе модель строит траекторию этих точек в трёхмерном пространстве, в метрах относительно камеры.
Под капотом - модель Molmo 2 на 4 млрд параметров. Институт обучил 2 версии:
MolmoMotion-1M - набор из 1,16 млн видео, который охватывает 736 типов движения и около 5,6 тыс. объектов.
PointMotionBench состоит из 2,7 тыс. размеченных людьми видеоклипов из сетов DAVIS, HOT3D и WorldTrack.
По замерам Ai2, на этом бенче MolmoMotion точнее всех методов, с которыми его сравнивали, включая генераторы видео и более простые базовые модели.
В симуляции система управления на базе MolmoMotion успешно выполняла 76,3% операций "взять и переставить" против 56,0% у аналога на Molmo 2, а при генерации видео модель улучшила движение по всем пяти измеряемым показателям.
Среди ограничений авторы называют использование лишь 8 точек на объект при обучении. Этого достаточно для общей траектории, но мало для точного описания сложных деформаций.
@ai_machinelearning_big_data
#AI #ML # #MolmoMotion #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Вы можете выучить SQL по «Тетради смерти»
О времена, о нравы)
О времена, о нравы)
🤩7😁2❤1👻1
Какая системная переменная в функции PL/pgSQL позволяет узнать, была ли команда (например, UPDATE) выполнена успешно и затронула ли она строки?
Anonymous Quiz
49%
SQLSTATE
13%
FOUND
24%
ROW_COUNT
13%
TG_OP
👍6
Forwarded from Data Science. SQL hub
Media is too big
VIEW IN TELEGRAM
SQL-инъекция за 40 секунд: Лайт против L
Разбираем SQL-инъекцию на пальцах в формате Лайт против L. Что это такое, как обычная строка ввода меняет логику запроса, к чему это приводит и какими способами реально закрыть дыру. Коротко, по делу и так, чтобы запомнилось.
Больше таких видео: https://www.youtube.com/shorts/c4gBi094jkU
@sqlhub
Разбираем SQL-инъекцию на пальцах в формате Лайт против L. Что это такое, как обычная строка ввода меняет логику запроса, к чему это приводит и какими способами реально закрыть дыру. Коротко, по делу и так, чтобы запомнилось.
Больше таких видео: https://www.youtube.com/shorts/c4gBi094jkU
@sqlhub
🔥4❤1👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Мы годами строили предсказуемые монолиты и микросервисы, но AI превратил PDLC в Дикий Запад, где старые паттерны проектирования больше не работают. Хватит делать вид, что ты контролируешь ситуацию, просто прикрываясь новой версией TOGAF.
Приходи 1 июля на Arch.Meetup, где мы поговорим про архитектурный подход AI disrupt PDLC, и вместе со спикерами из Сбера, Вебпрактик и Газпром нефти будем учиться управлять этим хаосом, пока нейросети не начали проектировать системы вместо нас.
🔗Выбирай удобный формат и регистрируйся по ссылке
📍 Встречаемся очно на Кутузовском 32, а ссылку для онлайн пришлем накануне.
Приходи 1 июля на Arch.Meetup, где мы поговорим про архитектурный подход AI disrupt PDLC, и вместе со спикерами из Сбера, Вебпрактик и Газпром нефти будем учиться управлять этим хаосом, пока нейросети не начали проектировать системы вместо нас.
🔗Выбирай удобный формат и регистрируйся по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
Как называется специальная схема в PostgreSQL, где хранятся временные таблицы, созданные в рамках текущей сессии?
Anonymous Quiz
45%
temp_schema
28%
pg_temp_NNN
5%
public
22%
pg_catalog
`O_DIRECT`: когда база данных обходит page cache
В Linux флаг
Зачем это нужно базам данных?
У PostgreSQL, MySQL, RocksDB и других систем часто уже есть свой buffer pool.
Если ещё и ядро будет кэшировать те же страницы, получится двойное кэширование и лишняя трата памяти.
Но у
• buffer
• file offset
• размер чтения / записи
Например, под 4 KB блоки нельзя просто так прочитать 123 байта в любой `malloc`-буфер.
Промахнулся с alignment —
Именно поэтому низкоуровневый I/O в базах выглядит таким странным: там важны не только данные, но и то, как они лежат в памяти.
В Linux флаг
O_DIRECT позволяет читать и писать файл почти напрямую, минуя page cache ядра.Зачем это нужно базам данных?
У PostgreSQL, MySQL, RocksDB и других систем часто уже есть свой buffer pool.
Если ещё и ядро будет кэшировать те же страницы, получится двойное кэширование и лишняя трата памяти.
Но у
O_DIRECT есть неприятное условие: всё должно быть выровнено по блоку.• buffer
• file offset
• размер чтения / записи
Например, под 4 KB блоки нельзя просто так прочитать 123 байта в любой `malloc`-буфер.
Промахнулся с alignment —
read() вернёт EINVAL.Именно поэтому низкоуровневый I/O в базах выглядит таким странным: там важны не только данные, но и то, как они лежат в памяти.
❤4👍2🔥1