Как мы сократили потребление ресурсов без потери производительности благодаря exactly-once

В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз.

Базы данных

Аналитики с диапазонами дат в MS SQL

Развернув разработчику обратно очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, автор решил обсудить этот вопрос на планерке. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. В итоге автор решил написать эту статью.

Базы данных

Установка PostgreSQL и pgAdmin4 на Linux Ubuntu

В этом видеоуроке автор подробно и наглядно разбирает процесс установки и настройки PostgreSQL и pgAdmin4 на Linux Ubuntu.

Вы узнаете, как создавать базу данных, пользователя, как выдавать ему права и рассмотрите несколько основных команд.

Смотреть это видео на youtube: youtu.be/kWUW3sMK0Mk

Как и где учить SQL для начинающих?

В этом видео автор разберет как лучше учить SQL с нуля для анализа данных. Вы узнаете что учить в первую очередь, где это учить, а также рассмотрите профильные курсы и бесплатные материалы, рекомендованные автором.

00:00 Что такое SQL и СУБД
01:32 Чем плох классический подход к изучению SQL
02:20 SQL запросы
02:49 Где учить теорию? (статьи и курсы)
03:23 Что нужно знать для работы аналитиком?
04:22 Функции агрегирования
05:16 SQL Join
07:00 Подзапросы
08:31 Оконные функции
10:42 Отличные сайты для изучения SQL

Смотреть это видео на youtube: youtu.be/AX-w4fr46RM

Как обновить PostgreSQL и не потерять данные: метод минимизации простоя

Недавно автору этой статьи потребовалось обновить кластер PostgreSQL, который обрабатывает более 20 000 транзакций в секунду и состоит из мастера и реплики, с версии 13 до 16 с минимальным простоем. Помимо перехода на более актуальную версию, это решало и ряд существующих проблем, связанных с производительностью и поддержкой.

Базы данных

Блокировки в SQL

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с механизмом блокировок и взаимоблокировок в SQL.

Смотреть это видео на youtube: youtu.be/TJ55HOaA4oU

DataHub: веб-песочница для тех, кто изучает SQL

В этой статье автор разберет на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.

Базы данных

Интернационализация баз данных с доступом через ORM

IT-сообщество использует различные способы хранения многоязычных данных. Способы эти кардинально различаются эффективностью запросов, устойчивостью к добавлению новых локализаций, объемом данных, удобством для приложения-потребителя. Однако в индустрии все еще нет решения Database Internationalization for Dummies. В этой статье автор попробует немного заполнить этот пробел: опишет возможные способы, оценит их преимущества и недостатки и выберет эффективные.

Базы данных

Большой гайд по миграциям в Django: полезные советы и обход типичных подводных камней

В этой статье автор разберет фиктивное применение, data-миграции, «сухую проверку» и основные проблемы, которые возникают у начинающих. А также поделится полезными советами и подсветит тонкости работы.

Базы данных

Партиционированный Postgres: немного о проблемах с лимитами

В то время как пользователи видят позитивные стороны технологий, разработчики обычно сталкиваются с ограничениями/недоработками/багами и видят продукт с совсем другой стороны. Вот и в этот раз: после публикации результатов сравнительного тестирования, где прогонялись запросы теста Join-Order-Benchmark на базе с партициями и без, автора не отпускало ощущение, что при наличии партиций постгрес должен строить план хуже, чем без них. И это должен быть не просто баг, а технологическое ограничение.

Базы данных

Знакомство со слоем абстракции Netflix для хранения временных рядов

Netflix продолжает расширять бизнес и диверсифицироваться в различных направлениях, вроде доставки видео по запросу и гейминга. В результате всё важнее становятся технологии, обеспечивающие загрузку временных (темпоральных) данных в системы компании и их хранение.

Базы данных

Авторизация в PostgreSQL через доменные группы

Красивой схемы раздачи прав через группы без написания расширений у автора не получилось, но даже реализованное решение сильно упростило жизнь.

Базы данных

PostgreSQL — особенности работы с памятью для 1С-систем (часть 2)

Продолжаем исследовать и настраивать память в PostgreSQL. В первой части автор рассмотрел параметры shared_buffers, maintenance_work_mem, autovacuum_work_mem. А сегодня на повестке параметры temp_buffers и work_mem.

Базы данных

Всегда ли хорош Index Only Scan?

Среди применяемых в PostgreSQL методов доступа к данным Index Only Scan стоит особняком, считаясь у многих разработчиков "волшебной пилюлей" для ускорения работы запроса. Об этом поговорим в статье.

Базы данных

Реляционные и булевы операторы в SQL

В этом видеоуроке автор подробно разбирает работу с реляционными и булевыми операторами в базах данных.

0:00 Вступление
0:07 Реляционные операторы
1:44 Булевы операторы
2:25 Пример
2:48 Пример в запросах
3:47 Итог

Смотреть это видео на youtube: youtu.be/-e_Nduyi3uQ

PostgreSQL — особенности работы с памятью для 1С-систем (часть 3)

Это третья и заключительная часть цикла статей по настройке памяти в PostgreSQL. Она получилась не такой заумной, как предыдущие две, и представляет из себя некий сухой остаток с собирательным примером, в котором показано как выбирать параметры PostgreSQL по настройке оперативной памяти.

Базы данных

Божественная K-V таблица для мелочей

Во времена пика интереса к NoSQL базам данных простоватые K-V хранилища были несколько обойдены вниманием - отчасти это понятно, вещь не очень "инновационная", можно даже сказать старинная. В то же время своя "ниша" у них находится до сих пор.

Базы данных

Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

В этой статье автор расскажет об опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом.

Базы данных

Лень разбираться в PowerPoint?

Для вас уже всё сделали.
📌 Канал Секреты презентаций расскажет обо всех приёмах, возможностях и лайфхаках по работе в powerpoint.

Подписывайтесь и прокачивайте свои навыки: @powerpoint

Tarantool CDC: жизнь данных в гетерогенной среде

Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.

Базы данных