SQL миграции в Postgres. Часть 2
Эта статья посвящена двум более сложным миграциям:
- обновление большой таблицы
- разделение таблицы на две
Базы данных
Эта статья посвящена двум более сложным миграциям:
- обновление большой таблицы
- разделение таблицы на две
Базы данных
Media is too big
VIEW IN TELEGRAM
Иерархические (рекурсивные) запросы
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
Почему Trino такой быстрый: динамические фильтры
Принцип большинства оптимизаций производительности в аналитических SQL-движках — ответить на запрос пользователя, затратив минимум вычислительных ресурсов. Динамические фильтры — это оптимизация, которая создает дополнительный предикат для одной из сторон оператора Join на основе данных другой стороны. Рассмотрим реализацию динамических фильтров на примере Trino.
Базы данных
Принцип большинства оптимизаций производительности в аналитических SQL-движках — ответить на запрос пользователя, затратив минимум вычислительных ресурсов. Динамические фильтры — это оптимизация, которая создает дополнительный предикат для одной из сторон оператора Join на основе данных другой стороны. Рассмотрим реализацию динамических фильтров на примере Trino.
Базы данных
Когда для работы с данными используется сразу несколько систем
По данным Yandex B2B Tech, 70% аналитических команд используют от 5 до 10 инструментов для загрузки, хранения, обработки и анализа данных. В результате приходится отдельно настраивать интеграции и обмен информацией между системами.
Yandex B2B Tech представила DataLens Platform, где хранилище, обработка данных, отчеты, дашборды и ИИ-аналитика объединены в одной среде. В платформе также есть ИИ-помощник, которому можно задавать вопросы на обычном языке и получать показатели на основе корпоративных данных.
По оценке разработчиков, такой подход может сократить совокупные затраты на аналитику до 30%, а подготовку отчетов и дашбордов ускорить в 3–5 раз.
Сначала платформа будет доступна в Yandex Cloud. Общедоступный релиз запланирован на март 2027 года.
По данным Yandex B2B Tech, 70% аналитических команд используют от 5 до 10 инструментов для загрузки, хранения, обработки и анализа данных. В результате приходится отдельно настраивать интеграции и обмен информацией между системами.
Yandex B2B Tech представила DataLens Platform, где хранилище, обработка данных, отчеты, дашборды и ИИ-аналитика объединены в одной среде. В платформе также есть ИИ-помощник, которому можно задавать вопросы на обычном языке и получать показатели на основе корпоративных данных.
По оценке разработчиков, такой подход может сократить совокупные затраты на аналитику до 30%, а подготовку отчетов и дашбордов ускорить в 3–5 раз.
Сначала платформа будет доступна в Yandex Cloud. Общедоступный релиз запланирован на март 2027 года.
Как устроена виртуальная машина SQLite
Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.
Базы данных
Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.
Базы данных
Проблемы при переходе с MS SQL на PostgreSQL: активное использование временных таблиц
В этой статье автор подробно расскажет о наиболее распространенной проблеме, возникающей при переходе с MS SQL на PostgreSQL.
Базы данных
В этой статье автор подробно расскажет о наиболее распространенной проблеме, возникающей при переходе с MS SQL на PostgreSQL.
Базы данных
Проблемы при переходе с MS SQL на PostgreSQL: типы данных
В этой статье автор продолжит серию и поделится проблемами некоторых различий типов данных в MS SQL и PostgreSQL.
Базы данных
В этой статье автор продолжит серию и поделится проблемами некоторых различий типов данных в MS SQL и PostgreSQL.
Базы данных
Как собрать полноценную платформу для обработки, хранения и визуализации данных в едином интерфейсе
В гибридной инфраструктуре локальный и облачный контуры можно соединить через Cloud Interconnect по приватному каналу. Это позволяет распределять нагрузки между собственными мощностями и облаком в рамках одной инфраструктурной схемы.
Для работы с данными Yandex Cloud обновила on-premises-платформу Stackland, которая разворачивается внутри инфраструктуры компании. Теперь на ее базе можно собрать полноценную платформу данных из готовых PaaS-компонентов: ClickHouse и PostgreSQL для хранения и обработки, Object Storage и Trino для аналитики, Airflow для оркестрации процессов и DataLens для визуализации.
Для оптимизации хранения Intelligent Tiering автоматически распределяет данные между тремя классами Object Storage в зависимости от частоты обращения. А Billing API позволяет отслеживать расходы с детализацией до отдельных сервисов и ресурсов.
Таким образом, компании могут объединять локальную и облачную инфраструктуру, разворачивать платформу данных в собственном контуре и управлять затратами без необходимости собирать каждый компонент с нуля.
Базы данных
В гибридной инфраструктуре локальный и облачный контуры можно соединить через Cloud Interconnect по приватному каналу. Это позволяет распределять нагрузки между собственными мощностями и облаком в рамках одной инфраструктурной схемы.
Для работы с данными Yandex Cloud обновила on-premises-платформу Stackland, которая разворачивается внутри инфраструктуры компании. Теперь на ее базе можно собрать полноценную платформу данных из готовых PaaS-компонентов: ClickHouse и PostgreSQL для хранения и обработки, Object Storage и Trino для аналитики, Airflow для оркестрации процессов и DataLens для визуализации.
Для оптимизации хранения Intelligent Tiering автоматически распределяет данные между тремя классами Object Storage в зависимости от частоты обращения. А Billing API позволяет отслеживать расходы с детализацией до отдельных сервисов и ресурсов.
Таким образом, компании могут объединять локальную и облачную инфраструктуру, разворачивать платформу данных в собственном контуре и управлять затратами без необходимости собирать каждый компонент с нуля.
Базы данных
Media is too big
VIEW IN TELEGRAM
Теория баз данных
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
Excel - основа для анализа финансов
📌 Полезные приёмы, гайды, лайфхаки эксель и финансового анализа для начинающих на канале @fin_analytics.
Подписывайся и становись финансистом: @fin_analytics
📌 Полезные приёмы, гайды, лайфхаки эксель и финансового анализа для начинающих на канале @fin_analytics.
Подписывайся и становись финансистом: @fin_analytics
Как был создан потоковый SQL-движок
Потоковый SQL-движок обеспечивает, чтобы результаты SQL-запросов всегда оставались актуальны, и их не приходилось пересчитывать. Даже в тех случаях, когда меняются данные, на которых основан запрос.
Базы данных
Потоковый SQL-движок обеспечивает, чтобы результаты SQL-запросов всегда оставались актуальны, и их не приходилось пересчитывать. Даже в тех случаях, когда меняются данные, на которых основан запрос.
Базы данных
Открываете любое приложение — а там уже готовая подборка, как будто вас знают
Ленты, подборки товаров, плейлисты — все это собирает не человек, а система, которая учится на том, что вы смотрели и на что нажимали. Как именно она решает, что показать первым, — тема отдельная и интересная, особенно для тех, кто и так работает с данными каждый день.
30 сентября в 18:00 мск пройдет бесплатный вебинар karpovꓸcourses и AI Talent Hub ИТМО «Как устроена ваша лента: машинное обучение в рекомендательных системах».
Разберут:
- как из ваших действий собирается персональная лента;
- какую роль в этом играют данные и машинное обучение;
- как на реальных примерах устроены такие системы внутри.
Спикеры — Юлия Лим, менеджер по продукту программ ДПО AI Talent Hub ИТМО, и Денис Амбросов, инженер по машинному обучению, стрим-лид направления модельных рисков и рисков систем искусственного интеллекта.
Регистрируйтесь по ссылке — https://clc.to/erid_2W5zFJjEQVf
Запись эфира придет всем зарегистрированным.
Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFJjEQVf
Ленты, подборки товаров, плейлисты — все это собирает не человек, а система, которая учится на том, что вы смотрели и на что нажимали. Как именно она решает, что показать первым, — тема отдельная и интересная, особенно для тех, кто и так работает с данными каждый день.
30 сентября в 18:00 мск пройдет бесплатный вебинар karpovꓸcourses и AI Talent Hub ИТМО «Как устроена ваша лента: машинное обучение в рекомендательных системах».
Разберут:
- как из ваших действий собирается персональная лента;
- какую роль в этом играют данные и машинное обучение;
- как на реальных примерах устроены такие системы внутри.
Спикеры — Юлия Лим, менеджер по продукту программ ДПО AI Talent Hub ИТМО, и Денис Амбросов, инженер по машинному обучению, стрим-лид направления модельных рисков и рисков систем искусственного интеллекта.
Регистрируйтесь по ссылке — https://clc.to/erid_2W5zFJjEQVf
Запись эфира придет всем зарегистрированным.
Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFJjEQVf
Media is too big
VIEW IN TELEGRAM
Основы работы в Oracle SQL Developer
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0