Разработка баз данных: Интервью

0:17:38 Программист под Oracle и PL/SQL
0:20:13 Согласованность данных
0:25:38 Тесты в БД
0:28:55 API в базах данных
0:31:17 Хранение кода и системы контроля версий
0:33:38 CI & CD
0:40:00 Про администраторов баз данных (DBA)
0:42:47 Как происходят вмешательства в базу
0:49:13 Кодревью
0:58:04 Про бэкапы
0:59:07 Инструменты
1:01:53 Задачи в ритейле
1:06:28 Работа с большими данными
1:10:30 Чем хорош Oracle как провайдер БД

Смотреть это видео на youtube: youtu.be/_liOxMtBNR8

Яндекс открыл исходный код YTsaurus Flow — фреймворка для потоковой обработки данных

Он обрабатывает события по мере поступления, а не ждёт, пока они накопятся для пакетной обработки. Инфраструктурную часть фреймворк берёт на себя: долгосрочное состояние хранит в динамических таблицах YTsaurus, а число партиций для каждого этапа подбирает автоматически и сам перераспределяет нагрузку между машинами. Код открыт под Apache 2.0.

Как это работает на практике, видно по кейсу Рекламы. Чтобы дообучать модели, нужно понять, кликнули ли по показанному объявлению, и приложить к этому ML-факторы. Раньше события раскладывали по почасовым таблицам, а клик мог попасть в соседний час, поэтому self-join показов и кликов через MapReduce делали, только дождавшись следующей таблицы. Уже при нарезке на почасовые таблицы промежуточные копии данных по несколько раз писались на диск и читались обратно.

Теперь события группируются по ключу на лету, и клик попадает в ту же запись состояния, что и показ. Тяжёлую очередь факторов (сотни терабайт в час в сжатом виде) в состояние не пишут: её читают с отставанием на час, когда клик, если он был, уже учтён.

В итоге задержка сократилась с десятка-другого часов примерно до двух, почти на порядок, и без лишней записи огромных объёмов данных.

Базы данных

Организуем High Availability PostgreSQL

Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.

Базы данных

+1 навык в копилку
Разбираемся с одной из самых популярных СУБД

Умение работать с СУБД PostgreSQL — база, которая точно не будет лишней. В бесплатном курсе от Selectel собрали все необходимое для погружения: от основ реляционной модели до создания таблиц и работы со сложными запросами. Вы актуальную теорию, практические задания и экономию десятков часов на самостоятельных поисках информации.

Курс подойдет как для первого знакомства с PostgreSQL, так и чтобы освежить и структурировать знания. Регистрируйтесь и начните обучение бесплатно

Реклама. АО "Селектел". erid:2W5zFJoGXgV

SQL HowTo: TOP-N на субинтервалах

Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.

Базы данных

3 дня. 60 откликов. 1 оффер.

Очень интересный кейс произошёл у команды Софи — ии-ассистента для поиска работы.

К ним в поддержку написала девушка, которая отписалась от продукта ещё месяц назад:

«Мне прислали оффер!»

Начали разбираться — оказывается, она пользовалась только 3 тестовыми днями.

То есть за 3 дня ии-ассистент успел сделать 60 откликов. Потом она отписалась.

А уже позже — из этих откликов её позвали на интервью, и одно из них привело к офферу.

«Оффер с той вакансии, куда я сама никогда бы не откликнулась»

Изначально Аня отменила подписку, так как было дорого. Ребята честно спросили у Ани, считает ли она теперь, что подписка стоит своих денег — и получили утвердительный ответ.

В следующий раз доступ в Софи откроется 20 октября.

Если хочешь получить 3 дня бесплатного доступа - подписывайся на этот канал, все анонсы будут там.

Теория и основные технологии MongoDB

В этом видеоуроке автор подробно разбирает основные технологии MongoDB, использующиеся в процессе разработки. Вы рассмотрите, чем MongoDB отличается от других баз данных, что такое кластеры, коллекции и документы.

Смотреть это видео на youtube: youtu.be/Rq_tgaJN_zQ

Ищете где скачать Excel?

Хватит мучиться, воспользуйтесь интернет-магазином с оригинальными ключами KeySoft. Вы сможете приобрести лицензионный продукт, в котором будут доступны все функции без каких-либо ограничений:

• Лицензионная подписка для Office 365 Pro+

• Лицензионный ключ активации для Office 2021 Professional Plus

Преимущества KeySoft:
✔️ широкий ассортимент
✔️ только официальные продажи
✔️ разнообразие способов оплаты
✔️ быстрая и квалифицированная техподдержка
✔️ более 3000 положительных отзывов на независимых ресурсах.

На все товары Microsoft действует промокод на скидку 5% — NEW5 — успейте воспользоваться!

Мастер-класс: SQL с нуля

Знание SQL – один из важных навыков, ведь практически любой сайт, от маленького блога до крупнейшего интернет-ресурса, использует базы данных. Чтение почты, перевод денег другу, покупки в интернет-магазинах или регистрация на сайте – всё это происходит через обращение к различным базам данным.

На этом мастер-классе автор разбирает работу с СУБД Microsoft SQL Server при помощи Microsoft SQL Server Management Studio.

В процессе вы научитесь:
• подключаться к серверу баз данных;
• восстанавливать базу данных из резервной копии;
• основным элементам интерфейса Management Studio;
• основным элементам самой СУБД SQL Server;
• смотреть содержимое и структуру таблиц;
• разберете базовые команды для выборки и обновления данных в таблицах.

Смотреть это видео на youtube: youtu.be/xd2H4jR1nrI

Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

Базы данных

Инфраструктура для data engineer Kafka

В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".

Базы данных

Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio

Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.

В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.

Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН.

Фильтрация данных в SQL

В этом ролике автор подробно и наглядно разбирает процесс фильтрации данных в SQL с использованием оператора WHERE.

00:00 Ключевое слово WHERE и фильтры для выбора строк
01:55 Операции, которые можно использовать в WHERE
02:32 Использование BETWEEN в WHERE
03:05 Использование IN в WHERE
03:58 Использование LIKE в WHERE
04:59 Логические операции AND, OR и NOT в WHERE
07:36 Итоги

Смотреть это видео на youtube: youtu.be/Q8UmK7wC9Hk

Как правильно использовать большие данные: строим хранилища на MPP-СУБД

В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.

Базы данных

One Day Offer: стань щитом для миллионов клиентов! 🔥

В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты.

Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь.

24 октября, онлайн, регистрация и подробности — здесь!

Оптимизация запроса и запрос оптимизации

В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.

Базы данных