GreenplumSQLClub
407 subscribers
48 photos
2 videos
13 files
46 links
Канал посвящен рецептам и практикам по работе с Greenplum / Arenadata DB

Наш основной канал https://t.me/sqlclub_ru

Если будут рецепты для истории можно написать в личку @SQL4Life
Download Telegram
В плане запросов встречается SharedTupleStore:
Простой механизм для совместного использования кортежей между бэкендами.
Этот механизм временного хранения кортежей, предоставляющий параллельное подмножество функций tuplestore.c.
Несколько бэкендов могут записывать в SharedTuplestore, а затем несколько бэкендов могут позже сканировать сохраненные кортежи.
В настоящее время поддерживается только один тип сканирования — параллельное сканирование, при котором каждый бэкенд считывает произвольное подмножество записанных кортежей.
Есть вакансия с нашей базой данных
https://t.me/GreenplumSQLClubJob/18
Интересно то, что к Greenplum очень живой интерес на рынке.
🙏1
Для работы с метаданными - их синхронизации с локальным проектом можно использовать pgCodeKeeper
это расширение для Eclipse
Он позволяет синхронизировать локальную копию проекта и базу данных Greenplum а так же позволяет сравнивать изменения, которые внесены в базу данных (DDL, функции и т.д.)
👍1
Хочу подключиться с телефона к к своей виртуальной машине с GreenplumDB
https://t.me/GreenplumSQLClub/71
У кого есть идеи как это сделать и желание поделится ими, то пишите в комментариях! В целом хочу понять насколько эта тема интересна не только мне!
Anonymous Poll
33%
Я уже это делал - весьма не сложно когда разберешься
40%
Есть желание сделать но нет инструкции
13%
Это не нужно делать даже для любопытства
13%
Необходимо: Несколько инструментов, свободного времени, бубе и это можно сделать
Есть расширение для gerenplum, которое позволяет охлаждать данные путем перемещения их файлов данных таблиц на сегментах в файлы данных на s3 хранилище, что может:
- существенно удешевить хранение
- позволяет сэкономить х2 места в кластере (у нас локально на сегментах хранятся файлы даных + их зеркала)
- позволяет использовать функционал минуя PXF / или нативный S3 который есть в Greenplum

https://github.com/open-gpdb/yezzey

https://github.com/yandex-cloud-examples/yc-managed-greenplum-s3-data-tiering

Получить список таблиц, которые уже выгруженны в s3 через yezzey можно при помощи запроса:
SELECT distinct yom.reloid
, pgc.relname
FROM yezzey.offload_metadata yom
join pg_class pgc
on yom.reloid = pgc.oid order by pgc.relname
👍3
Forwarded from Куда идти в IT
Сейчас самое время присоединиться 🕓

Двери отборочного тура закроются 15 декабря.

5 причин в пользу твоего участия в олимпиаде Т1.ГенИИ для школьников:

1️⃣ Уникальные и интересные задачи по ИИ;
2️⃣ Денежные призы: для пяти победителей — по 170 000 рублей каждому, для десяти призёров — по 85 000 рублей каждому;
3️⃣ Для финалистов — крутой мерч от Т1 и поездка в Технопарк Физтех-лицея им. П.Л. Капицы;
4️⃣ Для всех участников признание и шанс повлиять на развитие ИИ;
5️⃣ Возможность стать частью крутой ИТ-тусовки гениев искусственного интеллекта.

Задачи ждут тебя здесь. Вход строго 14+

#НовостиТ1@KudaidtivIT
Please open Telegram to view this post
VIEW IN TELEGRAM
Greenplum пользуется популярностью в нашем сегменте рынка, вот свежая вакансия:
https://t.me/GreenplumSQLClubJob/27
План запроса с Shared Tuple Store на -1 координаторе:
explain analyze verbose 
with x as (
select x, random() rnd
from generate_series(1,10000) x limit 100
)
select *
from x;
1
Получить узла-oid файлов по таблице на сегментах в файловой системе
-- подготовка тестовой таблицы
create table dev_trs.tb_ao_col (col1 int, col2 int)
with (appendonly='true', orientation='column', compresstype='zlib', compresslevel=5)
distributed by (col2);
-- заполнение тестовой таблицы
insert into dev_trs.tb_ao_col select generate_series(1,500), generate_series(1,500);
-- получение информации
select gp_segment_id
, relfilenode
from gp_dist_random('pg_class')
where relname = 'tb_ao_col'
order by gp_segment_id
🔥1
viewer для parqeut файла, с функцией поиска по файлу
https://github.com/mukunku/ParquetViewer?tab=readme-ov-file
👍1🔥1
Довольно интересная вакансия про Greenplum - кому интересно смотрите https://t.me/GreenplumSQLClubJob/40
👍1
https://hub.docker.com/r/sql4mpp/greenplum_adgp
docker pull sql4mpp/greenplum_adgp

Билд greenplum в докер контейнере на исходнике:
https://github.com/arenadata/gpdb

Как минимум можно тестовую базу запустить по инструкции:
https://github.com/arenadata/gpdb/tree/adb-6.x/gpAux/gpdemo

Еще можно посмотреть по истории bash команды, которые позволят повторить это упражнение на ubuntu 18.04
Будут вопрос - пишите
Настроку env и как запустить тестовую базу можно посмотреть там же в истории, если что то не получится то же пишите
на скрине как выглядит запущенная демо база
🔥8🙏1
Еще одна вакансия с нашим инструментом:
https://t.me/GreenplumSQLClubJob/52
ГП в тренде
Если будут вопросы вопросы по инструментом, пишите под постом
1
для того что бы подсмотреть команды доступа к метаданным можно воспользоваться командой --echo-hidden
 .\psql.exe -dpostgres -Ugpadmin -h192.168.77.1 -p55433  --echo-hidden
dwh=> \d+ your_schema.test_table;

В результате в логе появятся некоторый вывод с запросам
👍1
Еще одна интересное предложение с нашим незабываемым инструментом:
https://t.me/GreenplumSQLClubJob/65
Если будут вопросы пишите - контакт внутри.