Шардирование и партиционирование

Оооочень часто эти понятия путают. Давайте разберемся, в чем же отличие!

Партиционирование - это процесс разделения одной таблицы на логические части. Например, если у вас есть данные за несколько лет, вы можете разбить их по годам или месяцам. При этом партиции остаются частью одной таблицы и хранятся в одном хранилище данных. Партиционирование помогает оптимизировать запросы, так как вместо того, чтобы просматривать всю таблицу, система работает только с нужной партицией.

Шардирование - это разделение данных между разными серверами (или базами данных). Каждый шард хранит часть данных, и вместе они образуют полное хранилище. Это позволяет горизонтально масштабировать систему — при увеличении объема данных можно добавлять новые шарды и распределять нагрузку между ними.

В чем разница?

• Партиционирование — это способ оптимизации внутри одного хранилища данных, когда данные делятся на части, но остаются в одной таблице.

• Шардирование — это распределение данных между разными физическими серверами, чтобы избежать перегрузки одного сервера при большом объеме данных.

Закрепим:
Шардирование обычно используется в масштабируемых системах с большими объемами данных, тогда как партиционирование чаще применяется для оптимизации запросов в одной базе.

BI инструменты

В аналитике, в большинстве своем необходим навык построения дашбордов.

"А где получить навыки работы с ними?"

1. Superset
• легко настраивается, приятный туториал для новичков внутри приложения
• совместимость с Python: интеграция с Python требует дополнительных настроек, но возможна, что удобно для кастомного анализа (Привет Jinja...)
• популярен на рынке

2. Tableau
• легко настраивается
• совместимость с Python: интеграция с Python через Tableau Extensions API, что добавляет гибкость для анализа данных
• интуитивный интерфейс: идеален для пользователей с небольшим опытом в визуализации.
• популярен на рынке

3. Power BI
• интеграция с продуктами Microsoft: идеально для пользователей Microsoft Office.
• интеграция с Python и R
• менее популярен на рынке

4. Datalens
• интеграция с Яндекс Облаком: легко получает данные, хранящиеся в экосистеме Яндекса.
• поддержка Python: пока ограничена, но доступно взаимодействие с некоторыми скриптами через API.
• подходит для компаний с локальными данными: особенно удобен для тех, кто пользуется Яндекс.Облаком.
• набирает популярность на рынке

Все перечисленные на мой взгляд инструменты являются:
• актуальными и востребованными
• бесплатными
• поддерживают подключение данных из: PostgreSQL, MySQL, CSV и XLSX

Достигаторство и быстрый рост.

Сейчас модно быть продуктивным и показывать какой ты классн[ый | ая]
Но не все задумываются, что за этим скрывается.

Часть людей в IT (и не только) действительно добивается успеха потому что искренне любят это дело и просто спокойно развиваются. Но не подавляющее большинство.

- Многие из этих людей страдали и страдают от синдрома самозванца
- Кто-то был недолюблен в детстве или в отношениях и пытается доказать, что он более чем способный. Закрывая свои психологические потребности.
- Кто-то подвержен влиянию соц. сетей и если видит, что кто-то работает и развивается, начинает делать также - так работает отрицательная мотивация (Если я не сделаю что-то, я буду хуже других)
- Кто-то добивался всего начиная с общепита или разгребая проблемы семьи и родных
- Кому-то повезло или помогли знакомства
- А кто-то выгрызал себе путь с достаточно раннего возраста, гоняя по олимпиадам и соревнуясь в вечно конкурентной среде с такими же умными и перспективными ребятами.

У каждого свой путь - каждая продуктивность имеет обратную сторону. Не стоит делать ранние выводы о человеке, что ему это легко досталось. Часто самые успешные люди имеют весьма большой бэкграунд с трудностями за спиной.

Я рос в достаточно бедной семье и не самой крепкой. Чуть не пошел по другой дороге (хотел после школы пойти работать экспертом-криминалистом) Окончательно нашел себя, когда было 22.

Моей мотивацией в свое время было: не будешь работать над собой и своими будущим - тебе будет пиздец и этот мир съест тебя.

Кого-то похожие ситуации закаляют, а кого-то выбивают из колеи и держат в стрессе.

Не страшно не найти себя в 20, страшно понять, что ты себя не нашел к 35-40.

Я считаю что важно понимать, почему ты продуктивный и быстро всего добиваешься, так ТЫ будешь владеть ситуацией, а не она тобой. Главное не обманывать себя)

К сожалению, особенно на ранних этапах мы сильно подвержены мнению со стороны коллег, но об этом я расскажу в следующем посте, основываясь опять же на свой опыт.

Что вы думаете по этому поводу?

Опыт взаимодействий с [ коллегами | руководителями ]

Очень хочу разогнать именно эту тему.

Я очень открытый человек, мне легко находить общий язык с людьми, считаю навык софт скиллов хорошим преимуществом. Начиная от коммуникации в команде и заканчивая продажей себя на собесе. Но так не у всех.

Начну с руководителей.
Я считаю, что руководитель - это человек пример высокой организованности, скиллованности, софтово развит и в целом является лидером.

С чем уже успел столкнуться я?

1. Собес. Тимлид общается на чистом мате на первой же встрече со мной. Я не неженка и тоже иногда матерюсь, но такое поведение на старте - ред флаг. Забавно что он же мне сказал: если хочешь расти в команде - надо выделяться, заниматься проактивностью. Проактивность = ты будешь оставаться после работы, чтобы дай бог на перфоманс ревью тебя повысили на 10%. Думаю тут и комментарии не нужны.

2. Собес в крупный банк. Рук спрашивает третьим вопросом при 4х людях: "ты купил военник или собираешься покупать?" Я отказался отвечать на этот вопрос, раз он их интересует в первую очередь. Мне сразу прилетело: думаю мы не сработаемся)))) Почти сразу мы закончили интервью.

3. Общение с руком из другого отдела. Мне необходима была его [ консультация | помощь ]. После того как я представился был диалог:
- Ты знаешь кто я?
- да, знаю
- Ты думаешь Я, БУДУ ТРАТИТЬ НА ТЕБЯ СВОЕ ВРЕМЯ? (Важное уточнение, вопрос касался его бизнес юнита, я не мог не спросить его мнения) Дальше не вижу смысл описывать диалог.
Даже если ты тимлид, общаться так с человеком - непозволительно ни в одной ситуации. Как только у человека начинает развиваться синдром вахтера - это знак бить тревогу.

4. Собес. Общение с юнит хедом. Мужик преподает в ШАДе параллельно. Маааксимально добрейший и светлый человек. Задавал грамотные вопросы, где-то помогал с ответами и наводил на верные мысли. Вот просто по таким людям видно, у него в жизни все хорошо и работу он свою любит. И общается наравне. Огромный респект и лайк таким людям.

5. Один из моих руков был безумно классным. Мало того, что общение было всегда на одной волне (казалось бы уже все должны к этому прийти, но нет) Было максимальное понимание бизнесовой составляющей и когда приходили заказчики, половина задач отсеивалась и всякой дичью не грузили членов команды.
Мне безумно импонирует, когда твой capacity адекватно оценивают и дают только годные задачи, которые не окажутся бесполезными.

А с какими вы ситуациями сталкивались на работе?

Если вам понравился этот пост и вам интересно было читать, поставьте 👀, чтобы я понимал)