Дата аналитикс
1.9K subscribers
206 photos
21 videos
3 files
45 links
Здесь про IT не душным языком, Data Science, аналитику и жизнь внутри бигтехов

• истории из [ жизни | работы | карьеры ]
• тестовые из бигтехов
• полезные рекомендации и советы
• учебные материалы

Сотрудничество @Sounds_like_a_plan

Inst: chto_za_nikita
Download Telegram
Квиз! Какое [ min | max ] количество строк вернет ANTI LEFT для таблицы в 3 и 4 записи? (Дублей нет)
Anonymous Quiz
34%
[ 0 | 3 ]
37%
[ 0 | 4 ]
13%
[ 3 | 3 ]
17%
[ 3 | 4 ]
👍3
HDFS (Hadoop Distributed File System) и его компоненты

Давайте разберемся, что же это за популярный инструмент и почему с его владением быстрее берут на работу.

HDFS — это распределенная файловая система, которая позволяет хранить и обрабатывать огромные объемы данных, разделяя их на блоки и распределяя по кластерам.

Основные компоненты:

1. YARN (Yet Another Resource Negotiator)
Это система управления ресурсами в Hadoop. YARN отвечает за распределение вычислительных мощностей между различными задачами. Он управляет ресурсами кластера и следит за тем, чтобы каждая задача получила нужное количество процессорных и оперативных ресурсов.

2. NameNode
Это "голова" системы HDFS, которая управляет всей файловой системой. NameNode отвечает за метаданные — информацию о том, где хранится каждый блок данных. Он также следит за здоровьем DataNode'ов и решает, куда переместить данные при сбоях.

3. DataNode
DataNode — это рабочие узлы, которые хранят фактические данные. Каждый DataNode получает инструкции от NameNode и выполняет операции по хранению, чтению и записи данных. Если один DataNode выходит из строя, система автоматически восстанавливает данные, используя реплики на других узлах.

Владение HDFS и его компонентами — это навык, который быстро выделит вас на фоне других кандидатов, так как системы Big Data продолжают набирать популярность во многих компаниях!
👍136💅3🤯2❤‍🔥1
Достигаторство и быстрый рост.

Сейчас модно быть продуктивным и показывать какой ты классн[ый | ая]
Но не все задумываются, что за этим скрывается.

Часть людей в IT (и не только) действительно добивается успеха потому что искренне любят это дело и просто спокойно развиваются. Но не подавляющее большинство.

- Многие из этих людей страдали и страдают от синдрома самозванца
- Кто-то был недолюблен в детстве или в отношениях и пытается доказать, что он более чем способный. Закрывая свои психологические потребности.
- Кто-то подвержен влиянию соц. сетей и если видит, что кто-то работает и развивается, начинает делать также - так работает отрицательная мотивация (Если я не сделаю что-то, я буду хуже других)
- Кто-то добивался всего начиная с общепита или разгребая проблемы семьи и родных
- Кому-то повезло или помогли знакомства
- А кто-то выгрызал себе путь с достаточно раннего возраста, гоняя по олимпиадам и соревнуясь в вечно конкурентной среде с такими же умными и перспективными ребятами.

У каждого свой путь - каждая продуктивность имеет обратную сторону. Не стоит делать ранние выводы о человеке, что ему это легко досталось. Часто самые успешные люди имеют весьма большой бэкграунд с трудностями за спиной.

Я рос в достаточно бедной семье и не самой крепкой. Чуть не пошел по другой дороге (хотел после школы пойти работать экспертом-криминалистом) Окончательно нашел себя, когда было 22.

Моей мотивацией в свое время было: не будешь работать над собой и своими будущим - тебе будет пиздец и этот мир съест тебя.

Кого-то похожие ситуации закаляют, а кого-то выбивают из колеи и держат в стрессе.

Не страшно не найти себя в 20, страшно понять, что ты себя не нашел к 35-40.

Я считаю что важно понимать, почему ты продуктивный и быстро всего добиваешься, так ТЫ будешь владеть ситуацией, а не она тобой. Главное не обманывать себя)

К сожалению, особенно на ранних этапах мы сильно подвержены мнению со стороны коллег, но об этом я расскажу в следующем посте, основываясь опять же на свой опыт.

Что вы думаете по этому поводу?
41👍14❤‍🔥8🤔3🗿2
Опыт взаимодействий с [ коллегами | руководителями ]

Очень хочу разогнать именно эту тему.

Я очень открытый человек, мне легко находить общий язык с людьми, считаю навык софт скиллов хорошим преимуществом. Начиная от коммуникации в команде и заканчивая продажей себя на собесе. Но так не у всех.

Начну с руководителей.
Я считаю, что руководитель - это человек пример высокой организованности, скиллованности, софтово развит и в целом является лидером.

С чем уже успел столкнуться я?

1. Собес. Тимлид общается на чистом мате на первой же встрече со мной. Я не неженка и тоже иногда матерюсь, но такое поведение на старте - ред флаг. Забавно что он же мне сказал: если хочешь расти в команде - надо выделяться, заниматься проактивностью. Проактивность = ты будешь оставаться после работы, чтобы дай бог на перфоманс ревью тебя повысили на 10%. Думаю тут и комментарии не нужны.

2. Собес в крупный банк. Рук спрашивает третьим вопросом при 4х людях: "ты купил военник или собираешься покупать?" Я отказался отвечать на этот вопрос, раз он их интересует в первую очередь. Мне сразу прилетело: думаю мы не сработаемся)))) Почти сразу мы закончили интервью.

3. Общение с руком из другого отдела. Мне необходима была его [ консультация | помощь ]. После того как я представился был диалог:
- Ты знаешь кто я?
- да, знаю
- Ты думаешь Я, БУДУ ТРАТИТЬ НА ТЕБЯ СВОЕ ВРЕМЯ? (Важное уточнение, вопрос касался его бизнес юнита, я не мог не спросить его мнения) Дальше не вижу смысл описывать диалог.
Даже если ты тимлид, общаться так с человеком - непозволительно ни в одной ситуации. Как только у человека начинает развиваться синдром вахтера - это знак бить тревогу.

4. Собес. Общение с юнит хедом. Мужик преподает в ШАДе параллельно. Маааксимально добрейший и светлый человек. Задавал грамотные вопросы, где-то помогал с ответами и наводил на верные мысли. Вот просто по таким людям видно, у него в жизни все хорошо и работу он свою любит. И общается наравне. Огромный респект и лайк таким людям.

5. Один из моих руков был безумно классным. Мало того, что общение было всегда на одной волне (казалось бы уже все должны к этому прийти, но нет) Было максимальное понимание бизнесовой составляющей и когда приходили заказчики, половина задач отсеивалась и всякой дичью не грузили членов команды.
Мне безумно импонирует, когда твой capacity адекватно оценивают и дают только годные задачи, которые не окажутся бесполезными.

А с какими вы ситуациями сталкивались на работе?

Если вам понравился этот пост и вам интересно было читать, поставьте 👀, чтобы я понимал)
👀7916
Квиз! Обязательные омпоненты Hadoop Cluster-а
Anonymous Quiz
25%
[ NameNode, DataNode ]
59%
[ NameNode | DataNode | YARN ]
16%
[ NameNode | DataNode | YARN | Zookeeper ]
Квиз! Оптимизация запроса в виде разделения таблицы на логические части это:
Anonymous Quiz
25%
Шардировние
75%
Партицирование
Квиз! Супер база, 2024 + Null?
Anonymous Quiz
18%
2024
54%
Null
28%
Ошибка
Чем я увлекаюсь

Обновлял навигацию канала и понял, что мало рассказываю о себе и решил сделать пост о том, чем я увлекаюсь и что драйвит меня.

1. Конечно же путешествия.
Я стараюсь как можно больше путешествовать по России и миру. Вот небольшой список того, что успел посетить и увидеть за этот год:
• горнолыжки в Архызе и Домбае
• трип по Армении и получение визы США
• Виа феррата в Крыму + Балаклава
• Санкт-Петербург
• Москва
• Тайланд [ Бангкок | Вьетнам ]
• Вьетнам [ Дананг ]

2. Баскетбол
• Начиная с 10 класса решил податься в баскет
• играл за городскую сборную, потом в паре любительских лиг.
• остановился на том, что самый предпочитаемый для меня вариант 3x3 на корте под небом.

3. Аэросъемка на коптер
• однажды мечта стала реальностью и я решил снимать в столь непростое время красоты России и зарубежья)
• прикрепил парочку своих любимых съемок

4. Неоклассика
• Обожаемый мной жанр музыки, учусь под нее, работаю под нее, иногда занимаюсь спортом под нее
• Любимые композиторы: Денис Стельмах, Ханс Циммер, Людовико Эйнауди, Илья Бешевли, Олафюр Арнальдс, Людвиг Йоранссон, Кирилл Рихтер,
• Одни из любимых композиций: Daymare act ll, belonging ll, Night forest, Wind, Experience

Что ж, теперь вы знаете меня чуть больше, а мне было бы интересно услышать о ваших увлечениях и хобби!

Если интересно увидеть больше лайф контента и узнать меня еще чуть лучше, велкам ту май инстаграм пейдж
28🔥13❤‍🔥1
Порядок выполнения операторов SQL

Казалось бы достаточно легкий вопрос, но многие люди сыпятся на нем когда необходимо дать ответ, причина заключается либо в незнании, либо в забывчивости.

Есть 2 варианта как запомнить:
1ый, который я всегда рекомендую - понять его логическую суть. Для закрепления материала хватит обьяснить данный порядок своими словами кому-то из друзей. Ведь лучший способ понять - попробовать обьяснить другому

2ой, банальный до безумия - зазубрить перед собесом.
Составить себе квиз карточки или визуально запомнить порядок.

1. FROM — сначала выбираем таблицу, с которой будем работать.
2. WHERE — фильтруем данные, оставляем только нужные строки.
3. GROUP BY — группируем данные, если это нужно.
4. HAVING — фильтруем уже сгруппированные данные.
5. SELECT — выбираем, какие столбцы нам нужны для вывода.
6. ORDER BY — сортируем результат.
7. LIMIT — ограничиваем количество строк в результате.

Лайфхак: представьте, что SQL — это построение дома.
- Сначала выбираем основу (FROM)
- убираем лишние (WHERE)
- группируем их по функциональности (GROUP BY)
- проверяем качество (HAVING)
- выбираем, какие комнаты показать (SELECT)
- сортируем по важности (ORDER BY)
- показываем только лучшие (LIMIT).

Вопрос на засыпку: Где будет JOIN, ведь я о нем умолчал?
(Сначала думаем сами, потом сверяемся, открывая спойлер)

Ответ: Между FROM и WHERE, так как это источники данных.

В аналогии с построением дома JOIN это добавляем необходимых материалов
27🔥9🫡3
Нормальные формы

Сегодня разберем, что такое НФ-ки в бд и как они помогают улучшить структуру таблиц.

Нормализация — это процесс упрощения структуры данных, чтобы устранить избыточность и минимизировать ошибки.

Чаще всего в практических приложениях используются до 3NF или BCNF. Это объясняется рядом причин:

1NF:
• Используется всегда, как базовый стандарт.
• Все данные должны быть атомарными.
• На практике 1NF чаще всего соблюдается по умолчанию.

2NF:
• Применяется, когда таблица имеет составные ключи.
• На практике встречается в системах, где есть сложные связи, например:
Расписание (курс, аудитория, преподаватель).
Заказы (номер заказа, товар, количество).

3NF:
• Самая популярная форма в реальных базах данных.
• Устраняет транзитивные зависимости и считается золотым стандартом в реляционном проектировании.
• Используется в большинстве OLTP-систем (оперативных бд), где важны целостность данных и минимизация избыточности.

BCNF (Форма Бойса-Кодда):
Применяется реже, чем 3NF, но встречается в системах с более сложными зависимостями между атрибутами.

4NF и 5NF:
Используются в специфических случаях:
• При работе с многозначными зависимостями.
• Для устранения зависимостей объединения в больших проектах, где требуется высокое разделение данных.
• Обычно применяются в научных базах данных или хранилищах.

6NF:
• Практически не встречается в классических базах данных.
• Используется в временных базах данных (temporal databases), где важно отслеживать изменения данных с течением времени.

Почему 3NF используется чаще всего?
Она достигает баланса между:
• Устранением избыточности.
• Удобством использования данных.
• Простотой исполнения SQL-запросов.

После 3NF нормализация (например, до BCNF или 4NF) может привести к излишнему разбиению таблиц, что усложнит работу и увеличит количество JOIN-запросов.
🔥20