Квиз! Какое [ min | max ] количество строк вернет ANTI LEFT для таблицы в 3 и 4 записи? (Дублей нет)
Anonymous Quiz
34%
[ 0 | 3 ]
37%
[ 0 | 4 ]
13%
[ 3 | 3 ]
17%
[ 3 | 4 ]
👍3
HDFS (Hadoop Distributed File System) и его компоненты
Давайте разберемся, что же это за популярный инструмент и почему с его владением быстрее берут на работу.
HDFS — это распределенная файловая система, которая позволяет хранить и обрабатывать огромные объемы данных, разделяя их на блоки и распределяя по кластерам.
Основные компоненты:
1. YARN (Yet Another Resource Negotiator)
Это система управления ресурсами в Hadoop. YARN отвечает за распределение вычислительных мощностей между различными задачами. Он управляет ресурсами кластера и следит за тем, чтобы каждая задача получила нужное количество процессорных и оперативных ресурсов.
2. NameNode
Это "голова" системы HDFS, которая управляет всей файловой системой. NameNode отвечает за метаданные — информацию о том, где хранится каждый блок данных. Он также следит за здоровьем DataNode'ов и решает, куда переместить данные при сбоях.
3. DataNode
DataNode — это рабочие узлы, которые хранят фактические данные. Каждый DataNode получает инструкции от NameNode и выполняет операции по хранению, чтению и записи данных. Если один DataNode выходит из строя, система автоматически восстанавливает данные, используя реплики на других узлах.
Владение HDFS и его компонентами — это навык, который быстро выделит вас на фоне других кандидатов, так как системы Big Data продолжают набирать популярность во многих компаниях!
Давайте разберемся, что же это за популярный инструмент и почему с его владением быстрее берут на работу.
HDFS — это распределенная файловая система, которая позволяет хранить и обрабатывать огромные объемы данных, разделяя их на блоки и распределяя по кластерам.
Основные компоненты:
1. YARN (Yet Another Resource Negotiator)
Это система управления ресурсами в Hadoop. YARN отвечает за распределение вычислительных мощностей между различными задачами. Он управляет ресурсами кластера и следит за тем, чтобы каждая задача получила нужное количество процессорных и оперативных ресурсов.
2. NameNode
Это "голова" системы HDFS, которая управляет всей файловой системой. NameNode отвечает за метаданные — информацию о том, где хранится каждый блок данных. Он также следит за здоровьем DataNode'ов и решает, куда переместить данные при сбоях.
3. DataNode
DataNode — это рабочие узлы, которые хранят фактические данные. Каждый DataNode получает инструкции от NameNode и выполняет операции по хранению, чтению и записи данных. Если один DataNode выходит из строя, система автоматически восстанавливает данные, используя реплики на других узлах.
Владение HDFS и его компонентами — это навык, который быстро выделит вас на фоне других кандидатов, так как системы Big Data продолжают набирать популярность во многих компаниях!
👍13❤6💅3🤯2❤🔥1
Достигаторство и быстрый рост.
Сейчас модно быть продуктивным и показывать какой ты классн[ый | ая]
Но не все задумываются, что за этим скрывается.
Часть людей в IT (и не только) действительно добивается успеха потому что искренне любят это дело и просто спокойно развиваются. Но не подавляющее большинство.
- Многие из этих людей страдали и страдают от синдрома самозванца
- Кто-то был недолюблен в детстве или в отношениях и пытается доказать, что он более чем способный. Закрывая свои психологические потребности.
- Кто-то подвержен влиянию соц. сетей и если видит, что кто-то работает и развивается, начинает делать также - так работает отрицательная мотивация (Если я не сделаю что-то, я буду хуже других)
- Кто-то добивался всего начиная с общепита или разгребая проблемы семьи и родных
- Кому-то повезло или помогли знакомства
- А кто-то выгрызал себе путь с достаточно раннего возраста, гоняя по олимпиадам и соревнуясь в вечно конкурентной среде с такими же умными и перспективными ребятами.
У каждого свой путь - каждая продуктивность имеет обратную сторону. Не стоит делать ранние выводы о человеке, что ему это легко досталось. Часто самые успешные люди имеют весьма большой бэкграунд с трудностями за спиной.
Я рос в достаточно бедной семье и не самой крепкой. Чуть не пошел по другой дороге (хотел после школы пойти работать экспертом-криминалистом) Окончательно нашел себя, когда было 22.
Моей мотивацией в свое время было: не будешь работать над собой и своими будущим - тебе будет пиздец и этот мир съест тебя.
Кого-то похожие ситуации закаляют, а кого-то выбивают из колеи и держат в стрессе.
Не страшно не найти себя в 20, страшно понять, что ты себя не нашел к 35-40.
Я считаю что важно понимать, почему ты продуктивный и быстро всего добиваешься, так ТЫ будешь владеть ситуацией, а не она тобой. Главное не обманывать себя)
К сожалению, особенно на ранних этапах мы сильно подвержены мнению со стороны коллег, но об этом я расскажу в следующем посте, основываясь опять же на свой опыт.
Что вы думаете по этому поводу?
Сейчас модно быть продуктивным и показывать какой ты классн[ый | ая]
Но не все задумываются, что за этим скрывается.
Часть людей в IT (и не только) действительно добивается успеха потому что искренне любят это дело и просто спокойно развиваются. Но не подавляющее большинство.
- Многие из этих людей страдали и страдают от синдрома самозванца
- Кто-то был недолюблен в детстве или в отношениях и пытается доказать, что он более чем способный. Закрывая свои психологические потребности.
- Кто-то подвержен влиянию соц. сетей и если видит, что кто-то работает и развивается, начинает делать также - так работает отрицательная мотивация (Если я не сделаю что-то, я буду хуже других)
- Кто-то добивался всего начиная с общепита или разгребая проблемы семьи и родных
- Кому-то повезло или помогли знакомства
- А кто-то выгрызал себе путь с достаточно раннего возраста, гоняя по олимпиадам и соревнуясь в вечно конкурентной среде с такими же умными и перспективными ребятами.
У каждого свой путь - каждая продуктивность имеет обратную сторону. Не стоит делать ранние выводы о человеке, что ему это легко досталось. Часто самые успешные люди имеют весьма большой бэкграунд с трудностями за спиной.
Я рос в достаточно бедной семье и не самой крепкой. Чуть не пошел по другой дороге (хотел после школы пойти работать экспертом-криминалистом) Окончательно нашел себя, когда было 22.
Моей мотивацией в свое время было: не будешь работать над собой и своими будущим - тебе будет пиздец и этот мир съест тебя.
Кого-то похожие ситуации закаляют, а кого-то выбивают из колеи и держат в стрессе.
Не страшно не найти себя в 20, страшно понять, что ты себя не нашел к 35-40.
Я считаю что важно понимать, почему ты продуктивный и быстро всего добиваешься, так ТЫ будешь владеть ситуацией, а не она тобой. Главное не обманывать себя)
К сожалению, особенно на ранних этапах мы сильно подвержены мнению со стороны коллег, но об этом я расскажу в следующем посте, основываясь опять же на свой опыт.
Что вы думаете по этому поводу?
❤41👍14❤🔥8🤔3🗿2
Опыт взаимодействий с [ коллегами | руководителями ]
Очень хочу разогнать именно эту тему.
Я очень открытый человек, мне легко находить общий язык с людьми, считаю навык софт скиллов хорошим преимуществом. Начиная от коммуникации в команде и заканчивая продажей себя на собесе. Но так не у всех.
Начну с руководителей.
Я считаю, что руководитель - это человек пример высокой организованности, скиллованности, софтово развит и в целом является лидером.
С чем уже успел столкнуться я?
1. Собес. Тимлид общается на чистом мате на первой же встрече со мной. Я не неженка и тоже иногда матерюсь, но такое поведение на старте - ред флаг. Забавно что он же мне сказал: если хочешь расти в команде - надо выделяться, заниматься проактивностью. Проактивность = ты будешь оставаться после работы, чтобы дай бог на перфоманс ревью тебя повысили на 10%. Думаю тут и комментарии не нужны.
2. Собес в крупный банк. Рук спрашивает третьим вопросом при 4х людях: "ты купил военник или собираешься покупать?" Я отказался отвечать на этот вопрос, раз он их интересует в первую очередь. Мне сразу прилетело: думаю мы не сработаемся)))) Почти сразу мы закончили интервью.
3. Общение с руком из другого отдела. Мне необходима была его [ консультация | помощь ]. После того как я представился был диалог:
- Ты знаешь кто я?
- да, знаю
- Ты думаешь Я, БУДУ ТРАТИТЬ НА ТЕБЯ СВОЕ ВРЕМЯ? (Важное уточнение, вопрос касался его бизнес юнита, я не мог не спросить его мнения) Дальше не вижу смысл описывать диалог.
Даже если ты тимлид, общаться так с человеком - непозволительно ни в одной ситуации. Как только у человека начинает развиваться синдром вахтера - это знак бить тревогу.
4. Собес. Общение с юнит хедом. Мужик преподает в ШАДе параллельно. Маааксимально добрейший и светлый человек. Задавал грамотные вопросы, где-то помогал с ответами и наводил на верные мысли. Вот просто по таким людям видно, у него в жизни все хорошо и работу он свою любит. И общается наравне. Огромный респект и лайк таким людям.
5. Один из моих руков был безумно классным. Мало того, что общение было всегда на одной волне (казалось бы уже все должны к этому прийти, но нет) Было максимальное понимание бизнесовой составляющей и когда приходили заказчики, половина задач отсеивалась и всякой дичью не грузили членов команды.
Мне безумно импонирует, когда твой capacity адекватно оценивают и дают только годные задачи, которые не окажутся бесполезными.
А с какими вы ситуациями сталкивались на работе?
Если вам понравился этот пост и вам интересно было читать, поставьте 👀, чтобы я понимал)
Очень хочу разогнать именно эту тему.
Я очень открытый человек, мне легко находить общий язык с людьми, считаю навык софт скиллов хорошим преимуществом. Начиная от коммуникации в команде и заканчивая продажей себя на собесе. Но так не у всех.
Начну с руководителей.
Я считаю, что руководитель - это человек пример высокой организованности, скиллованности, софтово развит и в целом является лидером.
С чем уже успел столкнуться я?
1. Собес. Тимлид общается на чистом мате на первой же встрече со мной. Я не неженка и тоже иногда матерюсь, но такое поведение на старте - ред флаг. Забавно что он же мне сказал: если хочешь расти в команде - надо выделяться, заниматься проактивностью. Проактивность = ты будешь оставаться после работы, чтобы дай бог на перфоманс ревью тебя повысили на 10%. Думаю тут и комментарии не нужны.
2. Собес в крупный банк. Рук спрашивает третьим вопросом при 4х людях: "ты купил военник или собираешься покупать?" Я отказался отвечать на этот вопрос, раз он их интересует в первую очередь. Мне сразу прилетело: думаю мы не сработаемся)))) Почти сразу мы закончили интервью.
3. Общение с руком из другого отдела. Мне необходима была его [ консультация | помощь ]. После того как я представился был диалог:
- Ты знаешь кто я?
- да, знаю
- Ты думаешь Я, БУДУ ТРАТИТЬ НА ТЕБЯ СВОЕ ВРЕМЯ? (Важное уточнение, вопрос касался его бизнес юнита, я не мог не спросить его мнения) Дальше не вижу смысл описывать диалог.
Даже если ты тимлид, общаться так с человеком - непозволительно ни в одной ситуации. Как только у человека начинает развиваться синдром вахтера - это знак бить тревогу.
4. Собес. Общение с юнит хедом. Мужик преподает в ШАДе параллельно. Маааксимально добрейший и светлый человек. Задавал грамотные вопросы, где-то помогал с ответами и наводил на верные мысли. Вот просто по таким людям видно, у него в жизни все хорошо и работу он свою любит. И общается наравне. Огромный респект и лайк таким людям.
5. Один из моих руков был безумно классным. Мало того, что общение было всегда на одной волне (казалось бы уже все должны к этому прийти, но нет) Было максимальное понимание бизнесовой составляющей и когда приходили заказчики, половина задач отсеивалась и всякой дичью не грузили членов команды.
Мне безумно импонирует, когда твой capacity адекватно оценивают и дают только годные задачи, которые не окажутся бесполезными.
А с какими вы ситуациями сталкивались на работе?
Если вам понравился этот пост и вам интересно было читать, поставьте 👀, чтобы я понимал)
👀79❤16
Квиз! Обязательные омпоненты Hadoop Cluster-а
Anonymous Quiz
25%
[ NameNode, DataNode ]
59%
[ NameNode | DataNode | YARN ]
16%
[ NameNode | DataNode | YARN | Zookeeper ]
Квиз! Оптимизация запроса в виде разделения таблицы на логические части это:
Anonymous Quiz
25%
Шардировние
75%
Партицирование
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Чем я увлекаюсь
Обновлял навигацию канала и понял, что мало рассказываю о себе и решил сделать пост о том, чем я увлекаюсь и что драйвит меня.
1. Конечно же путешествия.
Я стараюсь как можно больше путешествовать по России и миру. Вот небольшой список того, что успел посетить и увидеть за этот год:
• горнолыжки в Архызе и Домбае
• трип по Армении и получение визы США
• Виа феррата в Крыму + Балаклава
• Санкт-Петербург
• Москва
• Тайланд [ Бангкок | Вьетнам ]
• Вьетнам [ Дананг ]
2. Баскетбол
• Начиная с 10 класса решил податься в баскет
• играл за городскую сборную, потом в паре любительских лиг.
• остановился на том, что самый предпочитаемый для меня вариант 3x3 на корте под небом.
3. Аэросъемка на коптер
• однажды мечта стала реальностью и я решил снимать в столь непростое время красоты России и зарубежья)
• прикрепил парочку своих любимых съемок
4. Неоклассика
• Обожаемый мной жанр музыки, учусь под нее, работаю под нее, иногда занимаюсь спортом под нее
• Любимые композиторы: Денис Стельмах, Ханс Циммер, Людовико Эйнауди, Илья Бешевли, Олафюр Арнальдс, Людвиг Йоранссон, Кирилл Рихтер,
• Одни из любимых композиций: Daymare act ll, belonging ll, Night forest, Wind, Experience
Что ж, теперь вы знаете меня чуть больше, а мне было бы интересно услышать о ваших увлечениях и хобби!
Если интересно увидеть больше лайф контента и узнать меня еще чуть лучше, велкам ту май инстаграм пейдж
Обновлял навигацию канала и понял, что мало рассказываю о себе и решил сделать пост о том, чем я увлекаюсь и что драйвит меня.
1. Конечно же путешествия.
Я стараюсь как можно больше путешествовать по России и миру. Вот небольшой список того, что успел посетить и увидеть за этот год:
• горнолыжки в Архызе и Домбае
• трип по Армении и получение визы США
• Виа феррата в Крыму + Балаклава
• Санкт-Петербург
• Москва
• Тайланд [ Бангкок | Вьетнам ]
• Вьетнам [ Дананг ]
2. Баскетбол
• Начиная с 10 класса решил податься в баскет
• играл за городскую сборную, потом в паре любительских лиг.
• остановился на том, что самый предпочитаемый для меня вариант 3x3 на корте под небом.
3. Аэросъемка на коптер
• однажды мечта стала реальностью и я решил снимать в столь непростое время красоты России и зарубежья)
• прикрепил парочку своих любимых съемок
4. Неоклассика
• Обожаемый мной жанр музыки, учусь под нее, работаю под нее, иногда занимаюсь спортом под нее
• Любимые композиторы: Денис Стельмах, Ханс Циммер, Людовико Эйнауди, Илья Бешевли, Олафюр Арнальдс, Людвиг Йоранссон, Кирилл Рихтер,
• Одни из любимых композиций: Daymare act ll, belonging ll, Night forest, Wind, Experience
Что ж, теперь вы знаете меня чуть больше, а мне было бы интересно услышать о ваших увлечениях и хобби!
Если интересно увидеть больше лайф контента и узнать меня еще чуть лучше, велкам ту май инстаграм пейдж
❤28🔥13❤🔥1
Порядок выполнения операторов SQL
Казалось бы достаточно легкий вопрос, но многие люди сыпятся на нем когда необходимо дать ответ, причина заключается либо в незнании, либо в забывчивости.
Есть 2 варианта как запомнить:
1ый, который я всегда рекомендую - понять его логическую суть. Для закрепления материала хватит обьяснить данный порядок своими словами кому-то из друзей. Ведь лучший способ понять - попробовать обьяснить другому
2ой, банальный до безумия - зазубрить перед собесом.
Составить себе квиз карточки или визуально запомнить порядок.
1. FROM — сначала выбираем таблицу, с которой будем работать.
2. WHERE — фильтруем данные, оставляем только нужные строки.
3. GROUP BY — группируем данные, если это нужно.
4. HAVING — фильтруем уже сгруппированные данные.
5. SELECT — выбираем, какие столбцы нам нужны для вывода.
6. ORDER BY — сортируем результат.
7. LIMIT — ограничиваем количество строк в результате.
Лайфхак: представьте, что SQL — это построение дома.
- Сначала выбираем основу (FROM)
- убираем лишние (WHERE)
- группируем их по функциональности (GROUP BY)
- проверяем качество (HAVING)
- выбираем, какие комнаты показать (SELECT)
- сортируем по важности (ORDER BY)
- показываем только лучшие (LIMIT).
Вопрос на засыпку: Где будет JOIN, ведь я о нем умолчал?
(Сначала думаем сами, потом сверяемся, открывая спойлер)
Ответ:Между FROM и WHERE, так как это источники данных.
В аналогии с построением дома JOIN это добавляем необходимых материалов
Казалось бы достаточно легкий вопрос, но многие люди сыпятся на нем когда необходимо дать ответ, причина заключается либо в незнании, либо в забывчивости.
Есть 2 варианта как запомнить:
1ый, который я всегда рекомендую - понять его логическую суть. Для закрепления материала хватит обьяснить данный порядок своими словами кому-то из друзей. Ведь лучший способ понять - попробовать обьяснить другому
2ой, банальный до безумия - зазубрить перед собесом.
Составить себе квиз карточки или визуально запомнить порядок.
1. FROM — сначала выбираем таблицу, с которой будем работать.
2. WHERE — фильтруем данные, оставляем только нужные строки.
3. GROUP BY — группируем данные, если это нужно.
4. HAVING — фильтруем уже сгруппированные данные.
5. SELECT — выбираем, какие столбцы нам нужны для вывода.
6. ORDER BY — сортируем результат.
7. LIMIT — ограничиваем количество строк в результате.
Лайфхак: представьте, что SQL — это построение дома.
- Сначала выбираем основу (FROM)
- убираем лишние (WHERE)
- группируем их по функциональности (GROUP BY)
- проверяем качество (HAVING)
- выбираем, какие комнаты показать (SELECT)
- сортируем по важности (ORDER BY)
- показываем только лучшие (LIMIT).
Вопрос на засыпку: Где будет JOIN, ведь я о нем умолчал?
(Сначала думаем сами, потом сверяемся, открывая спойлер)
Ответ:
❤27🔥9🫡3
Нормальные формы
Сегодня разберем, что такое НФ-ки в бд и как они помогают улучшить структуру таблиц.
Нормализация — это процесс упрощения структуры данных, чтобы устранить избыточность и минимизировать ошибки.
Чаще всего в практических приложениях используются до 3NF или BCNF. Это объясняется рядом причин:
1NF:
• Используется всегда, как базовый стандарт.
• Все данные должны быть атомарными.
• На практике 1NF чаще всего соблюдается по умолчанию.
2NF:
• Применяется, когда таблица имеет составные ключи.
• На практике встречается в системах, где есть сложные связи, например:
Расписание (курс, аудитория, преподаватель).
Заказы (номер заказа, товар, количество).
3NF:
• Самая популярная форма в реальных базах данных.
• Устраняет транзитивные зависимости и считается золотым стандартом в реляционном проектировании.
• Используется в большинстве OLTP-систем (оперативных бд), где важны целостность данных и минимизация избыточности.
BCNF (Форма Бойса-Кодда):
Применяется реже, чем 3NF, но встречается в системах с более сложными зависимостями между атрибутами.
4NF и 5NF:
Используются в специфических случаях:
• При работе с многозначными зависимостями.
• Для устранения зависимостей объединения в больших проектах, где требуется высокое разделение данных.
• Обычно применяются в научных базах данных или хранилищах.
6NF:
• Практически не встречается в классических базах данных.
• Используется в временных базах данных (temporal databases), где важно отслеживать изменения данных с течением времени.
Почему 3NF используется чаще всего?
Она достигает баланса между:
• Устранением избыточности.
• Удобством использования данных.
• Простотой исполнения SQL-запросов.
После 3NF нормализация (например, до BCNF или 4NF) может привести к излишнему разбиению таблиц, что усложнит работу и увеличит количество JOIN-запросов.
Сегодня разберем, что такое НФ-ки в бд и как они помогают улучшить структуру таблиц.
Нормализация — это процесс упрощения структуры данных, чтобы устранить избыточность и минимизировать ошибки.
Чаще всего в практических приложениях используются до 3NF или BCNF. Это объясняется рядом причин:
1NF:
• Используется всегда, как базовый стандарт.
• Все данные должны быть атомарными.
• На практике 1NF чаще всего соблюдается по умолчанию.
2NF:
• Применяется, когда таблица имеет составные ключи.
• На практике встречается в системах, где есть сложные связи, например:
Расписание (курс, аудитория, преподаватель).
Заказы (номер заказа, товар, количество).
3NF:
• Самая популярная форма в реальных базах данных.
• Устраняет транзитивные зависимости и считается золотым стандартом в реляционном проектировании.
• Используется в большинстве OLTP-систем (оперативных бд), где важны целостность данных и минимизация избыточности.
BCNF (Форма Бойса-Кодда):
Применяется реже, чем 3NF, но встречается в системах с более сложными зависимостями между атрибутами.
4NF и 5NF:
Используются в специфических случаях:
• При работе с многозначными зависимостями.
• Для устранения зависимостей объединения в больших проектах, где требуется высокое разделение данных.
• Обычно применяются в научных базах данных или хранилищах.
6NF:
• Практически не встречается в классических базах данных.
• Используется в временных базах данных (temporal databases), где важно отслеживать изменения данных с течением времени.
Почему 3NF используется чаще всего?
Она достигает баланса между:
• Устранением избыточности.
• Удобством использования данных.
• Простотой исполнения SQL-запросов.
После 3NF нормализация (например, до BCNF или 4NF) может привести к излишнему разбиению таблиц, что усложнит работу и увеличит количество JOIN-запросов.
🔥20