А уже год оказывается прошел
И я сейчас не про календарный год. У меня год работы на нынешнем рабочем месте 🎉
Мой приход сюда - это правильный выбор. Конечно, у места есть свои и плюсы и минусы, но я в первую очередь о том, что год назад я выбрал развитие (а не какие-то другие вещи: комфорт, финансы), и я его получил. Прийти не на что-то уже готовое, а когда это все еще строится - это интересно и полезно
Я считаю, что пока все еще где-то в начале своего пути, а значит больший упор пока должен делать именно на рост, а деньги и чил потом
Скоро, конечно, я превращусь в чилового скуфа, ну а пока развиваемся 💪
И я сейчас не про календарный год. У меня год работы на нынешнем рабочем месте 🎉
Мой приход сюда - это правильный выбор. Конечно, у места есть свои и плюсы и минусы, но я в первую очередь о том, что год назад я выбрал развитие (а не какие-то другие вещи: комфорт, финансы), и я его получил. Прийти не на что-то уже готовое, а когда это все еще строится - это интересно и полезно
Я считаю, что пока все еще где-то в начале своего пути, а значит больший упор пока должен делать именно на рост, а деньги и чил потом
Скоро, конечно, я превращусь в чилового скуфа, ну а пока развиваемся 💪
👍17❤6😁2🎉2
Я разучился гуглить
Со всеми этими вашими чатами гпт и подобными штуками я совсе забыл, что можно гуглить
Я сейчас при написании кода в большинстве случаев пользуюсь только документацией и чат гпт, в гугл лезу не часто. И тут при работе с одной апишкой уперса в проблему в одну проблему
Сколько бы не расспрашивал я чатгпт, и не смотрел доку, не мог справится с ошибкой, а оказалось, что достаточно просто скопировать лог ошибки, закинуть в гугл, перейти на stackoverflow/git и увидеть решение проблемы
И хоть о падении популярности stackoverflow говорят уже давно, но есть много задач где он справляется лучше других
Со всеми этими вашими чатами гпт и подобными штуками я совсе забыл, что можно гуглить
Я сейчас при написании кода в большинстве случаев пользуюсь только документацией и чат гпт, в гугл лезу не часто. И тут при работе с одной апишкой уперса в проблему в одну проблему
Сколько бы не расспрашивал я чатгпт, и не смотрел доку, не мог справится с ошибкой, а оказалось, что достаточно просто скопировать лог ошибки, закинуть в гугл, перейти на stackoverflow/git и увидеть решение проблемы
И хоть о падении популярности stackoverflow говорят уже давно, но есть много задач где он справляется лучше других
👍20😁4🎉1
ИИ в работе
В своей работе я достаточно много использую ИИ инструменты. Об одном из таких пример рассказывал тут, но только иногда следует и просто гуглить ошибку, чтобы не получилось как здесь
Конечно помимо попытки решить ошибку я пользуюсь еще и возможностью написания кода. Только это не просьба решить всю задачу целиком, так как 100% процентов будут ошибки. Я детально прошу написать какой-нибудь небольшой кусок кода, часто даже просто для примера. Вообще я пользуюсь таким принципом, что ИИ должен именно упрощать и прибавлять скорости в моей работе, а не заменять меня, то есть все что он делает я должен суметь сделать и сам, но мне бы понадобилось гуглить и заняло бы больше времени
С некоторыми задачи он справляется так себе если например речь идет о каком нибудь не популярном апи и тогда проще и правильнее самому идти в документацию, да и даже если вроде справляется, то если есть дока обычно смотрю сначала на нее
Там недавно очередной новый конкурент чат гпт вышел, я сам детально не сравнил, но вроде работает пока хуже
Помимо чат гпт я еще использую плагин гига код. На какие-то базовые вещи он способен, мне пока достаточно, но хочу попробовать что-то посерьезнее
А вы используете в работе ИИ инструменты?
В своей работе я достаточно много использую ИИ инструменты. Об одном из таких пример рассказывал тут, но только иногда следует и просто гуглить ошибку, чтобы не получилось как здесь
Конечно помимо попытки решить ошибку я пользуюсь еще и возможностью написания кода. Только это не просьба решить всю задачу целиком, так как 100% процентов будут ошибки. Я детально прошу написать какой-нибудь небольшой кусок кода, часто даже просто для примера. Вообще я пользуюсь таким принципом, что ИИ должен именно упрощать и прибавлять скорости в моей работе, а не заменять меня, то есть все что он делает я должен суметь сделать и сам, но мне бы понадобилось гуглить и заняло бы больше времени
С некоторыми задачи он справляется так себе если например речь идет о каком нибудь не популярном апи и тогда проще и правильнее самому идти в документацию, да и даже если вроде справляется, то если есть дока обычно смотрю сначала на нее
Там недавно очередной новый конкурент чат гпт вышел, я сам детально не сравнил, но вроде работает пока хуже
Помимо чат гпт я еще использую плагин гига код. На какие-то базовые вещи он способен, мне пока достаточно, но хочу попробовать что-то посерьезнее
А вы используете в работе ИИ инструменты?
👍6😁2❤1🎉1
ИИ в благотворительности
Недавно прочитал несколько небольших статей о том как ИИ и современные технологии в целом помогают работать НКО
Если кратко, то в таких организациях много какой-то большой рутиной работы: заявки на гранты, написание отчетов и подобное, и тут ИИ может помочь упростить и автоматизировать этот процесс
Также если говорить о современных технологиях в целом, то они например могут помогать находить людей которым нужна помощь, то есть организации сами видят таких людей и сами приходят помогать
Если хотите подробнее почитать, то вот ссылки:
ссылка 1, ссылка 2, ссылка 3
Мне также нравится на сколько просто сейчас возможно помочь. Процесс такой же простой как подписка на какой-нибудь онлайн-кинотеатр или просто оплата товара в онлайн магазине.
Вот пару ссылок если кто-то хочет помочь:
https://bfkh.ru/how-to-help/donation/online/?
https://deti-bela.ru
❤️
Недавно прочитал несколько небольших статей о том как ИИ и современные технологии в целом помогают работать НКО
Если кратко, то в таких организациях много какой-то большой рутиной работы: заявки на гранты, написание отчетов и подобное, и тут ИИ может помочь упростить и автоматизировать этот процесс
Также если говорить о современных технологиях в целом, то они например могут помогать находить людей которым нужна помощь, то есть организации сами видят таких людей и сами приходят помогать
Если хотите подробнее почитать, то вот ссылки:
ссылка 1, ссылка 2, ссылка 3
Мне также нравится на сколько просто сейчас возможно помочь. Процесс такой же простой как подписка на какой-нибудь онлайн-кинотеатр или просто оплата товара в онлайн магазине.
Вот пару ссылок если кто-то хочет помочь:
https://bfkh.ru/how-to-help/donation/online/?
https://deti-bela.ru
❤️
👍8❤1🎉1
Давненько я тут ничего не писал, но недавно сменил работу и в связи с этим хочу высказаться на некоторые темы:
• О том hr посылали меня на хер. Не буквально, конечно, но своими действиями как будто да
• О том как в целом сложно/легко сейчас найти работу
• О том как наиболее эффективнее искать работу (по крайне мере для меня самого)
• О том как одна вакансия (общение по которой тоже оказался не очень), привела меня к кое чему (ну я прям сама загадка)
• О том как на новом месте я почувствовал себя ничего не знающим лохом
В скором времени напишу эти несколько заметок, ну а потом возможно опять уйду в небытие)
• О том hr посылали меня на хер. Не буквально, конечно, но своими действиями как будто да
• О том как в целом сложно/легко сейчас найти работу
• О том как наиболее эффективнее искать работу (по крайне мере для меня самого)
• О том как одна вакансия (общение по которой тоже оказался не очень), привела меня к кое чему (ну я прям сама загадка)
• О том как на новом месте я почувствовал себя ничего не знающим лохом
В скором времени напишу эти несколько заметок, ну а потом возможно опять уйду в небытие)
❤14👍12😁2
Как не надо проходить собеседования
Значит где-то год назад:
Захотел я поменять свое место работы (но не прям сильно захотел), обновил резюме и сижу жду пока меня крутого дата инженера куда-то позовут. Если кто-то будет приходить то буду проходить собесы, а если нет, то мне и тут хорошо
И в целом ко мне приходили и звали на собес, но понятно что это происходило реже по сравнению с тем что если бы я сам откликался на вакансии
И тут то и возникает главная проблема - умение проходить собеседование это все равно навык, он, конечно, имеет определенную корреляцию с тем насколько ты крутой спец, но все равно далеко не полностью
Например на собесах на DE обычно дают sql задачку и часто какую-то простенькую (по крайне мере одну из первых) на оконные функции (пример в коментах)
Я оконки знаю и умею с ними работать, но например за последние пару месяцев я их вообще не касался, а работал с другими вещами и в итоге простейшая задача, которая должна занять у меня меньше 5 минут, занимает минут 15 и еще какую-то глупую ошибку сделаю
И как же с этим бороться?
Ну если мы говорим именно про часть лайв кодига (а помимо sql часто еще и питон дают), то тут есть 2 варианта:
1) Заходить на специальные ресурсы для решения задач по питону и sql (тут писал как меня заблокировали на одном из таких). Ну это ведь это получается, что мы готовимся к собесу, а готовится к собесу это айтой (автор выражает лишь собственное безоговорочно правильное мнение)
2) Посещать больше собесов. И в итоге мы получаем, что к предстоящим собесам готовимся на предыдущих
Если мы выбираем второй вариант (а мы выбираем второй вариант), то получаем, что чем больше собесов тем лучше. И поэтому мы не ждем рыбы у моря (ну или как там говорится), а сами откликаемся на вакансии и готовимся к собесам на собесах
Значит где-то год назад:
Захотел я поменять свое место работы (но не прям сильно захотел), обновил резюме и сижу жду пока меня крутого дата инженера куда-то позовут. Если кто-то будет приходить то буду проходить собесы, а если нет, то мне и тут хорошо
И в целом ко мне приходили и звали на собес, но понятно что это происходило реже по сравнению с тем что если бы я сам откликался на вакансии
И тут то и возникает главная проблема - умение проходить собеседование это все равно навык, он, конечно, имеет определенную корреляцию с тем насколько ты крутой спец, но все равно далеко не полностью
Например на собесах на DE обычно дают sql задачку и часто какую-то простенькую (по крайне мере одну из первых) на оконные функции (пример в коментах)
Я оконки знаю и умею с ними работать, но например за последние пару месяцев я их вообще не касался, а работал с другими вещами и в итоге простейшая задача, которая должна занять у меня меньше 5 минут, занимает минут 15 и еще какую-то глупую ошибку сделаю
И как же с этим бороться?
Ну если мы говорим именно про часть лайв кодига (а помимо sql часто еще и питон дают), то тут есть 2 варианта:
1) Заходить на специальные ресурсы для решения задач по питону и sql (тут писал как меня заблокировали на одном из таких). Ну это ведь это получается, что мы готовимся к собесу, а готовится к собесу это айтой (автор выражает лишь собственное безоговорочно правильное мнение)
2) Посещать больше собесов. И в итоге мы получаем, что к предстоящим собесам готовимся на предыдущих
Если мы выбираем второй вариант (а мы выбираем второй вариант), то получаем, что чем больше собесов тем лучше. И поэтому мы не ждем рыбы у моря (ну или как там говорится), а сами откликаемся на вакансии и готовимся к собесам на собесах
👍6❤2🔥1😁1
Мои «любимые» собеседования при поиске работы:
🎉 То что не дают обратной связи после собеса - это не прям редкая штука, хотя после того как у меня появился какой-никакой опыт ОЗ дают почти всегда, но иногда все таки случается обратное. А тут мне ничего не ответили после финального собеса с руководителем. То есть я сначала общался с hr, потом прошел собес с двумя тех специалистами, потом общался с руководителем, далее спустя время и молчание с их стороны, попросил все таки какой-то итог по себе, а в ответ игнор) И причем это не какая-то шарашкина контора, а вроде хорошая
🎉 Hr назначает скрининговое интервью, а сама не приходит. И так в двух топовых компаниях. Никто не пришел на фан встречу(
🎉 Захотел я что-то дополнительно к основной работе. Вакансия - писать уроки к курсу для DE. Нужно сделать тестовое - сделать урок про кликхаус. Дедлайн 3 дня. Давненько я не делал тестовые, но это решил сделать. В последний день, конечно) И буквально когда я уже оформлял почти готовый урок, мне пишет hr и сообщает, что нашли кандидата. Больше тестовые делать не буду)
Но штука с не нужным тестовым в итоге пошла на пользу, так как наконец-то взялся курс, который давно хотел сделать. Так себе сделал, но главное сделал)
Какие у вас были «любимые» собесы?
Но штука с не нужным тестовым в итоге пошла на пользу, так как наконец-то взялся курс, который давно хотел сделать. Так себе сделал, но главное сделал)
Какие у вас были «любимые» собесы?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥3👍2
Как уже рассказывал, я 2 месяца назад сменил работу. Далось (а где-то и все еще дается) мне это сложнее чем ожидалось
И случилось это из-за двух вещей:
1️⃣ Раньше я не так много работал с витринами данных. Работал, конечно, но они были не большие и было много другой дата инженерной работы, а тут основная часть работы это витрина со сложной (по крайне мере для меня) логикой
2️⃣ Погружение в это все. На своем предыдущем месте я отработал 2.5 года и там все строилось с нуля, поэтому прям сильно погружаться не приходилось, я и забыл какого этого
И вот с учетом этих двух пунктов на новом месте я чувствую себя себя каким-то джуном который вообще не понимает, что происходит
➕ Главное в таких ситуациях не стеснятся просить помощи (особенно в вещах, которые сам вряд ли поймешь). Чувствую, конечно, что я, наверное, уже сильно задолбал людей своими вопросами, но без этого не куда
🥳 И вот когда постепенно начинаешь разбираться в этом всем, то такое классное чувство. Как будто с нуля учишься айти в целом. Как будто уже становишься не лохом)
И случилось это из-за двух вещей:
И вот с учетом этих двух пунктов на новом месте я чувствую себя себя каким-то джуном который вообще не понимает, что происходит
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍3😁1
Я стал инфоцыганом
Было у меня давнее желание сделать курс для дата инженеров. Но всегда считал, что я еще как-то не достаточно знаю, недостаточно усидчивости сделать что-то полноценное и крутое, чтобы выпустить и мне бы не было за это стыдно
🥳 И вот настал момент, и я сделал курс за который мне не стыдно. Да, я все еще недостаточно знаю и мне не хватает усидчивости чтобы сделать что-то крутое, но теперь мне не стыдно 😂
🧠 У меня получился в итоге не супер всеобъемлющий курс, который сделает из вас супер специалистов в каждом инструменте с которым работает DE, а скорее базовое знакомство с ними. Но некоторые вещи рассмотрены достаточно подробно - например по Airflow (14 видосов)
😎 Показывал курс друзьям, сказали что понравилось, но может просто не хотели обижать)
💵 На первое время на курс скидка и стоит меньше 500р (как там принято говорить, по цене кофе в вашей Москве), поэтому если хотите поддержать меня, а заодно получить новые знания, то вперед
Ссылка на курс по скидке
Ссылка на страницу о курсе
Было у меня давнее желание сделать курс для дата инженеров. Но всегда считал, что я еще как-то не достаточно знаю, недостаточно усидчивости сделать что-то полноценное и крутое, чтобы выпустить и мне бы не было за это стыдно
Ссылка на курс по скидке
Ссылка на страницу о курсе
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤4👍3
NOdata Миша
Я стал инфоцыганом Было у меня давнее желание сделать курс для дата инженеров. Но всегда считал, что я еще как-то не достаточно знаю, недостаточно усидчивости сделать что-то полноценное и крутое, чтобы выпустить и мне бы не было за это стыдно 🥳 И вот настал…
Друзья, спасибо вам больше!
Когда я делал этот курс, то это было больше про закрытие собственного гештальта, чем про то что выпустить курс и заработать много денег
Много денег я, конечно, не заработал, но видеть то что вы покупаете курс это очень круто
И если раньше у меня было: «Ну может когда-то будет дополнять курс, а то он слишком поверхностный», то теперь я обязательно этим займусь. Чувствую ответственность)
Когда я делал этот курс, то это было больше про закрытие собственного гештальта, чем про то что выпустить курс и заработать много денег
Много денег я, конечно, не заработал, но видеть то что вы покупаете курс это очень круто
И если раньше у меня было: «Ну может когда-то будет дополнять курс, а то он слишком поверхностный», то теперь я обязательно этим займусь. Чувствую ответственность)
❤5🔥2👍1
Еще бы хотел кратко высказать по рынку, как сложно сейчас найти работу
Не какой-то детальный разбор, а личный опыт
У меня поиск работы занял где-то полгода. Но не прям активного поиска, а скорее искал что-то лучше чем у меня было
И все это время собесы были. Не сказать чтобы много, но были (просто я лох, который не мог их пройти)
А значит работа точно есть, но ее, конечно, меньше чем года 3 года назад, но в целом интересные вакансии попадаются
Рынок жив!
А у вас как с этим дела?
Не какой-то детальный разбор, а личный опыт
У меня поиск работы занял где-то полгода. Но не прям активного поиска, а скорее искал что-то лучше чем у меня было
И все это время собесы были. Не сказать чтобы много, но были (просто я лох, который не мог их пройти)
А значит работа точно есть, но ее, конечно, меньше чем года 3 года назад, но в целом интересные вакансии попадаются
Рынок жив!
А у вас как с этим дела?
👍6❤2
Я тут еще и на ютую вернулся после долго перерыва 🎉
Смотрим чем дата инженер на работе занимается👁 👁
https://youtu.be/W7sM4NTtpwQ
Смотрим чем дата инженер на работе занимается
https://youtu.be/W7sM4NTtpwQ
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Разбор реальной задачи Data Engineer | Как это делают на работе
В этом видео разбираю реальную задачу, с которой может столкнуться Data Engineer на работе
Код из видео в коментах к посту https://t.me/datamisha/303
Курс для дата инженеров - https://stepik.org/a/292639
Тг канал https://t.me/datamisha
Код из видео в коментах к посту https://t.me/datamisha/303
Курс для дата инженеров - https://stepik.org/a/292639
Тг канал https://t.me/datamisha
❤4🔥3🎉2
Так получилось, что у меня еще есть жизнь за пределами айтишки (прости меня мой работодатель) и вот про эту другую часть жизни у меня теперь тоже есть ютуб канал
Он такой больше гиговский - про комиксы, приставки и подобное
Если нравится такое, то переходите)
https://youtube.com/channel/UCYjc2ZvaAmrKykibyKs641A?si=muG9vLeSaC4nIlPZ
Он такой больше гиговский - про комиксы, приставки и подобное
Если нравится такое, то переходите)
https://youtube.com/channel/UCYjc2ZvaAmrKykibyKs641A?si=muG9vLeSaC4nIlPZ
❤4🔥3👍2
А чем я вообще занимаюсь?
Хоть у меня и нет синдрома самозванца, но я иногда смотрю на свою работу со стороны и такой: «Да чем ты вообще занимаешься целый день?! Твоя задача всего лишь переложить таблички с одного места на другое и потом соеденить их. Что в этом сложного»🤔
И на словах оно в целом так и есть. И вроде бы в работе с табличками особо ничего сложного нет, но потом работаешь и …
Была у меня тут простая на первый взгляд задача - заинсертить (положить) данные в таблицу)
Ну то есть что-то типо такого запроса:
Опустим часть о том как именно достать эти айдишники (это тоже не всегда просто, но сейчас не об этом) - это делается с помощью запроса с джойнами у условиями
Казалось бы задача решена - просто подставить наше условие в скобки в скрипте выше, но так не всегда работает, так как запрос тяжелый. Не понятно когда отработает, а там таймаут, ресурсов много хочет и тд
Пришлось не много помаяться с этим🤔
Короче в итоге я создал промежуточную таблицу, куда заинсертил нужные мне айдишники. Но и заинсертить было не так просто: сделал ДАГ который берет данные за один день, дальше это один день еще резался на чанки, дальше были вычисления и инсерт🎉
И вот маленькая задача (даже задачей это сложно назвать), превратилась в целый квест
А у вас бывают мысли о том что вы на работе занимаетесь не пойми чем?
Хоть у меня и нет синдрома самозванца, но я иногда смотрю на свою работу со стороны и такой: «Да чем ты вообще занимаешься целый день?! Твоя задача всего лишь переложить таблички с одного места на другое и потом соеденить их. Что в этом сложного»
И на словах оно в целом так и есть. И вроде бы в работе с табличками особо ничего сложного нет, но потом работаешь и …
Была у меня тут простая на первый взгляд задача - заинсертить (положить) данные в таблицу)
Ну то есть что-то типо такого запроса:
insert table1
select * from table2
where id in (ну и тут айдишники отобранные по условию)
Опустим часть о том как именно достать эти айдишники (это тоже не всегда просто, но сейчас не об этом) - это делается с помощью запроса с джойнами у условиями
Казалось бы задача решена - просто подставить наше условие в скобки в скрипте выше, но так не всегда работает, так как запрос тяжелый. Не понятно когда отработает, а там таймаут, ресурсов много хочет и тд
Пришлось не много помаяться с этим
Короче в итоге я создал промежуточную таблицу, куда заинсертил нужные мне айдишники. Но и заинсертить было не так просто: сделал ДАГ который берет данные за один день, дальше это один день еще резался на чанки, дальше были вычисления и инсерт
И вот маленькая задача (даже задачей это сложно назвать), превратилась в целый квест
А у вас бывают мысли о том что вы на работе занимаетесь не пойми чем?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3😁2❤1
Небольшой постик для тех кому интересно, что сейчас спрашивают на позицию дата инженера
Во первых это, конечно, sql и python и как правило (в процентах 80%) будет лайв кодинг. Иногда задачку на собеседовании можно решить не на питоне, а на другом языке
Задачки, как правило, не супер сложные и объемные, но в условиях собеседования и ограниченного времени можно не справится
По питону задачка например сделать что-то с массивом или словарем. Например вывести первое повторяющееся значение в массиве
По SQL задачка например найти сотрудника со второй по величине зарплатой
Задачки как правило действительно не очень сложные и можно их натренировать
Еще вопросы которые присутствуют почти всегда это вопросы про БД. Например рассказать про индексы или партиции. Часто эти вопросы практические - например рассказать про выбор поля партиции, но часто и больше в теорию - например рассказать про того как джойны могут происходить под капотом
И на самом деле эти 3 вещи (бд, sql, python) дают большую часть того что вас спросят (по крайне мере у меня было так)
Конечно, спрашивают еще и другие вещи. И про некоторые эти вещи нужно подробно рассказать, но например по Airflow большая часть услышанных мной вопросов было в формате «Расскажи какие операторы знаешь», то есть если работаешь с этим инструментом, то вопросов не возникнет
Во первых это, конечно, sql и python и как правило (в процентах 80%) будет лайв кодинг. Иногда задачку на собеседовании можно решить не на питоне, а на другом языке
Задачки, как правило, не супер сложные и объемные, но в условиях собеседования и ограниченного времени можно не справится
По питону задачка например сделать что-то с массивом или словарем. Например вывести первое повторяющееся значение в массиве
По SQL задачка например найти сотрудника со второй по величине зарплатой
Задачки как правило действительно не очень сложные и можно их натренировать
Еще вопросы которые присутствуют почти всегда это вопросы про БД. Например рассказать про индексы или партиции. Часто эти вопросы практические - например рассказать про выбор поля партиции, но часто и больше в теорию - например рассказать про того как джойны могут происходить под капотом
И на самом деле эти 3 вещи (бд, sql, python) дают большую часть того что вас спросят (по крайне мере у меня было так)
Конечно, спрашивают еще и другие вещи. И про некоторые эти вещи нужно подробно рассказать, но например по Airflow большая часть услышанных мной вопросов было в формате «Расскажи какие операторы знаешь», то есть если работаешь с этим инструментом, то вопросов не возникнет
👍8❤3😁1
Несколько новостей, мыслей, вопросов
1️⃣ Я доработал свой курс для дата инженеров (для скидки используйте промокод TGG).
Снял для него видосы в которых поясняю за инструменты. Вообщем его содержанием я доволен (с учетом того что это все таки не полноценное обучение профессии, а мини курс по цене мини курса). Буду рад если будете проходить этот курс и писать честные отзывы
2️⃣ - Немного рефлексии по поводу ведения канала. Вообще если не считать какой-то лени, то ввести канал (по крайне мере мне) мешают две вещи:
💅 1. Когда ведешь канал, то все равно смотришь по сторонам и видишь какие все успешные: просмотры, подписчики, реакции и комментарии. И вроде головой понимаешь, что «Да есть люди у которых канал круче, но есть в десятки раз больше людей которые введут или хотели бы ввести тг и я круче чем они», но все равно как-то иногда грустненько из-за этого. И поэтому после возвращения видеть ваши реакции и комменты очень приятно)
🙋♀️ 2. Частое не понимание что можно тут писать:
Канал вроде про дата инженеринг, тогда наверное могу писать: "Обнаружил в кликхаусе такую-то штуку", но вдруг люди которые тг читают не хотят технически во что-то углубляться во время просмотра
Тогда может писать о каких-то рабочих задачах, а вдруг тут много людей не совсем про дата инженеринг и им это не интересно
Писать например о том как hr не пришла на назначенный собес, ну это вроде что-то про более из моей жизни и с дата инженерингом не особо связано
И вот так с любой темой. Сейчас вроде разрешил писать себе на чуть более широкие темы (ведь это все таки мой канал,), но ваше мнение тоже интересно и от сюда отпрос ниже👇
Снял для него видосы в которых поясняю за инструменты. Вообщем его содержанием я доволен (с учетом того что это все таки не полноценное обучение профессии, а мини курс по цене мини курса). Буду рад если будете проходить этот курс и писать честные отзывы
Канал вроде про дата инженеринг, тогда наверное могу писать: "Обнаружил в кликхаусе такую-то штуку", но вдруг люди которые тг читают не хотят технически во что-то углубляться во время просмотра
Тогда может писать о каких-то рабочих задачах, а вдруг тут много людей не совсем про дата инженеринг и им это не интересно
Писать например о том как hr не пришла на назначенный собес, ну это вроде что-то про более из моей жизни и с дата инженерингом не особо связано
И вот так с любой темой. Сейчас вроде разрешил писать себе на чуть более широкие темы (ведь это все таки мой канал,), но ваше мнение тоже интересно и от сюда отпрос ниже
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🔥1
Что хотите тут видеть? (Можно выбрать несколько вариантов)
Anonymous Poll
65%
Технические вещи (Фишки Airflow о которых мало кто знает)
35%
Мемы
73%
Что-то о рабочих задачах (например о том как я делал какую-то задачу)
59%
Просто какие-то мысли, которые как-то связанные с data, либо с айти в целом
22%
Какие-то вещи вообще не связанные с айти
NOdata Миша
Что хотите тут видеть? (Можно выбрать несколько вариантов)
Специально для тех 10 человек, которые хотели видеть мемы тут
😁16❤3
🔥 5 неочевидных фишек ClickHouse, которые могут сильно упростить жизнь
1️⃣ LIMIT BY — ограничение строк внутри каждой группы
Например, нужно получить топ-3 товара для каждого магазина:
Не нужно делать ROW_NUMBER() и потом фильтровать результат.
2️⃣ argMax() — получить значение из строки с максимальным значением
Например, нужно узнать последний статус пользователя:
argMax(status, event_time) вернёт status из строки, где event_time максимальный.
И это часто гораздо проще, чем:
ROW_NUMBER() OVER (...)
3️⃣ ASOF JOIN — join по ближайшему времени
Очень полезная штука для временных данных.
Например, есть сделки:
10:05
10:17
10:42
И история цен:
10:00 → 100
10:10 → 105
10:30 → 110
Нужно для каждой сделки взять последнюю известную цену на момент сделки.
Для этого есть:
По сути это join по принципу "найди ближайшее предыдущее значение".
4️⃣ countIf / sumIf / avgIf
В ClickHouse не обязательно писать огромный CASE WHEN.
Например:
Получается очень компактно.
5️⃣ Приближённые uniq()
Например:
ClickHouse может считать уникальные значения приближённо, зато очень быстро и с небольшим потреблением памяти.
Сохраняй себе чтобы не потерять
А больше про кликхаус можно услушать на моем курсе
Например, нужно получить топ-3 товара для каждого магазина:
SELECT
shop_id,
product_id,
revenue
FROM sales
ORDER BY shop_id, revenue DESC
LIMIT 3 BY shop_id;
Не нужно делать ROW_NUMBER() и потом фильтровать результат.
Например, нужно узнать последний статус пользователя:
SELECT
user_id,
argMax(status, event_time) AS last_status
FROM events
GROUP BY user_id;
argMax(status, event_time) вернёт status из строки, где event_time максимальный.
И это часто гораздо проще, чем:
ROW_NUMBER() OVER (...)
Очень полезная штука для временных данных.
Например, есть сделки:
10:05
10:17
10:42
И история цен:
10:00 → 100
10:10 → 105
10:30 → 110
Нужно для каждой сделки взять последнюю известную цену на момент сделки.
Для этого есть:
SELECT *
FROM trades AS t
ASOF LEFT JOIN prices AS p
ON t.symbol = p.symbol
AND t.time >= p.time;
По сути это join по принципу "найди ближайшее предыдущее значение".
В ClickHouse не обязательно писать огромный CASE WHEN.
Например:
SELECT
count() AS total,
countIf(status = 'success') AS success,
countIf(status = 'error') AS errors,
sumIf(amount, status = 'success') AS success_amount
FROM payments;
Получается очень компактно.
Например:
SELECT uniq(user_id)
FROM events;
ClickHouse может считать уникальные значения приближённо, зато очень быстро и с небольшим потреблением памяти.
Сохраняй себе чтобы не потерять
А больше про кликхаус можно услушать на моем курсе
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍4❤3
Работаешь дата инженером не первый год, а PostgreSQL всё ещё может удивить 😅
Недавно столкнулся с ситуацией, которая, казалось бы, должна быть довольно распространённой.
Нужно переименовать таблицу через
Вроде штука достаточно распространненая должна быть, но раньше я как-то не сталкивался с такой задачей.
В итоге решение оказалось довольно интересным —
Можно создать процедуру, которая будет выполняться с правами своего владельца, и дать пользователю доступ только к её вызову.
В результате пользователь может выполнить нужное переименование, не получая права OWNER на сами таблицы.
Я в такие моменты всегда задаюсь вопросом: "А точно ли я все эти годы чем-то занимаюсь, если мне еще не встречались такие вещи?)"
А у вас были подобные моменты, когда внезапно узнаёшь что-то новое в технологии, с которой давно работаешь?
Недавно столкнулся с ситуацией, которая, казалось бы, должна быть довольно распространённой.
Нужно переименовать таблицу через
ALTER TABLE ... RENAME, но ты не OWNER этой таблицы. Права на переименования раздать тоже нельзяВроде штука достаточно распространненая должна быть, но раньше я как-то не сталкивался с такой задачей.
В итоге решение оказалось довольно интересным —
SECURITY DEFINER.Можно создать процедуру, которая будет выполняться с правами своего владельца, и дать пользователю доступ только к её вызову.
CREATE PROCEDURE ...
SECURITY DEFINER
В результате пользователь может выполнить нужное переименование, не получая права OWNER на сами таблицы.
Я в такие моменты всегда задаюсь вопросом: "А точно ли я все эти годы чем-то занимаюсь, если мне еще не встречались такие вещи?)"
А у вас были подобные моменты, когда внезапно узнаёшь что-то новое в технологии, с которой давно работаешь?
❤5😁3👍2