В мире больших данных
262 subscribers
37 photos
5 files
54 links
Полезные заметки о системном анализе в мире больших данных. Если вам интересны Big Data, DWH, SQL и как навести порядок в данных — заглядывайте. Будет интересно и по делу.

Автор: @JuliaMur
Download Telegram
Слишком надолго я пропала и серия постов про книгу Фрэнка Сесно "Как узнать всё, что нужно, задавая правильные вопросы" осталась неопубликованной.

Поэтому давайте кратко вспомним зачем вообще нам её читать, а затем продолжим.

Вопросы — это основа того, как мы работаем. Мы учимся, общаемся, находим решения через вопросы. Правильно заданный вопрос часто уже сам по себе запускает решение проблемы. Особенно это важно для нас с вами, аналитиков и инженеров, людей взаимодействуют с бизнесом — ведь важно не просто писать код или строить архитектуру, но и понимать, что на самом деле нужно людям.

Сесно показывает, что успешные люди отличаются не только знаниями, но и умением слушать и спрашивать. Любопытство и критическое мышление — это то, что позволяет нам не принимать всё на веру, а углубляться в суть.

Предыдущие посты про эту книгу ищите по тегу #фрэнксесно. А я продолжу со следующей главы "Диагностические вопросы".

#книги
82🔥2
Диагностические вопросы: когда что-то пошло не так
Фрэнка Сесно "Как узнать всё, что нужно, задавая правильные вопросы". Ч.2

Продолжаем перекладывать прочитанное на наши реалии.
Представьте: к вам приходит бизнес и жалуется, что "отчёт работает медленно" или "у вас цифры неправильные". Знакомо? Первая реакция — бежать чинить. Но стоп. А в чём собственно проблема? Может, "неправильные цифры" — это просто другая методика расчёта или они вообще смотрели не на ту витрину (ну скажите, бывало же)?

Итак, во второй главе автор фокусируется на диагностических вопросах. С их помощью мы формулируем проблему, прежде чем предпринимать какие-либо действия:
- Что не так?
- Откуда нам это известно?
- Чего мы не видим?
- Что нужно делать?

Как врач определяет болезнь по симптомам, так и мы должны сначала узнать, что именно пошло не так, докопаться до истоков.

Автор выделяет пять принципов эффективного диагностирования:
1. определите симптомы и детали (от общего к частному)
2. не бойтесь неприятных ответов
3. изучите историю проблемы
4. спрашивайте снова и снова у разных источников
5. обращайтесь к специалистам, но не доверяйте им 😉 — просите объяснить и не думайте, что они всегда правы.

Мне кажется, в работе с данными диагностические вопросы — наш первый помощник при любой проблеме. Когда нам говорят что "что-то не работает", стоит спросить: а что именно? в какой витрине и каком разрезе смотрели? когда заметили впервые? а вчера/на прошлой неделе работало? что изменилось — может был новый релиз или источник данных обновился? а как вообще должно работать по вашему мнению? Суть — узнать как можно больше подробностей и получить объемную картинку

Как я уже писала когда-то "не бывает глупых вопросов", бывает мало информации.

Ну и, конечно, в нашем случае, не всегда нужно задавать вопросы заказчику, очень часто — это вопросы в первую очередь себе.

Очевидно, что умение задавать диагностические вопросы, слушать и доверять своему опыту пригодится везде — и в работе с данными, и в жизни.

Следующий уровень — построение стратегии. Об этом в следующей части книги.

#книги #фрэнксесно
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4
"Фидонет — сеть, которую помнят не все"
или
"Мамонты снова в деле"

Я успела чуть-чуть застать эпоху Фидонета. Для тех, кто не в курсе: во времена, когда с интернетом было не очень, существовала такая сеть. Идея простая, но гениальная: ты звонил по модему на номер одного из BBS — компьютер какого-нибудь энтузиаста, обычно стоящего у него дома. Эти отдельные компьютеры (узлы) были связаны друг с другом в одну сеть. После подключения тебя встречал чёрный экран, текстовый интерфейс, ASCII-арты — и, представляете, этого было достаточно. Никаких кнопок, лайков или рекомендаций, только чистый текст и люди за ним.

Главное в Фидо были эхоконференции — тематические дискуссии, где люди писали друг другу. Общение происходило асинхронно: сообщения собирались и передавались между узлами по расписанию, чаще всего ночью. Ответы могли прийти через несколько часов или даже на следующий день — и в этом тоже было своё очарование. Была и личная почта — пишешь конкретному человеку и ждёшь, когда придёт ответ, как настоящего письма.

Атмосфера в Фидо была особенная. Люди действительно общались — с иронией, шутками, иногда с флеймом, но как-то по делу. Без рекламы, спама и ии-ботов. Знакомились, спорили, дружили, устраивали офлайн-встречи. При этом всё это держалось на чистом энтузиазме и модемном писке в трубке.

Потом интернет стал доступнее и быстрее, появились сайты, форумы, чаты, а позже и соцсети. Фидонет жил ещё какое-то время по инерции, но постепенно угас. Ведь всё когда-то становится лишь приятным воспоминанием.

Теперь мы общаемся в телеграм-каналах и чатах, пересылаем стикеры вместо ASCII-арта и пишем посты вместо эхоконференций. Забавно, как многое изменилось — и как мало, на самом деле. Люди всё так же ищут друг друга в сети. Интересно, лет через двадцать кто-нибудь так же напишет: «А помните, как мы сидели в телеге?..»

#life
👍631
Стратегические вопросы: как видеть общую картину
Фрэнк Сесно "Как узнать всё, что нужно, задавая правильные вопросы". Ч.3

Когда мы разбираем требования к новой витрине или проектируем архитектуру хранилища, легко застрять в деталях — какие таблицы нам нужны, какие между ними связи, какая будет гранулярность. Но часто именно отсутствие стратегического взгляда приводит к тому, что через полгода приходится переделывать всю модель, потому что мы "забыли" уточнить долгосрочные планы бизнеса или не учли масштабирование.

В третьей главе автор показывает, что стратегические вопросы — это не роскошный максимум для топ-менеджеров, а базовый минимум для любого, кто принимает решения с долгосрочными последствиями.

Фрик Вермюлен из Лондонской школы бизнеса определяет стратегическое планирование как способность принимать сложные решения в условиях неопределённости, которые будут иметь значимые долгосрочные последствия.

Например (адаптируем под нашу реальность): заказчик просит "быстро сделать отчёт по продажам". Можно молча набросать витрину за пару часов, а можно сначала задать (в том числе себе) стратегические вопросы: как эта витрина впишется в общую архитектуру? что ещё может понадобиться бизнесу в ближайшие месяцы — может, сразу заложить расширение? насколько действительно важна скорость обновления? как будут расти объёмы данных и выдержит ли решение нагрузку через год? ..

Автор сравнивает стратегический подход со спутником, который фотографирует Землю из космоса: сначала смотрим на всю картину целиком, потом приближаем и разбираемся в деталях.

Сесно описывает такие этапы работы со стратегическими вопросами:
- рассмотрите общую картину (определите задачу и имеющиеся возможности)
- осознайте, что предстоит сделать и с какими сложностями столкнуться
- разработайте план, определив тактические ходы
- проверьте себя, внимательно изучив план на наличие слабых мест и альтернативных решений
- определите параметры успешного результата

Один из важных уроков этой главы: необходимо настаивать на том, чтобы сложные стратегические вопросы были заданы. Даже если это неудобно. Даже если кажется, что все и так всё понимают.

Мне кажется, в работе с данными стратегические вопросы особенно важны перед крупными проектами (новыми интеграциями, внедрением новых инструментов и тп). Начиная, стоит спросить себя:
- Какую долгосрочную проблему мы решаем?
- Как это решение впишется в общую архитектуру через год?
- Рассмотрели ли мы все альтернативы?
- Что для нас будет успехом и как мы его измерим?
- Какие риски мы готовы принять, а какие нет?

Эти вопросы помогут не утонуть в бесконечных правках и "а давайте ещё вот это добавим". Они держат в голове общую картину и понимание куда мы идём и зачем.

В следующей части автор расскажет об эмпатических вопросах — тех, что помогают понять людей.
#книги #фрэнксесно
4🔥4
Знаете, в чём разница между знаниями, умениями и навыками? Вот вам отличная иллюстрация с котиками, которая объясняет это лучше любых определений 😊 (да-да, нагло переработанная картинка с лошадью)

Сколько бы курсов по ... (подставь нужное) мы ни проходили, сколько бы книг ни читали, мы остаёмся на уровне милого котика из чёрточек до тех пор пока не начинаем что-то делать. Делать что? Брать и писать код, проектировать витрины, строить звездолёты пайплайны, ... Раз за разом пробуя полученные знания применять.

Знания — это базовый минимум. Прочитал статью по Airflow? Прошёл курс по Spark? Изучил паттерны дата-моделирования? Отлично! Но пока сам не откроешь IDE и не напишешь первые Х строк, ты так и не поймёшь, как всё работает на практике. В век ИИ и легкодоступности знания (как набор фактов) так вообще несколько обесценились.

Умения — появляются с практикой. Когда ты уже что-то делаешь. Да, может 70% времени гуглишь болтаешь с gpt, совершаешь тысячи нелепых ошибок и (вдруг) постоянно заглядываешь в документацию. Раз за разом натыкаясь на проблемы, ты учишься их решать, тем самым выходя за рамки "знаний" из книжки или курса. То есть на этом этапе ты уже сталкиваешься с проблемами и заставляешь мозг думать. Если выйти за рамки кода, то здесь также помогает обсуждение и проговаривание в группе и с экспертами. Важно заставить мозг не просто принимать и запоминать факты, но и применять их, изучать и смотреть под разными углами.

А вот навыки — это когда всё отточено до автоматизма. Видишь задачу и уже предполагаешь варианты решения, например, знаешь, где могут быть узкие места запроса ещё до его запуска. Проектируешь модели данных с заделом на будущее, так что не придётся переделывать через месяц. То, что раньше заняло бы день, решаешь за час. Просто потому что руки уже знают, что делать. Как почистить зубы перед сном)

Чтобы знания и умения превратились в навык, нужно пробовать снова и снова, пока это не станет привычным действием (снова это набившее оскомину Повторение — мать учения). Навык появляется только со временем и практикой (и развитием критического мышления, конечно же). И только с приходом навыков мы выходим на путь профессионализма ↗️

Тут есть и задел на размышления, все ли умения превращаются в навыки и все ли навыки "качественные". Ведь можно оттачить до автоматизма и некачественные действия, считая их правильными 😈 На мой взгляд корень тут в том, что строить свою базу в любом случае нужно на знаниях. Постепенно углубляя их, чтобы понимать не только HOW, но и WHY. То есть обучение — это не прямая, а циклический бесконечный процесс.

#размышления
Please open Telegram to view this post
VIEW IN TELEGRAM
👍931
Лучшее - враг хорошего?
или нет ничего более постоянного, чем временное.

Честно скажу, не люблю временные решения на коленке. Хочется правильной и красивой реализации, но когда задача горит, уже не до размышлений (тем неменее помним наши конспекты по #фрэнксесно - время на вопросы должно быть). И вот ты тянешь данные не из источника, а через "прокладку" коннект к которой уже настроен и работает, но за стабильность которой ты не можешь отвечать. Иначе получится история, когда ты месяц проектировал идеальную архитектуру витрины данных, оптимизировал до невозможности запросы, а тем временем бизнес уже настроил выгрузку в CSV и привык к ней, потому что метрики им нужны были ещё вчера.

Эта работа научила меня что ко многому нужно относиться философски. Пока ты делаешь сложносочиненное решение, данные уже будут не нужны, а ведь одна из метрик качества данных — их своевременность.

Стремиться к качественным процессам нужно (и, безусловно, обкладывать всё проверками), но не всегда возможно сделать это в моменте и это стоит принять как данность. Какие-то доработки попадут в бэклог из которого никогда не выберутся.

Что думаете на этот счёт?
👍6
Эмпатические вопросы: понять человека, а не только задачу
Фрэнк Сесно "Как узнать всё, что нужно, задавая правильные вопросы". Ч.4

Мы разобрали, как диагностировать проблемы и мыслить стратегически. А теперь автор рассказывает нам о том, что часто упускают технические специалисты: как понять человека, который стоит за задачей. Ведь мы с вами не просто пишем код или болтаем с гптшкой. За задачами в конечном итоге всегда стоят люди.

Четвёртая глава фокусируется на эмпатических вопросах, которые помогают понять, что заставляет людей действовать, думать, бояться и чувствовать. Такие вопросы идут (по крайней мере должны, в этом секрет) из искреннего интереса к собеседнику, а не какой-то личной выгоды.

Ключевой метод эмпатического подхода — "смена перспективы". То есть мы должны мыслить не "как бы я себя чувствовал на его месте?", а "интересно, что при этом чувствует он?". Это попытка увидеть мир глазами другого человека, понять его образ мысли и эмоции не со стороны собственного мнения.

Сесно описывает несколько техник для установления эмпатического контакта:
1. Начните с общих вопросов.
2. Используйте простые открытые вопросы (например, "Как дела?", "Как ты себя чувствуешь сегодня?"), выбирая темы, в которых собеседник чувствует себя спокойно.
3. Слушайте не только слова, но и язык жестов (ага, и это в мире онлайн-чатиков 😈). Обращайте внимание на тон голоса, язык тела, выражение лица, паузы. Если заметили сильную эмоцию — отреагируйте и задайте сочувственный вопрос: "Что тебя сейчас больше всего беспокоит?".
4. Держите доверительную дистанцию. Проявляйте интерес, но сохраняйте определённую дистанцию, чтобы не судить собеседника и оставаться объективным.
5. "Расскажи больше". Этот простой вопрос-просьбу часто используют терапевты, чтобы побудить людей раскрыться.

Мне кажется, при работе с данными эмпатия особенно важна, когда мы собираем требования, занимаемся приоритезацией задач или разбираемся, почему бизнес недоволен результатом. Эмпатические вопросы помогают понять контекст и мотивацию: "Что тебя беспокоит больше всего?", "Расскажи, как ты сейчас работаешь с этими данными?", "Что для тебя будет идеальным результатом?". То есть такой разговор - это не просто формальный сбор требований, а построение доверия и понимание реальной задачи, которая может отличаться от формулировки в тикете. Никогда не стоит забывать, что мы работаем с людьми )

Собственно и в жизни этот навык не менее важен. Когда близкий человек жалуется на работу или проблемы — часто ему не нужны советы или решения, а нужно просто понимание. И тогда фраза "расскажи больше" и искреннее желание слушать (а не просто слышать) могут оказаться важнее любых умных рекомендаций.

Также автор отмечает важный момент: эмпатические вопросы делают разговор очень личным, поэтому нужно учитывать границы собеседника (об этом особенно любят забывать в этих ваших интернетах). Прислушиваться не только к словам, но и к тону, настроению. Не лезть в болезненные темы просто из любопытства.

#книги #фрэнксесно
👍7
"Системный анализ" — от слова "систематизация" или "система"?

Недавно задумалась над этим вопросом. Казалось бы, всё очевидно же. Но когда начинаешь копать глубже, понимаешь, что многие путают эти понятия. А ведь разница принципиальная.

Спойлер: системный анализ от слова "система".

В системном анализе мы внедряем сложные вещи, рассматривая их как часть системы. То есть как набор элементов, которые связаны между собой и работают вместе ради какой-то общей цели. Этот не "разложить всё по полочкам" (что как раз ближе к систематизации), а понять как система работает. Какие есть связи, как влияют друг на друга разные компонетны, где есть узкие места.

Систематизация же совсем про другое. Ты берёшь хаос и приводишь в порядок: сортируешь, классифицируешь, раскладываешь. Тоже полезная штука, и она есть в работе системного аналитика, но лишь как малая её часть.

В работе с DWH мы постоянно занимаемся системным анализом: смотрим как данные от источников идут по слоям хранилища, как источники связаны между собой, как изменения в данных в одной части влияют на всю цепочку (от источника до дашборда). Например, нас попросили обновлять витрину чаще, а мы сразу думаем как это повлияет на источник, на нагрузку на хранилище, на другие витрины, на мониторинг и алерты. Или мы планируем миграцию на новую платформу, нужно сразу прикинуть какие текущие процессы будут затронуты, как переписать интеграции, какие коннекторы поменяются и тд. То есть мы смотрим на хранилище не как на набор таблиц с обвесами, а как на систему, где всё взаимосвязано.

Поэтому, кстати, временные решения "на коленке" так больно кусаются 😅 Думаешь "вот тут подправлю", а система-то работает целиком, а не кусочком кода — и вот на завтра в других местах всё посыпалось.

А вы задумывались над этой разницей? Или для вас это было очевидно с самого начала?

#soft_skills #размышления
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6💯33
Вопросы, наводящие мосты: как разговорить того, кто не хочет говорить
Фрэнк Сесно "Как узнать всё, что нужно, задавая правильные вопросов". Ч.5

Вам знакомы ситуации, когда коллега из другой команды на встрече сидит с каменным лицом и отвечает односложно? Тут эмпатические вопросы в лоб не помогут, а могут ещё больше разозлить. Перед нами задачка посложнее — разговорить человека, который не особо хочет с тобой разговаривать.

Пятая глава посвящена вопросам, наводящим мосты. Их задача — установить контакт с людьми, которые скрытны или просто настроены не очень дружелюбно. С их помощью мы можем наладить отношения, укрепить доверие и получить нужную информацию (ну или хотя бы понять, что вообще происходит).

Для начала важно принять главное — у людей множество причин быть замкнутыми.

Автор описывает несколько условий для успешного "наведения мостов":
- Твёрдо знайте, чего хотите добиться. Поэтому сначала формулируйте цель разговора, а только потом начинаем говорить.
- Избегайте "тревожных кнопок". Не начинаем с обвинений (типа "почему вы до сих пор не предоставили данные?"), иначе человек встанет в оборону, и всё — продуктивного диалога не будет.
- Не обвиняйте, а спрашивайте. Начинайте с того, что беспокоит собеседника, выясняйте причины его действий.
- Демонстрируйте понимание и поддержку. Будьте терпеливы, не торопитесь, выражайте понимание ("да, понимаю, у вас сейчас завал").

Сесно приводит опыт эксперта по оценке угроз, который работает с потенциальными террористами и киллерами (экстремальный случай, но техники везде применимы). Вот три его ключевые методики:
1. Успокаивающие вопросы и "когнитивная лёгкость". Для начала нужно снизить напряжение и перевести мозг собеседника в режим "автопилота", когда он легче принимает решения и раскрывается. Как? Начать разговор с чего-то нейтрального — что не связано напрямую с проблемой. Это расслабляет.

2. Вопросы без вопросительных знаков. Это вопросы-указания: "Расскажи подробнее", "Объясни мне это". Они выражают интерес, но не воспринимаются как допрос. Человек чувствует поддержку, а не давление. Утверждения тоже работают: вместо "Ты специально тянешь время?" лучше "Похоже, у тебя сейчас много задач одновременно".

3. Эхо-вопросы. Это когда ты повторяешь одно важное слово или конец фразы собеседника (тут почти НЛП). Например:
— Я не могу использовать вашу витрину, она вообще не работает!!!!
— Не работает?
— Да, там нет разбивки по регионам, а мне это нужно для отчёта.
И человек сам продолжает объяснять, что именно не так. Простой, но работаюший приём.

Мне кажется, эти техники могут быть полезны и в работе, и в жизни. Вместо прямого "почему вы игнорируете мою задачу?" можно спросить "расскажи, как сейчас идут дела с ...?" или "похоже, у вас сейчас много приоритетов одновременно?". И дальше — слушать и задавать эхо-вопросы.
Да и в жизни это работает не хуже. Когда близкий человек явно чем-то расстроен, но не говорит — можно попробовать не давить ("ну что опять случилось-то?!"), а начать издалека, дав ему пространство для разговора.

Главная задача вопросов-мостов — разговорить человека и добиться того, чтобы он чувствовал, что его слушают и ценят. Автор сравнивает это с шахматной партией: нужно стратегически слушать, формулировать вопросы и продумывать следующие ходы, чтобы собеседник сам двигался в нужном тебе направлении (но при этом не чувствовал манипуляции, конечно).

Работает ли эта история всегда? Мне кажется, есть такая оборона, которую не пробить любыми вопросами 😅 Но учиться и пробовать точно стоит.

#книги #фрэнксесно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥322
В завершении года совсем не осталось времени и энергии) хочется уже просыпаться как можно позже, неторопясь читать книжки, гулять и заниматься какой-нибудь не важной, но радостной ерундой 🐱🐱🐱 Забавно, как мозг может цепляться за календарные даты, когда ему удобно, ведь по факту 31 декабря не особо отличается, к примеру, от 31 марта.

Не очень люблю зимние длинные выходные, так как везде толпы народу и особо уезжать никуда не хочется, но последние два года появилось желание не делать ничего важного. В прошлом году не получилось, под самый новый год мы переехали в новую квартиру и заканчивали разные мелкие дела по обустройству. В этом году планирую просто наслаждаться жизнью, посмотрим на сколько это получится 😅

А у вас какие планы на длинные праздники (если вы работаете в РФ)? 😑

P.S. настроение "давайте после НГ" рановато, но уже включилось на полную

#life
Please open Telegram to view this post
VIEW IN TELEGRAM
🎄6
В тему "отсутствия энергии". На днях пожаловалась тренеру, что "твой спорт лишает меня последних сил" 😈 (у меня с детства тяжелые отношения со спортом, но здоровья для теперь стараюсь заниматься регулярно).

А потом пошла и сдала анализы, по которым у меня оказался латентный дефицит железа (в числе прочего). Перед тренером пришлось извиниться 😬 а самой пойти в аптеку, да записаться к врачу.

К чему это всё. Когда вам кажется, что у вас нет сил — причина может быть физической.

Не забывайте делать регулярные чекапы и берегите себя.

#life
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6