сейф был вскрыт
29 subscribers
408 photos
47 videos
56 links
никаких ожиданий, никаких разочарований. автор — кретин с дурацким чувством юмора.
Download Telegram
«Графики, которые убеждают всех — руководство по визуализации данных»

Я продолжаю читать профессиональную (и не только) литературу, чем и делюсь здесь, по крайней мере стараюсь, если это соотносится с тематикой канала. Так вот, дошли руки до книги, название которой в заголовке. Это, как и Дата Йога, я писала о ней ранее, произведение, погружающее вас в искусство создания инфографик. Однако нынешняя книга очень выгодно отличается от первой. Она точно будет полезна тем, кто имеет хоть какое-то отношение к построению чартов/дашбордов и тд и вот почему:

🌟 Наглядность. И я не про спам картинками, а про пошаговый разбор графика и его улучшение, и книга изобилует такими примерами. То есть читателя буквально проводят от точки А до точки Б, от плохого чарта к хорошему, не забывая при этом пояснять, почему стоит сделать именно так. Причем особый акцент автор делает на том, что вырвиглазность, заморочки с дизайном и тд — вообще не ключ к успеху. Такой подход размывает внимание и отвлекает от сути. Вы победили, когда смогли донести сообщение, заложенное в графике, до того, кто на него смотрит. И для этого необходим не дизайнерский подход, а репрезентативность и адекватность.

🌟 Данные — первостепенны. Самое важное — понять основную задачу, в рамках которой вы планируете делать график. Он не существует сам по себе, он лишь инструмент. Пока вы не сформулируете сообщение, обработаете данные, не имеет смысла выбирать тип визуализации. Более того, вы не должны подчинять график под данные, это данные декларируют выбор чарта. У вас должна быть четкая цель, которую можно сформировать из вопросов типа: на что должна повлиять ваша презентация? что в результате должно измениться? То есть мы строим график не ради графика, а ради того, чтобы что-то показать, изменить, на что-то повлиять. При этом вы должны четко понимать, что вы делаете, какие метрики, например, вам нужны, что в принципе делать с вашим датасетом. Условно я сейчас занимаюсь рекламными интеграциями, так что для нас важны CTR, CPC, CPM, расходы и тд — это именно те показатели, на которые мы будем обращать внимание прежде всего и именно то, что соответствует нашим целям. Так что работа с данными — самый важный процесс и этап создания какой-либо инфографики.

🌟Минимализм. Большой акцент делается на том, что вам нет необходимости изобретать велосипед. Для большинства ваших целей уже есть базовый набор визуализаций. Лучше те графики, которые в конкретной ситуации эффективнее доносят ваше сообщение до аудитории. Они должны быть очевидны, понятны, компактны, соответствовать данным и передаваемому мэсседжу. В связи с этим автор подробно разбирает когда и для каких целей какие типы графиков использовать. Вам будут с примерами представлены все наиболее популярные виды визуализаций, даже те, что нечасто используются, так что у вас не останется вопросов, а что это вообще такое и зачем оно надо (с таким я сталкивалась в книге Дата Йога). При этом вы должны четко понимать, как интерпретировать данные, какое значение они имеют. Без этого вы не сможете сформулировать сообщение.

🌟Метод от противного. Вам прямо показывают, как делать не надо, причем это неочевидные вещи, которые вы на первый взгляд даже не заметите, но они сильно влияют на восприятие данных. Это наиболее частые ошибки, которые автор встречал в своей практике. И на это действительно стоит обратить внимание, ибо даже авторитетные издания или телеканалы, любые источники информации, часто искажают данные. Манипулировать при помощи графиков довольно легко, порой достаточно лишь поменять срезы или размеры временных и численных интервалов, но все-таки стоит стремиться к объективности и иногда даже показывать два варианта одного и того же графика.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
Резюмируя, самое важное, что стоит вынести — контекст, в котором живут ваши данные, понимать, как они получены, что означают и как связаны с реальностью. Дальше дело за вдумчивым анализом. И только после этого имеет смысл выбирать для самых важных показателей и значимых результатов какую-либо адекватную визуальную форму. Так что я искренне советую хотя бы бегло ознакомиться с книгой, тем более что ее прочтение занимает довольно мало времени. Если у кого-то есть советы, что почитать и какую еще книгу разобрать — буду рада, делитесь в комментариях, а так жду мнения по данному произведению, если кто-то читал. Вообще планирую дальше ознакомиться с «Грокаем алгоритмы», но это не высечено на камне.
👍2🫡2
Визуализация космической программы Аполлон и миссий на Луну от компании Set Reset

Прям очень зашли их работы, все такой круглое, тоненькое и красивое. Вешать на стенку и любоваться!
1🫡1
«Возвращение блудного сына», но это не точно

Меня правда долго не было, даже пришлось зайти в канал и посмотреть, а когда хоть был последний пост. Сказать честно, уже в ноябре я была всеми мыслями в праздновании Нового года, а точнее в предстоящих мини-каникулах. Неоднократно я думала, что надо бы все же что-то написать, даже ставила себе задачу в Todo-листе, находила темы, которые могла бы прокомментировать, но in the end of the day просто не могла собраться с силами. Не могу сказать, что после новогодних стало как-то сильно легче, до сих пор сижу в этом ленивом и апатичном настроении.

Каждая рабочая задача сейчас, как ножом по сердцу. Первая моя эмоция на очередное уведомление в джире — я не хочу это делать. При этом я закончила испытательный срок с позитивным ревью — лид мной очень доволен, по хард скиллам все отлично, хотя и сказал качать софты (этого момента я не поняла). Таски в каком-то смысле становятся сложнее, меньший контроль и больше самостоятельности — уже пошагово никто не расписывает что тебе и как делать. И в этом контексте у меня есть определенные трудности, потому что местами я имею лишь образное представление того, как что-то реализовать.

Вместе с тем все сильно усложняет моя общая тревожность и установка мол "сегодня задачу дали — сегодня она должна быть готова, а если нет, то ты плохо работаешь и вообще отстойный сотрудник, все на дейли подумают, что ты тупой". И это конечно же не самое адекватное восприятие действительности. Особенно в условиях, когда в последнее время я вынуждена часто работать с абсолютно незнакомыми для меня продуктами, разбираться в новых платформах и пытаться еще больше автоматизировать некоторые процессы, понимание чего у меня весьма туманное.

Так что дела пока обстоят таким образом, плюс на заднем фоне присутствует все та же тревожность, но уже касательно подготовки к свадьбе — так как приходится контролировать подрядчиков, следить за ходом работать и надеяться на то, что никто не облажается. Но это из разряда личного, что не должно влиять на рабочее, по крайней мере хотелось бы, чтобы так и было. Картинка отлично олицетворяет состояние. Чуть позже также напишу относительно развернутый ответ на вопрос в комментариях. Спасибо большое @ivo666, который вообще побудил меня написать хоть что-то.
3👏2👾2👍1
Отчетность vs Аналитика

Из комментариев поступил вопрос о том, какое направление все же превалирует в моей работе. Чтобы ответить, необходимо углубиться в само устройства отдела.

Предыстория. Я работаю в отделе уже четыре месяца. До моего прихода он просуществовал еще месяца два-три. То есть из этого мы делаем вывод — это совершенно новая структура. Когда я только искала работу и рассматривала несколько вариантов из тех, куда меня пригласили и куда были офферы, я опиралась прежде всего на пул задач и команду. Мой выбор был определен именно структурой — совершенно новый отдел, который начинает свою работу с нуля. Я знала, что в таком случае смогу попробовать куда как больше, чем если бы пришла в уже устоявшуюся команду с налаженными рабочими процессами. Мне же было интереснее именно выйти за пределы того, что я умею и с чем приходилось сталкиваться. Кто-то возможно подумает, что это странный выбор, из которого вытекают свои сложности. Возможно, это действительно так, но такое расположение дел привлекло меня куда больше, чем остальные предложения на весьма ограниченный и очерченный перечень задач.

AS IS. Учитывая, что, как я уже сказала, отдел только сформирован, и мы буквально начали с нуля, рабочий процесс выстроен на данный момент таким образом, что мы занимаемся отладкой буквально всего. Сами разворачивали клик, Airflow и тд. Сейчас моя работа вообще больше похожа на работу дата инженера, а не аналитика. И это как раз то, что я искала — выход за рамки. Глобальная задача нашей команды на текущий момент — автоматизация сбора данных из всевозможных источников/площадок и тд. Отсюда множество задач со сбором статы по API и автоматизацией этой истории посредством Airflow. То есть на данный момент у нас уже есть целый перечень источников, которые автоматически обновляются, забирая необходимые данные и выводя полученную информацию на созданные дашборды. Помимо этого, я сейчас веду направление по автоматизации проектов без API, то есть это работа с Excel-файлами, которые так же необходимо забирать на постоянной основе, но уже другими путями.

TO BE. В перспективе наша команда начнет заниматься и аналитикой, и A/B-тестами, и другими приколами. Все это произойдет после того, как мы разберемся с базовой историей по отладке источников и площадок для бизнеса, которому по большей части больше не надо будет работать на экселях, что значительно упростит ему жизнь.

Итог. Таким образом, как понятно из текста, отчетность все же превалирует над аналитикой, пока что. Порой, конечно, у меня проскальзывают простенькие задачи на аналитику — например, мне надо было провести небольшую аналитическую работу, чтобы понять, как бы мы могли сократить выдачу в условиях огромных объемов данных. В итоге я использовала сегментацию и категоризацию полученных данных, чтобы понять, какой сегмент для нас наименее приоритетный с точки зрения бизнеса и эффективности, от которого мы могли бы отказаться, чтобы напрасно не нагружать ноды и бд. Однако in the end of the day 98% задач на сегодняшний день — это именно отчетность. Надеюсь, я ответила на вопрос. Вместе с тем надо понимать, что все сильно разнится в зависимости от компании, отдела и конкретно ваших целей, как структуры.
🔥3👍21
Реальный кейс из работы, который не дает мне покоя и решение которому я не могу найти

0️⃣Дано: датасет по Яндекс Метрике с id кампаний, их наименованием, id неуникальных пользователей, id неуникальных визитов, id целей, их наименованиями, id счетчиков, их названия.

1️⃣Расчеты: созданные меры по общим визитам, которые вычисляются по формуле uniqExact(nunique_visitid), целевым визитам — uniqExactIf(nunique_visitid, goal_id is not null) ( то есть это все уникальные визиты, у которых поле цели не пустое), конверсия по визитам — uniqExactIf(nunique_visitid, goal_id is not null)/uniqExact(nunique_visitid). Такая же логика реализована для пользователей.

2️⃣Доп.условия: нативный фильтр по наименованиям целей.

3️⃣Проблема: без применения нативного фильтра мы получаем адекватные и различные общие визиты/пользователи и целевые визиты/пользователи, соответственно видим и релевантную конверсию. Однако при выборе в нативном фильтре какой-нибудь цели конверсия сразу пересчитывается под 100% , а визиты и целевые визиты, а также пользователи становятся равными друг другу, отсюда и 100%.

4️⃣Ньюанс: как при выборе конкретной цели действие может быть не целевым? Но должно быть, по словам лида.

5️⃣Решение: не найдено.

Если у кого-то есть идеи, прошу в комментарии.

P.S. теоретически можно прописать какое-то условие для обхода этой истории в jinja templates, но пока что я не придумала. пыталась решить проблему другими путями.
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥3👍2
Культ токсичной продуктивности или ее «красивая» картинка

Хочу высказать свое мнение по поводу темы, которая меня в последнее время просто дико раздражает — образ чрезмерно продуктивной жизни. Я, как и любая типичная дама, времена посматриваю инстаграм*, даже чаще, чем хотелось бы. Несмотря на то, что я вроде бы уже сжилась с мыслью повсеместного обмана в соцсетях, а точнее даже разительного приукрашивания (местами все же откровенные ложь и развод), свое влияние на меня это по-прежнему оказывает.

Я — достигатор, совмещающий в себе лень и некоторую апатию. При этом с невероятно завышенными требованиями и давлением. И каждый раз, когда я натыкаюсь на очередное видео формата «за сегодня я сделала миллион дел, заработала миллиард, сходила в зал три раза», меня разрывает на части. Еще больше выносят мозг так называемые «статьи» блоггеров, которые обещают изменить вашу жизнь, а на деле являются банальным упоминанием тайм-менеджмента, навязанной любви к работе, дисциплине и другой лабуды.

Все это «прекрасно» и действительно имеет право на существование, но, скажу честно, я просто не понимаю, где люди находят на это силы. Вот уже вторую неделю пропускаю тренировки, потому что у меня банально нет ни сил, ни желания. Я понимаю, что, откровенно говоря, могла бы делать куда как больше: больше вкладываться в саморазвитие, спорт, питание и другие замечательные вещи, обещающие сделать нашу жизнь лучше. Однако где на все это взять ресурсы, когда ты работаешь 5/2 по 8 часов, а порой и больше. Бывает, что я работаю по выходным или засиживаюсь в будние до 10-11 часов вечера, а бывает простой работы на весь день. И в этом нет системы, нет правила, что сегодня у меня свободен весь день, а завтра я буду сидеть 12 часов, не отрываясь. На выходных же я в основном просто лежу, занимаюсь бытовухой, порой какими-то хобби, редко выбираюсь в город.

Самое главное в этом, как мне кажется — понять, что никто не даст вам инструкцию к жизни, ее просто не существует. И то, что для кого-то норма — не норма для вас. Нет никакого правильного пути. И продуктивность — это скорее про дисциплину, с чем, надо признать, у меня тоже есть проблемы. Тем не менее все это не значит, что ваш день должен быть расписан по минутам, с кучей тренировок в неделю, с диетой на одних овощах и куриной грудке и так далее, продолжать можно до бесконечности. Я правда не знаю, как добавить себе больше часов к жизни и больше сил и желания что-то делать сверх того, что уже делаю. Люди апеллируют к множеству техник и методик, но работает все это постольку поскольку.

Если у вас есть рабочие методы по улучшению продуктивности (дисциплины) или вас тоже раздражают блоггеры с идеальной картинкой — вэлком в комментарии.

* — принадлежит компании Meta, признанной экстремистской в РФ
2👏2💯2
Как я устраивалась на вторую работу (спойлер: меня так и не взяли)

Я ждала разрешения всей этой истории, чтобы как раз написать пост. Правда, изначально предполагалось, что там будет интересная история «успешного успеха», но увы и ах.

Начнем с того, что однажды вечером я случайно увидела пост в инстаграмном* блоге одного бренда одежды о поиске сотрудников. На шару просмотрев вакансии, я обнаружила там позицию "Ритейл аналитик". Неважно, что я никогда не работала в ритейле, но подумала, почему бы и нет. Закинула резюме в письмо CEO или кому-то там и стала ждать. В тот вечер, а точнее в ту ночь, у меня случился эпизод шизофазии. Так я называю периоды обсессивных, навязчивых мыслей, которые не дают мне спать. В своей голове я уже придумала развитие событий, в рамках которого подняла в компании аналитику с колен, развернула им бд, подключила эирфлоу, настроила bi инструменты, подключила яндекс метрику, и теперь они счастливые довольные живут, а я горжусь собой (и скорее всего выгорела).

Прошел день, мне ответили с просьбой сделать тестовое. Оно представляло из себя простенькую табличку в эксель с пятью вопросами а-ля: топ категорий по продажам, на какие товары стоит сделать акцент при формировании скидок, на сколько хватит остатков при неизменном темпе продаж и другая простая ерунда. Я не большой знаток экселевских формул, когда-то даже курс проходила, но сейчас для меня более родным является питон. В любом случае даже в таком формате это было тривиальное и неказистое тестовое. Отправив его, со мной связался уже hr или кто-то там по персоналу и назначил онлайн-встречу с операционным, кажется, директором.

Шла я туда без ожидания чего-либо, но в итоге пообщались за опыт, позадавали стандартные вопросики. Причем мы честно обсудили, что я ищу работу именно по совместительству (думала таким образом взять себе а-ля pet-проект, но с реальным кейсом), и их это абсолютно устроило. Также скажу, собеседующий, хотя я скорее назвала бы его собеседником, ибо большая часть вопросов все же шла от меня, так как я искренне интересовалась устройством компании с целью дальнейшей ее оптимизации с моей стороны (на тот момент я реально загорелась этой историей, не буду лукавить — в том числе и из-за желания получить доп доход, пусть даже в полтора-два раза меньше моего основного, деньги лишними не бывают), был искренне мною восхищен, эта фраза буквально звучала неоднократно. С самооценкой у меня не очень, так что лишний раз я бы такое писать или говорить не стала, тем более что восхищены они скорее всего были моим словарным запасом и возможностью адекватно строить предложения и изъяснять свои мысли, чем реальными моими способностями, которые, как мне кажется, оценить они в принципе не особо смогли бы в силу нехватки знаний в области.

В общем расстались мы на хорошей ноте с обещанием с их стороны вернуться через неделю с ответом (на тот момент я уходила в небольшой отпуск в связи со свадьбой, о чем я вновь-таки сказала собеседующему). И вот по прошествии недели я не получаю никакого фидбека. Писала дважды, а ответом мне было: «Коллеги вернутся с обратной связью к концу дня». В итоге я перестала писать, потому что на заднем плане у меня все равно всегда маячила тревога о том, что я не справлюсь, что еще недостаточно опытна, чтобы совмещать несколько работ, что подведу кого-то и тд. Однако я в очередной раз столкнулась с историей, которую никогда не понимала: в чем сложность открыто написать кандидату, что он вам не подходит, или вы по каким-то причинам отклонили его кандидатуру? Для меня это прям большая сигнальная кнопка, потому что игнорирование в данном случае — это неуважение не только к потенциальному работнику, но и к себе, как hr'у, как мне кажется. Написать сообщение с отказом — быстрее, чем вести диалог во время самого процесса найма, и требует куда меньше сил.
2👍1
Лично я выступаю за открытый диалог, где ты понимаешь, почему не подошел кому-то. Возможно, тебе стоит прокачать критические навыки, поработать над самопрезентацией или еще чем-либо. И хоть какой-то небольшой фидбек, написанный не на отвали, даст понять, что пошло не так. Меня раздражает эта игра между кандидатом и нанимателем, где ты всегда в заведомо проигрышной ситуации, когда ты просто расходный материал, с которым можно пренебречь адекватным взаимодействием. Я не говорю, что все кампании такие, и не питаю ложных надежд о своей значимости. Мы все живем в мире победившего капитализма, где люди — ресурс. Однако и хороший кандидат может сказать свое «фу» и выбрать работодателя, который уже на начальном этапе показал себя лучше других.

Итого: на работу не взяли — хрен с ним; hr'ы — в какой-то степени зеркало компании и надо работать над ее репрезентацией через адекватную коммуникацию (но это если вам нужны нормальные люди, конечно); берегите себя и свои нервы и рассчитываю нагрузку сообразно своим возможностям, заработать все деньги мира невозможно.

* — принадлежит компании Meta, признанной экстремистской в РФ
2👍2
кстати, мой понедельник начался с грусти по потраченному времени.
контекст: я прождала все выходные, чтобы перевыгрузить все данные по одной площадке за прошлый год. выгрузила первые шесть месяцев, вторая же половина по прошествии 33 часов просто зависла на последних 7 запросах, в результате чего мне пришлось перезапускать весь процесс. рякаю недовольно
3🤬3
Почему меня бесит моя работа

Кликбейтный заголовок такой. На самом деле я не могу сказать, что я ненавижу свою работу, в данный момент времени она меня именно что бесит, и на то есть целый ряд причин.

0️⃣ Однообразие. Так как отдел новый, перед нами стоит глобальная задача. Если упростить ее, то звучать она будет так: надо достать данные. То есть у компании есть куча площадок, на которых она крутит рекламу. Чтобы люди не выгружали экселевские отчеты руками, мы автоматизировали для них получение данных и статистики через API (для тех площадок, у которых он есть). Сделали им удобоваримые дашборды в СС, и живут они теперь счастливо. И вот этим я занимаюсь уже пять месяцев. Когда я пришла в команду, я понимала, что это будет долгий процесс, но не думала, что настолько. Хотя в рамках жизни корпорации пять месяцев — это не о чем.

1️⃣Человеческий фактор. Основная проблема в том, что не у всех площадок есть апи. Для понимания, есть кампании, которые запускаются на смарт тв, и подключиться к ним очевидным образом нельзя. Поэтому сама площадка генерирует какой-то отчетик и скидывает этот файл к нам в облако. Но в этих отчетах присутствуют лишь метрики типа кликов, показов и другая шняга, но нет самого главного — денег. Чтобы посчитать расходы, нам необходимо обратиться к справочнику, в котором для каждой запущенной кампании будут прописаны модель оплаты и тариф. И здесь начинается узкий момент — справочник заполняется вручную (пока что, в дальнейшем будет интеграция с еще одной площадкой). Любая ошибка в написании, любой лишний пробел, запятая и тд и все крашится. Ты просто не сможет найти соответствия и подтянуть по ним данные. И это просто дико бесит, потому что я трачу часы на то, чтобы отыскать момент, где все пошло не так.

2️⃣ Общение с заказчиками. Коммуникация с бизнесом, который зачастую не понимает, что ему надо — та еще проблема. Я ненавижу сидеть на собраниях или вести переписку, слушать людей и пытаться что-то им объяснить. Раньше эту задачу на себя брал тимлид, но когда это переросло в более глубокую историю, понадобилось присутствие исполнителя, то есть меня (или моих коллег по их задачам). Порой люди просят абсолютную ересь а-ля "мы хотим сырые данные". Зачем? Что вы будете делать с миллионами строк неагрегированных и необработанных данных? Что вы сможете в них понять? И это не какие-то там "исследователи", это просто люди, которые мониторят стату по кампаниям. В принципе я из тех, кто не любит работать с людьми, не любит ходить на созвоны (причина, почему я никогда не буду тимлидом), так что для меня это раздражающий фактор.

3️⃣ Перекладывание ответственности. Фактически в одном из пластов работ люди переложили свой ручной труд на нас. Поддерживать эту историю после ее автоматизации будет довольно сложно. Это очень шаткая конструкция, где любое малейшее изменение или ошибка в изначальных данных, структуре таблицы, наименовании и тд приведет к тому, что все сломается. Опять же, человеческий фактор. Отследить ошибку будет сложно, учесть все возможные факапы — тоже сложно. Проконтролировать, чтобы люди не облажались не на одном из этапов — невозможно. И в итоге тебе просто остается надеяться, что человек будет следовать твоему тз (требованиям к предоставлению данных, неймингу и тд), и все в один момент не рухнет.

такие вот будни дата аналитика "инженера"
Please open Telegram to view this post
VIEW IN TELEGRAM
2😁1🕊1
я тут подсмотрела в одном крупном паблике (до которого мне никогда не дорасти) прикольную штуку и делюсь с вами.

библиотечка prettymaps, которая построит классные карты. на гитхабе простейший тутор по запросам. работает история на базе openstreetmap. собственно, я решила посмотреть районы москвы, в частности останкинский. немного сложно может быть распознавать объекты в отсутствии подписей, но я сравнила с той же областью на сайте openstreetmap и все сошлось.

можно также чуть кастомизировать запрос и использовать различные пресеты. например, сделать карту более минималистичной, добавить какие-то элементы, использовать различное оформление и тд. короче, играться можно долго.

если что, все изображения — один и тот же район.
2👍1😱1
«AI заменит программистов через полгода»: как реально обстоят дела и почему это лишь громкие слова

В своей работе я на самом деле довольно часто обращаюсь к нейросетям с разными задачами: где-то код написать, где-то что-то поправить, где-то помочь выстроить логику для дальнейшего воплощения в коде. Буду откровенной, учитывая мои навыки python, без нейросетей все было бы куда как сложнее. И они действительно временами выручают меня. Тем не менее за последнее время у меня было два кейса, в которых проще было бы засесть и разобраться самой, чем пытаться выудить хоть что-то полезное из нейронок.

1) Встала необходимость изучить jinja templates. Проблема в том, что краткая документация не дает ответов на все вопросы, сам концепт сложен для понимания, если нет кого-то рядом, у кого есть опыт. В итоге из четырех нейросетей, к которым я обращалась с этим вопросом (Claude, Qwen, DeepSeek, ChatGPT) хоть что-то более-менее в теме смогли выдать только DeepSeek и ChatGPT. По крайней мере они хоть как-то понимали, что это такое и были близки к необходимому "шаблону", однако код и передача макросов абсолютно нерабочие.

2) Telegram-бот. Каждую неделю мой тимлид закидывает в рабочий чат опрос с вопросом об удовлетворенности неделей. Ему стало лень этим заниматься. Встал вопрос, а не написать ли нам бота. Из всей команды хоть какой-то опыт в этом имела только я (опыт в моем случае очень громкое слово, потому что наклепать простых ботов для крипты и всякой глупой ерунды, работающей локально, не так сложно). Плюс у меня есть доступ к серверу, который изначально арендовался под собственный впн, так что в итоге задача перепала мне. Все началось с опроса, а дальше было принято решение навесить еще некоторый функционал. И если написать код, чтобы передать, что необходимо сделать — выполнимая история, то вот склеить это все в один процесс и запустить на сервере, чтобы обеспечить бесперебойную работу — нетривиальная задача, если ты не в теме.

Очевидным решением было обратиться к нейросети (мне было лень разбираться), что в итоге превратилось в какой-то сюр. Я не говорю о том, что нейронки систематически затирали токены, id и словари, которые необходимо было передавать, это уж ладно (в реальной рабочей жизни передавать токены и другую чувствительную информацию нейронкам не надо, но это всего лишь бот, внутри которого нет ничего важного, так что лично мне индифферентно). На практике все это выглядело так:

кидаю код с просьбой объединить процессы и превратить в функционирующую общую структуру —> нейронка кидает код —> закидываем его на сервер —> бот фейлится —> закидываем логи —> нейронка кидает исправленную версию —> бот фейлится снова —> закидываем логи —> нейронка присылает старую нерабочую версию

и так по кругу 😨. Рано или поздно, конечно, случается чудо, и процесс проходит отладку😊. Однако до этого момента может пройти куча итераций с подменой одних и тех же частей кода на нерабочие. Более того, эта история чем-то похожа на работу с Airflow: запускаешь скрипт локально — все работает, закидываешь в оркестратор — failed state. То же самое и с тем, чтобы заставить код функционировать на сервере. В итоге рабочая версия все же была запущена, нам приходят опросы каждую неделю, плюс внутри лежит некоторая справочная информация, которую можно получить через вызов определенных команд (это быстрее, чем лезть в confluence и искать нужный раздел), но я сказала тимлиду, что в следующий раз реквестую полноценную рабочую задачу под это, ибо нужно время разобраться, ибо эксперимент с нейронками не очень удачный.

Какой у вас опыт использования нейросетей?

P.S. Я не промт-инженер и может хреново задаю вопросы, но все-таки. Плюс я в курсе, что есть ML-инженеры и заинтересованные ребята, которые постят "исследования" по нейронкам, как-то их там обучают, но это все не моя тема и лезть в это я пока не хочу.
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1
Шесть месяцев с начала работы в новой компании — промежуточные итоги

На самом деле ровно полгода было 1 апреля, но у меня не было ни времени, ни сил писать пост. Долго думала, что бы я могла сказать, особых инсайтов так или иначе не случилось. Друзей завести не удалось, не могу сказать, что я в принципе в большом восторге от команды, но имеем что имеем. Осуществить то, что хотелось, не удалось. Все еще с трудом представляю себе работу настоящего "аналитика", хотя тут необходимо понимать, что это вообще за зверь такой.

Тем не менее я успела позаниматься разными вещами: прокачаться в питоне, поработать с источниками с апи и без, наделать кучу дашбордов в superset, поработать с хадупом, яндекс метрикой, jinja templates (до меня все-таки дошло, как это работает), airflow, git и так далее. Успела провести кучу часов на созвонах, написать сотни писем, завести десятки заявок и другие бюрократические прелести.

На данный момент самым существенным минусом для меня является общение с бизнесом (не способность составить адекватное тз, необходимость постоянного уточнения каких-то нюансов, отсутствие четкого понимания, что им нужно) и однообразие задач. Хотя надо отметить, что даже здесь есть исключения. Например, на данный момент я работаю с заказчиком, который почему-то не может с первого раза понять, как должна выглядеть таблица-источник для дашборда, из-за чего с момента первой ее отправки она видоизменялась уже раз пять, и это еще не конец. При этом у меня не хватает знаний в том, как все это собирается, потому что я не знакома с самим процессом, и отсюда тоже возникают свои проблемы при общении, ибо с первого раза редко когда вообще что-то получается.

Также, стоит заметить, что я в значительной мере подуспокоилась. Задачи не вызывают лютую тревогу и панику, как было на начальном этапе, когда каждый новый тикет в jira был подобен жизненному челленджу. Однако вместе с тем и потерялась в каком-то смысле вся суть этих вызовов — ты привык, задачи стали рутиной. Бывают, конечно, моменты, где нужно посидеть, покумекать, раскачаться, но так или иначе не так, что каждая новая задача — возможность выучить что-то новое. В каком-то смысле сейчас причиной тому — потоковые однообразные таски. И это норма. Тем не менее сейчас чувствую себя очень уставшей — мне тяжело даются задачи, которые могут длиться неделю и больше, хотя если бы все все делали корректно с самого начала, решение было бы готово в течение одного-двух дней.

В общем продолжаем плыть по течению, очень ждем майских и отпуска. Еще интересно узнать оценку на ревью, но оно случится еще весьма не скоро. Хотя эти полгода пролетели как-то довольно быстро и незаметно.

Помните ли вы свои первые шесть месяцев на новой работе?
3
ох, снова хоронят профессию дата-сентиста (и нет только). так что... прошу прощения, а кто-то занимался изучением источника этой статьи? прежде всего, стоит обратить внимание на то, что сайт, на котором опубликован материал, не является официальным представителем майкрософт. фактически он был создан Mobile Nations, что, кстати, написано на официальном сайте уже самого майкрософт. более того, само исследование было построено исключительно на запросах пользователей bing в купе с их co-pilot'ом. то есть условно на основе того, что какой-то пользователь задал вопрос в bing на какую-то историческую тему, делается вывод о том, что профессия историка может быть заменена ии. очень простая аналогия: это как если бы в 2005 году изучили, как люди используют тот же гугл для поиска рецептов, и сделали вывод: «поваров станет меньше», хотя на самом деле поисковик изменил работу поваров (условно ты можешь найти любой рецепт онлайн), но не убрал профессию — спрос на рестораны вырос. фактически то, что показывает это исследование — темы, где ии может помочь, но не то, что произойдет с профессиями. и весь этот холивар на тему "нас всех заменит ии" уже начинает дурно попахивать — на практике нет ни одной абсолютно успешной и "безболезненной" отрасли, где нейронки действительно смогли бы заменить человека. и даже если ии позволил местами избавиться от низкоквалифицированного труда, он вместе с тем взрастил и новые профессии а-ля промт-инженера, аи-редакторов, консультантов по внедрению аи и тд.
🔥43