Что делать с лисой?
Она продолжает ходить к нам и портить вещи по ночам.
А сегодня ночью нагадила в прямом смысле на беговел сына :(

Капкан?

Читаю комменты в Linked In к вопросу - что использовать для преобразования данных SQL или Python?

Я сторонник SQL, особенно, когда можно использовать DBT. Причины простые:
1) Локальность данных, данные не будут гоняться по сети, все преобразования произойдут не сервере базы данных.
Что очень важно, когда работаешь с таблицами больше 10Гб. А если это терабайты?
2) Код понятнее. Я считаю, что код на SQL более читабельней, чем какой-нибудь Pandas.
Особенно если для трансформации используется несколько последовательных таблиц и CTE.
3) Сейчас можно тестировать SQL, если работаете с DBT. В последней версии DBT 1.8 уже можно писать
unit тесты с синтетическими данными.

Я на 90% использую DBT, а Python использую для написания функций, которые можно вызывать из SQL

ChatGPT для MacOS от OpenAI
https://persistent.oaistatic.com/sidekick/public/ChatGPT_Desktop_public_latest.dmg
Но даже если вы поставите его, доступа может пока не быть. Они постепенно раскатывают его

Low ego / team player вижу в вакансии, которую прислали.
Вообще много, где так пишут.

Интересно, насколько отличается эффективность low ego от high ego? Может ли быть high ego хорошим team player?

Следующий вопрос - работает ли это на уровне акционеров и высшего менеджмента? Ведь цель любого бизнеса - прибыль любой ценой. И там все как в джунглях.

Посмотрел статистику Retail Rocket на BuiltWith. Горжусь своим вкладом и всех причастных к такому серьезному результату! Много работы было сделано

Целый день работал и смог запустить metabase поверх retenly.com

Теперь каждый зарегистрированный пользователь имеет прямой SQL доступ ко всем данным британских компаний, включая импорт и экспорт. Закрытая бета - если нужен доступ маякните мне

Подробности технический реализации:
1) использовался драйвер Metabase Duckdb https://github.com/MotherDuck-Open-Source/metabase_duckdb_driver
2) я включил Google авторизацию в nginx и metabase - не нужно помнить пароль

Отчитываюсь по собеседованиям!
Забегая вперед напишу, что я выхожу работать в начале июня

--Финтех стартап - VP of data - отказался сам

Здесь на Canary Wharf запускается новый финтах стартап. Примерно в течение месяца у меня было четыре интервью с ними. Вчера было последнее, где я уже сообщил, что мне сам финтех уже не так интересен. То есть я отказался сам, но мы оставили возможность для консультаций.

--Стартап в области тревел - VP of data - отказался сам

Было пару интервью. Я отказался сам от продолжения.

--British Petroleum - Staff Data Analyst - продолжаю

Сегодня было техническое интервью с CTO. Первые полчаса мы разговаривали в том числе, как стимулировать сотрудников не уходить из-за скучной работы. Вторую часть времени я решал задачу - проектировал структуру таблицу для сервиса такси и писал SQL скрипт для вычисления метрики. Метрика звучала так - нужно найти города, где самый большой разрыв между числом клиентов и водителями. Задачу я решил. Но она была с изюминкой и в лоб ее не решить. На следующей неделе у меня техническая презентация для группы людей.

--Intercom - Senior ML engineer - мне отказали

Я уже писал выше о первых трех интервью и их восхитительном процессе найма, когда мне дали полную обратную связь, а именно что каждый интервьюер написал про меня.
В понедельник у меня было четыре интервью:
1) Техническая презентация - прошел
2) ML skills - прошел
3) Personal values - прошел
4) Технические дизайн - не прошел :(. Запутался в деталях и все делал медленно.
Сегодня я созванивался с рекрутером. Как и после первых интервью он зачитал мне персональное мнение интервьюеров. Общий мой недостаток - ухожу в сторону, не хватает ясности в моих объяснениях.

--Высокочастотный трейдинг - ML researcher - получил оффер

Как вы помните из постов выше, мне дали тестовое задание, и я потратил почти три недели своего времени на ее решение. В абсолюте я задачу не решил, но мои подходы к ее решению очень понравились. Потом у меня было интервью с Head of ML. Следующим шагом мы начали обсуждать оффер. Здесь я сам предложил тестово поработать. Мне пошли навстречу, и буквально на следующий день я приземлился в Амстердаме. Поработав с ними три дня я понял, что это мое, так как напомнило мне мои времена в Retail Rocket: задача очень сложная и требует много математике и экспериментов.
Оффер я принял, выхожу работать в первых числах июня.

Мне до сих пор до конца непонятно, как LLM повлияет на рынок труда. Но то, что влияние будет существенным это факт.
У меня довольно плохо с памятью, я мало помню точно, но помню принципы. И GPT мне помогает «помнить» синтаксис Python или Scala, как что-то сделать с помощью какой-нибудь библиотеки. Мне лично LLM уже сэкономил много времени даже на личном проекте, я потратил в три раза меньше времени на написание проекта, чем если бы делал это без GPT. Также я сэкономил деньги - мне не пришлось нанимать специалистов на какие-то задачи, в которых я разбирался не очень хорошо. Продуктивность выросла, значит нужно еще меньше людей, чтобы сделать что-то существенное. Правда GPT не заменит вас как главного инженера, скорее младших разработчиков.

Я прочитал и нашел полезной статью
https://vc.ru/u/10179-vladislav-proshinsky/1201119-budushchee-menedzhmenta-v-epohu-ii-pipl-menedzhery-vs-menedzhery-modeley
думать об этом нужно уже сейчас. Я пытаюсь сделать большее - чему учить своих детей? Пока мне непонятно :(

А вот и структурные данные подъехали (табличные), которые пока плохо обрабатываются LLM

“Symbolica is a startup developing new foundational deep learning models for structured reasoning, based on principles of category theory, type theory and functional programming. Specifically, we aim to develop models which manipulate structured data, learn algebraic structure in it, and do so with an interpretable and verifiable logic. To that end, we are developing new mathematical foundations for deep learning”
https://www.symbolica.ai/

Их научная база (статьи, лекции):
http://www.categoricaldeeplearning.com/

Кто изучал функциональное программирование - будет интересно

В связи с новой работой я ушел в глубокий Machine Learning.
Получаю огромное удовольствие от чтения научных статей. Например, мне нужно знать все детали алгоритма LightGBM. Я пошел на сайт самого LightGBM, скачал оттуда статьи и читаю.
Дальше интереснее. А вдруг кто-то на пальцах объяснил, как это все работает?
И не для новичка, а прямо по paper самих создателей? Почему? Потому что только создатели могут объяснить пару параметров, которые не засветились на конкурсах Kaggle.
И случайно нашел незаслуженно непопулярный канал
https://www.youtube.com/playlist?list=PLgaemU2xZlTieGRRTAdDlHOgxr-bs6pfr
(автоперевод с корейского)
как мне нравится то, как автор объясняет, ему бы лекции читать (скорее всего так и делает)

UPDATE: очень хорошо, что автор также все пишет на Питоне, алгоритмы с нуля. Это самое главное правило изучения ML - читаешь paper и пишешь алгоритм по ней. Пусть криво/косо, но зато запомнишь надолго

Зарегистрировал компанию в UK - заняло час. Делала бухгалтер
Открыл сам счет в Монзо за 10 минут - вот это скорость!
Я правда там и депозиты держу, и кредитку.

Все сильно проще, чем когда я открывал компанию в США - другие деньги и другое время ожидание открытия счета в Mercury


UPDATE: если вам интересно как банкротится компания, где я работал https://find-and-update.company-information.service.gov.uk/company/12585400/filing-history В Filings публикуются документы по ликвидации

Почему ML инженер должен не только умело применять существующие Machine learning модели, но и уметь писать их с нуля?
Сегодня я столкнулся с ситуацией, когда написанная мной Loss функция отказывалась считаться в LightGBM. С точки зрения математики все было правильно. Дьявол оказался в деталях.
https://github.com/microsoft/LightGBM/pull/1199
7 лет назад они сделали патч, который просто сделал для L1 loss hessian = 1, а не нулю (вторая производная). Выглядит очень нелогично (объяснение здесь - https://stats.stackexchange.com/a/585747), но поменяв 0 на 1 у меня все заработало. Если бы у меня не было опыта написания ML, то скорее всего я бы не разобрался. Если вы ML инженер, и все написанное выше полная белиберда, то рекомендую заняться самообучением.
Чуть выше я уже писал про отличный разбор алгоритмов ML, их анализом и кодированием. (https://t.me/topdatalab/345)

PS: Завтра до четверга я прилетаю в Хаарлем (Нидерланды), если есть желание встретится вечером - пишите

Много накопленных маленьких ошибок перемножаются между собой и превращаются в большую и жирную ошибку.
Не ругайте меня за перфекционизм, когда я пытаюсь ликвидировать все маленькие ошибки насколько это возможно. Это касается не только BI, но и ML моделей. Garbage In, garbage out.
Часто я сталкиваюсь даже с сопротивлением инженеров: “да у нас тут и так криво и косо, нет смысла лечить эту ошибку”. Смысл есть - я хочу быть уверенным, что в том месте никакой ошибки нет, чтобы я не тратил время на поиски в этом месте.

Почему я не люблю облака :)

https://www.bbc.co.uk/news/live/cnk4jdwp49et
Если кратко, накрылось облако Azure и все посыпалось. Мы не смогли записать ребенка к врачу, и даже думали вызвать скорую, но в uk она не приедет.
Второе - задело системы железных дорог, и как раз мне сегодня нужно ехать :(

PS: я старой формации, поднять и настроить сервера где нибудь на Hetzner это мое

У меня всегда был интерес к табличным данным, с которыми текущие GPT модели плохо справляются.
И вот статья от создателя самой известной ML библиотеки scikit-learn. CARTE!

https://gael-varoquaux.info/science/carte-toward-table-foundation-models.html

В AI гонке есть видимая борьба за ресурсы (чипы с GPU) и невидимая - за данные!
Cloudflare недавно запустил опцию блокировки AI ботов.
Я у себя включил.

Из документации
"AI bots

You can block artificial intelligence (AI) bots, crawlers, and scrapers from scraping your website content and training large language models (LLM) to recreate it without your permission. When you enable this feature, Cloudflare deploys a custom rule to detect and block AI bots from your website.
This feature is available on all Cloudflare plans."
https://developers.cloudflare.com/bots/concepts/bot/#ai-bots

В чате инжиниринг данных промелькнула вакансия VP of data в Канаде, причем доход не отличается от ведущего (senior) инженера по данным.
Так вот в UK то же самое, плюс конкуренция на эти вакансии большая. Ведь VP и head of analytics - это сплошные soft skills, а этого добра в UK хватает, множество выпускников MBA. Как поболтать - то должность британец занимает. Но вот как что-то руками поделать нужно - то проблема :).
Я поэтому в Senior Researcher пошел, и денег больше и делаешь реальную работу, остаешься конкурентно способным на рынке труда. Вот такое наблюдение

А кто-нибудь здесь пользуется Claude дла разработки?
Месяц назад они написали блог пост https://www.anthropic.com/news/projects
И я видел хорошие отзывы. Сам сейчас на ChatGPT Plus

Больше года назад я писал вам вопрос про систему “само” аналитики.
Тогда было решено, что это будет Metabase. Она была и в Retail Rocket, и еще паре компаний, с которыми я работал. Прошлым летом мы внедрили Metabase, а осенью перенесли все из Tableau.
Я могу сказать, что у нас тогда все получилось на 110%:
1) мы смогли убедить пользователей пользоваться системой
2) провели несколько семинаров и записали видеоролики
3) Когда пользователь сопротивлялся, я сам созванивался с ним. Он/она расшаривал экран и все делал сам, я просто следил и объяснял
4) У нас появились сильные пользователи, которые писали свой или модифицировали наш SQL
5) Часть операционной деятельности банка удалось автоматизировать в Metabase

Повторюсь, что у metabase есть отличный легковесный конструктор “вопросов”, и если вы сделали хорошо ваши таблицы данных, то 50% вопросов будут разрешаться за два клика.

Также я поставил Metabase на Retenly и уже набрал 10 тестовых пользователей. И пошел еще дальше - сделал демо версию доступных данных, залил их в Metabase.
Чтобы сделать возможность заходить пользователям без логина/пароля, я сделал конфигурацию для nginx + JavaScript. Сверху закрыл все каптчей от Cloudera, чтобы роботы не перегружали систему.

Теперь любой посетитель сайта может зайти на сайт и одним кликом попасть в Metabase и поиграть с данными.
Увидеть как это работает вживую можно, если нажать на ссылку: https://demo.retenly.com/demo_login

PS: могу опубликовать исходники конфигурации, чтобы вы могли повторить

Когда тебе за 40 начинается один плохой тренд, твои друзья и знакомые начинают уходить из жизни.
Вчера не стало моего друга Георгия Чибисова (Жорика). Я с ним работал вместе еще с 2004 года.
Он тогда был “внизу” карьеры, хотя до этого продал проект xbox russia майкрософту, был менеджером по продажам в Озоне. Именно его идея по оптимизации SEO Озона привела к 30% увеличению трафика с Яндекса.
А потом его таланты привели к заслуженной должности - директору по маркетингу в разных компаниях от Ламоды до Московской биржи

PS: одно из его последних интервью https://vc.ru/marketing/931853-georgii-chibisov-prezentacii-u-rossiiskih-agentstv-slabye-no-tehnicheski-oni-luchshe

Про AI хайп пару негативных статей:

[STUDY FINDS THAT AI IS ADDING TO EMPLOYEES' WORKLOAD AND BURNING THEM OUT
BUT EXECUTIVES STILL THINK IT'S GOING TO BE A MAGIC BULLET] Помните из моей книги про красную кнопку на стуле? так вот она самая
https://futurism.com/the-byte/ai-adding-work-study


Ну и инвесторы подтягиваются
[Investors Are Suddenly Getting Very Concerned That AI Isn't Making Any Serious Money
"We sense that Wall Street is growing increasingly skeptical."
]
https://futurism.com/investors-concerned-ai-making-money