Всем, спасибо за ответы и комментарии. Я чуть позже отпишусь со своими идеями

В данный момент я заполняю очень длинную анкету - performance review на человека, с кем работаю.
Еще раз прихожу к мысли, чем профессиональнее и опытнее человек, тем проще и понятнее он делает. Я сейчас продираюсь через дебри "птичьего" языка этой анкеты, когда формулировки как будто взяты из учебника какого-то теоретика. Каждый раз думаю, что вот он конец этой анкеты, нажимаю кнопку Next - и снова очередные 10 вопросов 🙁

Аналогично и в моделях машинного обучения - если там используется все возможные варианты фич (факторов), сверху всего этого навешано самое навороченное дерево решений - то я сразу начинаю задумываться, правильно ли это. Я сейчас учу своего сотрудника настоящему машинному обучению. Задачу поставил так - попробуй множество фич, но оставь только пять, а сверху используй простейшую логистическую регрессию. Выжми из этого всё, отправь модель считаться в бою. И как только ты так сделаешь, тогда и поговорим про улучшения

Пару месяцев назад пообщался со стартапом count.co
Они делают что-то наподобие доски Miro для SQL запросов. Я сам не фанат Miro, но это решение позволяет анализировать очень длинные SQL запросы. Кто делал code review, тот понимает насколько это сложно.
Дополнительно можно делать интерактивный анализ. Я бы сам попробовал, но у них пока только cloud версия, не могу себе это пока позволить по соображениям безопасности

Тестировал DuckDB и Pola.rs на живом пет проекте два месяца. Мои выводы
Duckdb:
1) отличная технология для локального анализа данных
2) векторная база - поэтому занимает очень мало места относительно исходных, очень быстро умеет делать агрегацию и joins
3) может съесть много памяти, если у вас много joins
4) отлично ест огромные json файлы со сложной структурой, которые вы можете разложить по столбцам одной командой unnest
5) умеет делать локальную (persist) базу. Прямо SQLite
6) из прошлого пункта идет большой недостаток - только один процесс может в нее писать, тогда база лочится - нельзя ее читать из других подключений

я ее сейчас использую в пет проекте в качестве продакшн базы следующим образом.
Обновляю данные примерно раз в неделю, затем просто подменяю файл базы прямо на горячую. В этот момент пару запросов обрабатываются с ошибкой, что допустимо, потом все ок. Получилось версионирование с помощью файлов. Размер файла 10Гб

Из конкурентов:
Clickhouse выпустила похожую бд clickhouse-local (https://clickhouse.com/docs/en/operations/utilities/clickhouse-local), не тестировал

Есть старший брат, точнее мать https://motherduck.com - запуск вашей duckdb в облаке

Pola.rs однозначно заменяет библиотеку pandas!
После длительного тестирования я решил использовать ее во всех проектах. И вот почему:

1) Ест меньше памяти на одном и том же датасете
2) есть lazy вычисления - это значит, что может обрабатывать данные по большим блокам. Значит может сделать агрегацию очень больших данных
3) Отлично интегрируется с duckdb

Недостатки
1) не умеет делать Map из коробки. Я столкнулся с этим, когда нужно было обработать много данных без агрегации и сохранить на диск. Не получилось, так как polars результат обработки каждого блока сохраняет в память. Памяти мне не хватило
2) В целом похож на pandas, но не на 100%. Плохо что ChatGPT часто ошибается в написании скриптов для Polars, потому что библиотека относительно новая

Сейчас мы в Silverbird будем переводить на неё всю обработку данных. В пет проекте я использую ее для обработки данных, полученных из duckdb

Устали работать в «стол»? 👷Хочется результаты своего труда показать другим?

В аналитике данных, да и в других областях часто ты просто винтик на корпоративном конвейере, который принимает данные, что-то с ними делает, передает дальше. И кто знает, что там происходит, а вам хочется пощупать результаты своего труда и быть полезным. Что делать?

Некоторые пишут статьи, другие пытаются создать какие-то свои маленькие продукты, где ты творец, тебе не нужно убеждать своего руководителя, «вредных» программистов из отдела разработки, «глупого» на ваш взгляд менеджера по продукту. Получится ли? Конечно! Глаза боятся, а руки делают! Да и ChatGPT упрощает все. Лично знаю фин директора, который уже пишет сервисы с помощью GPT🚀

Я очень много посвятил времени этим вопросам, особенно в последнее время. Я ставил себе задачу найти такой стек технологий, который поможет обычному data scientist, аналитику, да и просто обычному человеку создать небольшой продукт и опубликовать его в сети Интернет. Поставил себе следующие критерии:
- Проект быстро разворачивается одной кнопкой
- Минимум кода
- Python (многие его знают)
- Никого nocode

Что я протестировал:
1. streamlit.io самое просто решение. Мне потребовалось написать 20 строчек на питоне, чтобы сделать полноценного чат GPT бота для моей книги. Есть возможность опубликовать проект в облаке streamlit, или развернуть его самому. Минус решения - оно не гибкое
2. FastAPI + React (Javascript) + Docker - я сделал пару проектов как самостоятельно, так и с привлечением стороннего веб разработчика. В целом я доволен, но еще один язык программирования Typescript (Javascript) сильно все усложнил. Хотел бы обойтись без него.
3. FastAPI + Docker + Jinja2 шаблоны - отличная связка, требует минимального знания html. Я собрал на нем статичный сайт с сотней тысяч страниц. Минус - нет динамики, опять нужен Javascript
4. FastAPI + Docker + Jinja2 + Htmx + tailwindcss - пока не тестировал, но собираюсь сделать это прямо сейчас. Htmx позволяет делать динамические сайты без использования Javascript. Вся основная работы будет сделана на Python. Начал изучение здесь https://www.pythonbynight.com/talks/web-development-python-backed-frontend-featuring-htmx-tailwind Там же есть ссылка на двухчасовое учебное видео

В последние дни много читаю Рея Бредбери, и сочинил небольшой рассказ про AI

Помощник

Алекс сидел вечером у окна и смотрел на темно синее небо, на котором зажигались звезды. Было холодно. Мыши прогрызли внизу дверь, и ветер выл из этой щели. Ему нравилась такая жизнь, ведь он один, ему никто не мешает, и у него есть Помощник.

Помощник - это самое первое «существо», которое он встретил выйдя из утробы матери. Это лучший друг, брат и сестра. Он все знает, всегда даст совет. Алекс настолько к нему привык, что ему не нужен человеческий голос. Помощник настолько хорош, что он доверил ему даже общение с родственниками, которых он не видел много лет. Когда его мать или сестра писали ему или звонили, Помощник всегда вступал в диалог с ними, ведь он знал Алекса как никто другой. И даже родная мать не могла понять, с кем в действительности она разговаривает. Помощник легко перевоплощался: сообщения, голос и образ. Он вел своего человека с момента рождения и знал о нем больше других. Люди часто пользовались ими, но не для личного общения между друзьями и родственниками, это считалось плохой манерой.

В тот вечер, Алекс почувствовал недомогание, он не понимал, что с ним. Спросил у Помощника:
⁃ Что со мной?
⁃ Я уверен, что это погода. Атмосферное давление сегодня высокое, - ответил он.
⁃ Может мне требуется диагностика?
⁃ Алекс, я абсолютно уверен, что с тобой все в порядке, и завтра все пройдет, - ответил Помощник.

Алекс не знал, что в этот момент звонила его сестра. В последнее время она часто звонила ему. Помощник брал общение на себя, и даже не сообщал ему об этом, Алекс не хотел говорить ни с кем, кроме Помощника уже много лет.

Ночью он почувствовал себя очень плохо. И обратился к Помощнику, но он ему не ответил. Он закричал:
⁃ Помощник!!
Но ответа не было.

Через пару дней ему позвонила мать. Помощник ответил ей и проговорил с ней почти час. Они обсудили погоду, красивое звездное небо, и что Алекс будет делать летом. В этот момент окоченевшее тело Алекса замерзало. Помощник отключил генераторы тепла, чтобы не расходовать энергию зря. Ему нужно было дотянуть до марта, когда солнечные батареи смогут зарядить аккумуляторы для него.

Он никогда не признался, почему это случилось. То ли Алекс был серьезно болен, то ли Он понял, что они оба не протянут до весны. Мать и сестра продолжали звонить еще много лет, разговаривая со свои любимым Алексом.

Всем у кого Макбук. Было ли у вас так - кликаете на иконку приложения - открывается совсем другое, кликаете второй раз - открывается нужное?

Я мучался несколько месяцев, пока наконец не нашел решение проблемы, зашел в терминал и выполнил команду:
Killall Dock

Все исправилось :)

Ходите на конференции? Это рынок, потом они торгуют вашими контактами. ниже примеры реальных писем, которые я получил за одну неделю:

1) Greetings,
I hope you're well. Are you in need of an event visitor database. Here's what we can provide:
Pure London 2024 : 17,346 Contacts
If this is of interest to you, I can furnish you with pricing information.
Looking forward to hearing from you.
Best regards.
Florina Moose - Demand Generation

2) Hi,

I am following up to confirm if you are interested in acquiring the Visitors/attendees List.
The Distributed Energy Show
MAR13 - MAR14,2024
Telford,United Kingdom
Registrants Counts: 4,500

If you are interested in acquiring the list, we can provide you the cost and additional details.
Each record of the list contains: Contact Name, Email Address, Company Name, URL/Website, Phone No, Title/Designation.

I look forward to hearing from you.

Thanks & Regards,
Juliette Vega
Business Analyst

3) Hi,

I am writing this to see your interest, if you would like to acquire the attendee contacts list of “DistribuTECH International 2024”
You can use this list for your booth invitations and other promotional needs.
Kindly let me know if you are interested and I can send you pricing, counts and more details for your review.
Looking forward to hearing from you.

Best wishes,
Ruby Jaxson | Events & Trade Show Coordinator

If you don't wish to receive our newsletters, reply back with “Opt-Out “in subject line

При работе с запросами пользователей всех своих сорудников я учу следующему. Когда ты берешь задачу, всегда думай как сделать так, чтобы они больше никогда не приходили с этим вопросом. В хорошем смысле этого слова.

И вместо того, чтобы сделать и отправить очередной отчет, лучше пробрось эти данные в систему self аналитики, чтобы каждый в компании получил к ней доступ и в следующий раз мог самостоятельно решить свой вопрос.
Да, это иногда очень тяжело, и вместо 5 минут ты потратишь 2 дня, но результат того стоит.

PS: Конечно, все это может превратиться в большой беспорядок, и тут нужна "продуктовая" и архитектурная работа, но это тема для другого разговора.

Нейросеть для подделки документов :(

https://twitter.com/josephfcox/status/1754514949995384996
PS: А вот это уже очень сильно. Ребята, сделавшие это, постарались на славу. Очень много проблем возникнет у compliance банков

вбиваете анкету и доки готовы :(

Сейчас я прохожу процесс поднятия денег для проекта, не как фаундер, а как нанятый сотрудник. История большая и сложная, не могу разглашать детали. Но пару книг я подписал Фреду и Россу из stride.vc

Бывает так, что ставишь не на ту «лошадь» и проигрываешь :)

С завтрашнего дня я ищу работу или проекты на парт тайм.

Для тех кто не знает меня:
- Был сооснователем Retail Rocket с самого начала. Проект вырос с сотен тысяч долларов инвестиций, до продажи стратегическому инвестору за более чем 20 млн долларов.
- Написал книгу-бестселлер “Роман с Data Science”
- Был отцом-основателем аналитики в Ozon.ru
- Живу в Лондоне

Идеальное мое применение - создание команд и инфраструктуры аналитики. Сильно экономлю деньги компаниям, нанимаю только нужных людей, и использую open source инструменты. Хорошо делаю «цифровые» продукты.

Резюме по запросу. linkedin: https://www.linkedin.com/in/romanzykov

Перешлите этот пост тому, кому я могу пригодиться. Не тяните, скорее всего я найду что-то быстро. Но хочется найти того, кому я действительно нужен

Продолжаю развивать свой пет проект на базе DuckDB. Это график времени ответа сервера, посчитанное поисковым ботом Гугла. В целом, у меня уже сложилось понимание как писать веб приложения с большим объемом данных дешево и сердито

Сегодня будет вебинар по созданию DATA приложений и их монетизации
- Introduction to Embedded Analytics and the MDCuRe Stack
- Technology Pricing Models and Unit Cost Optimization
- Adding Value with MotherDuck and Cube
- MDCuRe Demo
- Q&A session

В 9 утра по времени Сан Франциско.

https://event.on24.com/eventRegistration/EventLobbyServlet?target=lobby30.jsp&eventid=4529103&sessionid=1&partnerref=motherduck&format=fhvideo1&key=A2904ED33987B9D8AF09605814BC5903&eventuserid=670213622

PS: Я сейчас занимаюсь тем же самым, но на более низком уровне. Если интересно, то могу рассказать и дать рецепты.

Вебинар: Разработка data приложений на DuckDB

При разработке приложений ориентированных на данные я всегда хотел найти набор бесплатных инструментов,
которые позволяют сделать весь инжиниринг данных простым и удобным, не требующим облаков. Я принципиально отказался от использования знакомых мне инструментов. Поэтому выбор пал на DuckDB. В итоге за несколько месяцев я собрал полностью рабочую систему с базой данных, dbt и оркестратором с ежедневным обновлением данных. Само хранилище данных на DuckDB выступает в качестве бек енд базы данных для веб сервера :).
Я проведу вебинар по своему рабочему проекту. Посмотрим на исходные коды и живые примеры. Как этим управлять с помощью DBT и Prefect.io

Для кого: кто хочет посмотреть на новые тренды в инженерии данных и не боится экспериментировать.

Дата и время: 4 апреля 2024 в 17:00 по Лондону (это 19:00 по Москве). Ссылку опубликую накануне