topdatalab
1.27K subscribers
98 photos
10 videos
17 files
221 links
Канал поддержки книги «Как монетизировать данные». https://topdatalab.ru
Download Telegram
Получил вот такое письмо, так как попал в outreach. Думаю, что я есть еще в других системах, но такое письмо получаю впервые. Рынок данных становится цивилизованным!
См блок Your Rights - я могу удалить оттуда свои персональные данные
👍4🔥3
Чуть больше чем через час (в 18 по Лондону) будет Zoom вебинар от одного из разработчиков AI.
Речь будет идти про агентов в LLM.
Регистрация здесь: https://lu.ma/6l07vqgk

Я сам послушаю, так как вижу насколько последние модели OpenAI (mini и preview) на агентах лучше, чем прошлые
👍3
Началось!
Рассказывает про Klarna - финтех компанию
Сэкономил тысячи долларов в год, добавив кастомную авторизацию в Metabase.

По прежнему считаю, что Metabase одна из самых удобных BI систем для пользователей.
Но есть одна проблема - коммерческая PRO версия довольно дорогая - 500 долларов в месяц плюс 10 за пользователя.
Мне нужна была только одна фича из PRO - моя собственная система авторизации.

В итоге я хакнул код Metabase, и опубликовал свою версию с инструкциями здесь
https://github.com/rzykov/metabase/blob/fiev_auth/Fief_auth.md
Демо видео https://www.youtube.com/shorts/hfmGOYF_6RI

Кому это нужно:
1) Вы пишите стартап/продукт и вам нужно дать поиграться данные пользователям в приличном интерфейсе
2) Вы внедряете Metabase, но пока хотите сэкономить 🙂

Пользуйтесь на здоровье
🔥25
К черту AI видео. Человек рулит.
На выходных записал видео ролик к проекту.
На проработку процесса у меня ушел примерно месяц. Много читал реддит.
Тестировал софт для AI генерации. Даже клонировал свой голос в elevenlabs - ничего стоящего не нашел.
При прослушивании чувствуется рука AI 🙁 не натурально.

Кто будет тратить на просмотр видео свое время, если сразу заметит, что автор потратил мало усилий на его создание и воспользовался роботом?

Также я заметил, что многие видео редакторы впаривают AI фичи, которые не являются AI.
Например, анализ звука на паузы, чтобы их отметить в видео ряде? Нейронка там не нужна, нужно примитивное решение.

Итак по шагам:
1) Основной инструмент - OBS (бесплатная LUMA). Я писал в нем скринкаст со звуком (15 минут)
2) Закидываю видео в Slack (сюрприз!). Он автоматически транскрибирует. (1 минута)
3) Беру субтитры и отправляю их в ChatGPT. Прошу поправить английский и сгенерировать SRT файл. (1 минута)
4) Пишем второй звук в OBS с наложением моей головы на видео! Для этого в OBS загружаю наш прошлый ролик. (15 минут)
Для субтитров я написал плагин для OBS, который в отдельном окне показывает субтитры, которые засинхронизированы с прошлым видео.
Получился телесуфлер!
Для записи моей головы сверху воспользовался обычным зеленым экраном. Нейронки пока выдают всякие ауры вокруг головы.
Записали
5) Монтаж - прохожусь консольной программой auto-editor, которая автоматически отмечает паузы в звуке и видео и сразу выдает файл для монтажа в DaVinchi Resolve.
Есть один хак - сразу указать, что участки с паузами проигрывать быстрее, чем обычные, это сократит время монтажа
Пример: auto-editor new_audio.mp4 --margin 0.2sec --edit "(or audio:0.03 motion:0.06)" --video-speed 1 --silent-speed 3 --export resolve
(3 минуты)
6) В Resolve я загружаю файл с прошлого шага, делаю один прогон и удаляю пару косяков (10 минут)

Результат тут:
https://www.youtube.com/watch?v=YpUKnWEm_6g

Сейчас у меня создание такого ролика занимает примерно час на все. Заказал микрофон. Голову записывал через камеру Iphone
🔥14👏21
topdatalab
Как работает Zaraz, иллюстрация к посту выше.
Именно поэтому я не пользуюсь Google Tag Manager для своих проектов, a Cloudflare Zaraz!
🔥3👏2
На выходных прочитал интересный пост про увольнения за факт поиска работы (https://habr.com/ru/news/862836/), но еще более интересные комментарии.
Особенно вот этот про США: https://habr.com/ru/news/862836/#comment_27622278

“Случай 2. Уже в США запросил 1:1 с менеджером, сказал, что не все нравится в команде, что проект может пострадать и нам нужно многое поменять в том, как мы управляем проектом. Очень аккуратно и очень культурно. Через 2 часа уже пришло уведомление об увольнении. К слову, проект закрыли, а менеджмент уволили через месяц по озвученным мною причинам.”

Неужели такие “ссыкуны” менеджеры есть? Не получается ли, что в корпорациях основная масса менеджеров эдакие хитрецы, которые за власть и место продают душу дьяволу? Но на самом деле они очень бояться сами выйти на рынок труда, который “объективно” оценит их.

У вас были похожие истории?

PS:
1. Когда я уходил из Озона, получил оффер в 2 раза больше. При этом я понимал, что никто мне так не поднимет. Ушел. Гендир на меня тогда обиделся со словами “Мы столько в тебя вложили”
2. Когда у меня уходили сотрудники - я не обижался, понимаю, что где-то мы не можем платить больше, а где-то просто не можем дать такие же интересные, как на новом месте
👍8🔥1
Еще один интересный проект про обертки для LLM для типобезопасных операций в получении данных из RAG. Я написал сложно, но сами примеры показывают, что работать с LLM станет проще
https://github.com/pydantic/pydantic-ai

Выпустили создатели Pydantic всего три недели назад!
🔥2
Прямо сейчас жду судью UK Employment Tribunal
topdatalab
Прямо сейчас жду судью UK Employment Tribunal
Все в порядке, это я пытаюсь выбить деньги из компании-банкрота, где я работал.
Судья был очень мил, все подробно объяснил

PS: Английский суд намного гуманнее относится к людям, чем в России. Теперь у меня есть опыт и там, и там
👍132
Monda One-pager.pdf
188.9 KB
В век AI цветет и пышет торговля данными. Я общался месяц назад с площадкой, которая помогает данные продавать monda.ai!
Это сайд проект https://datarade.ai - очень большого продавца данных.
Их прайсинг прикрепил к сообщению. Варьируется от 9000 до 60000 долларов в год.
🤔7
Подозреваемый в убийстве CEO UnitedHealthCare оказался нашим коллегой - дата инженером
https://www.linkedin.com/in/luigi-mangione/

“Technologies: Java, Spark, MapReduce, Hadoop, Hbase, Phoenix, SQL, Maven, AWS Kinesis, AWS S3, Oozie, ElasticSearch, Druid

* Spearheaded the transition and integration of lease/loan payments to a new API, expanded pricing data sources, and improved call frequency and conditions, resulting in a 34% increase in new vehicle payments populated and more up-to-date payments on TrueCar.com
* Designed and developed a pipeline for ingesting data job metrics into Druid, including the frequency and segmentation for efficient storage of metrics. Additionally, built Druid dashboards for metrics visualization, granting the data engineering team the newfound ability to quickly and easily monitor performance impacts within pipelines and historical performance trends - a significant boost to performance tracking and bug fixing”

Топовый универ, Лига Плюща
😱4🔥2
Про последствия ChatGPT в образовании, средние знания падают. Вспоминая учебу на Физтехе - считаю, что число заданий нужно уменьшить, а дрючить людей именно на понимание. ChatGPT тут вам не поможет :)

То же самое касается собеседований. Реши простейшую задачу и хорошо ее объясни
11👍4😱3😢2
Когда работаешь с ChatGPT помни, что это сознание галлюциногенное, а не база знаний!
Пара моментов из то, что случилось со мной в задачах по программированию при использовании новейшей модели o1:
1) модифицировал FastAPI код на питоне. LLM не смогла написать правильно, все ее варианты были уже deprecated в библиотеке
2) столкнулся со странным поведением в шаблонизаторе jinja2. LLM отвечала ерунду. Нашел ответ сам на StackOverflow. Ответ был дан лет 10 назад.

Написать какую-нибудь хрень для Leetcode она конечно может, но инженерию нет. Это как нанять победителя олимпиады по программированию, код будет быстр, но делать не то что нужно 🙂
👍10
Пока я нахожусь в процессе смены работы, то решил стряхнуть пыль с проекта и обновить дизайн.
Для этого купил библиотеку FlowBite - шаблоны разных блоков для Tailwindcss. Это некий аналог low-code подхода, но при этом код остается ваш.
Мне помогли дизайнеры в шаблоном страницы компании, остальное я сделал все сам, включая верстку.
Весь дизайн заверстал с помощью Jinja, и опубликовал на сайт. Работал много, неделями по 12 часов в день 🙁

Очень много времени я провел в визуализации инсайтов о компании, чтобы одним взглядом можно было понять, насколько там все хорошо или плохо.
Пример хорошей компании https://corpsignals.com/companies/uk/omlet-ltd-05028498.html
Пример закрывающейся компании https://corpsignals.com/companies/uk/silverbird-global-ltd-12585400.html
🔥11
Загадаю вам загадку!
У меня было три, а стало четыре!
🎉7🏆4