topdatalab
1.26K subscribers
100 photos
10 videos
17 files
222 links
Канал поддержки книги «Как монетизировать данные». Работаю над corpsignals.com
Download Telegram
Нужны люди, кто занимаются оптовыми продажами, не важно где.

Может есть у меня кто-то тут? Мне нужен звонок на 15 минут

Буду рад, если поделитесь со своими знакомыми
👍2🔥1
Робо рука, осталось нож научить держать :)
https://github.com/TetherIA/aero-hand-open
😁2
Salary Suvery 2025_1.pdf
4.6 MB
Свежее исследование про зарплаты тех специалистов в ФинТехе в UK и USA.

1) текучка высокая - 89% готовы сменить работу
2) Половина недовольны своей текущей ролью - стагнация зарплат и отсутствия роста (91% без повышения).
3) Зарплаты в data особо не растут
4) Тренд на AI - компании активно создают свои команды по работе с ИИ.
🔥4👍1
Не будь как Cloudflare - проверяй свои коммиты в AI 🙂

В последнее время пишу так:
1) Cursor Auto, Plan mode - рассказываю про то, что нужно сделать. Прошу прочитать нужные MD файлы в проекта (именно прочитать, просто тегнуть не работает). И еще прошу задать вопросы, которые непонятны
2) Cursor пишет план
3) В новом чате тегаю план, прошу его реализовать
4) В codex плагине вставляю план, прошу сравнить его с non-commit изменениями

Немного долго, но хотя бы работает. с MCP я так и не подружился. Пока их больше пишут, чем пользуются
👍10
https://antigravity.google кто-нибудь уже пробовал?
Есть отличие от курсора?

UPDATE Оф. видео: https://www.youtube.com/watch?v=nTOVIGsqCuY
🔥3
Мне в последнее время стал интересен мир лямда-обработки данных.

И это можно делать не только в дорогих AWS или Google cloud.
Hetzner S3 хранилище стоит 5 евро в месяц за терабайт!
Поднимаем там сервер, обрабатываем данные из S3 и кладем в S3 в duckdlake.
Гасим сервер.
Идеальная картинка для медленно меняющихся данных.


У нас это получилось! S3 -> dbt -> ducklake(S3)

PS: собрать конфиг для dbt оказалось непростой задачей, как-нибудь выложу его
🔥18👍5
Мне кажется сейчас интересная ситуация с наймом.

У меня пару друзей в uk искали год работу :(.
И вроде кажется, что стартапам легче нанимать людей стало, потому что рынок стал рынком работодателя.

Но с другой стороны рисковать меньше хочется: уйдешь с текущего места, помучаешься в стартапе пару месяцев, затем сам уйдешь, или тебя. И потом опять много месяцев искать работу.

Когда можно быстро найти работу - рисковать легче.

Что думаете?
💯12
Соревнование в стиле Kaggle для LLM агентов - Enterprise RAG Challenge 3

Что там есть:
1) демо бенчмарк - можно быстро проверить, что ваш агент вообще живет, читает задачи и умеет ходить в API
2) бенчмарк интернет магазина - каталог, купоны, корзина. агент должен находить некорректные сценарии и уметь честно завершать задачу отказом
3)тренировочный enterprise бенчмарк

Если хочется попробовать написать своего агета, то ERC3 сейчас один из самых удобных способов это сделать
https://erc.timetoact-group.at
Прочитал, что в Авито работает 600 аналитиков. Какая жесть. Зачем столько?

Маленькие армии сеньоров-помидоров?

https://habr-com.cdn.ampproject.org/c/s/habr.com/ru/amp/publications/978496/

В век автоматизации AI звучит как оверхед

PS: В корпорациях есть одна тема, чем больше у тебя людей в подчинении, тем больше вес. Появляются маленькие императоры.
UK здесь не исключение
🙈8👍5👎31
Metabase.pdf
84.3 KB
Месяц назад я общался с Product Manager Metabase.

Самое интересное из разговора - они создают AI агента (уже в их облачной версии).

В файле полное саммари разговора, вдруг кому пригодится
👍8
Прошел мимо в магазине. Вот откуда этот термин появился
4😁2
Кто-нибудь уже использовал Skills в AI агентах?

Помогает?
Я несколько месяцев сделал что-то подобное. Вначале я долго мучался и добавил пару фильтров с помощью курсора для таблицы на corprsignals.
Потом я попросил исходя из примера двух-трех коммитов написать подробную инструкицию по добавлению фильтров в md файл.
При добавлении следующих фильтров я просил корректировать эту инструкцию.

Теперь я могу добавить практически любой фильтр примерно за 10-15 минут, если данные уже подготовлены.

Можно ли сказать, что это skills?
Metabase конечно хорош для self-service аналитики.
Но вот что делать со всякими Excel отчетами для регуляторов?

Нашел отличную, хоть и старую Python библиотеку: https://github.com/zhangyu836/xltpl/blob/master/README_EN.md
Которая умеет использовать JInja шаблоны для генерации Excel отчетов.

Как работает:
1) Пишете коннекторы к данным, например к базе
2) Создатаете Excel файл с Jinja шаблоном как на скриншоте
3) Запускаете - файл ренедерится и все готово.

Мне нравится, что весь дизайн делается в Excel, а данные готовятся в Python.
👍6
Суровые будни Лондона

3 часа назад у моей жены выхватили телефон в нашем районе в Rotherhithe

Два часа трекинга телефона через Find My закончились тем, что телефон застыл на 1 месте

Я нашел статью в интернете, что воры никогда не возят телефоны с собой, чтобы их полиция не отследила и всегда закапывают или прячут их на ночь, чтобы забрать на след день

Вооружившись лопаткой моего сына из набора садовода и мощным фонарем от велика я отправился в Deptford к месту недалеко от памятника Петра 1

После 20 минут поисков телефон был найден в кустах в целости и сохранности


Так что если в следующий раз у вас выхватят телефон и вы увидите, что он находится где-то и его геопозиция обновляется - вы знаете что делать

P.S. не забудьте включить Find My iPhone - штука ОЧЕНЬ мощная, сигнал выключенного телефона за 30 метров ловит
😁2413🤬4
topdatalab
Вот и Andrew Ng выпустил курс по Agentic AI https://www.deeplearning.ai/courses/agentic-ai/ В чем его крутость - он не привязан к framework (LangChain и пр). И это хорошо! Думаю пройду его.
если проигнорили, то зря!
Я посмотрел уже 2/3 лекций и пишу AI агента для поиска на corpsignals.
И он уже локально работает deep seek. Почему он, год назад кинул туда 20$, нужно потратить.

Вообще конечно, все выглядит как чудо - вызов функций.
Пишешь функции, подаешь их через список. И библиотека aisuite (про нее много на курсе) все делает за тебя.
Осталось только промпт написать.
👍7🔥4
topdatalab
если проигнорили, то зря! Я посмотрел уже 2/3 лекций и пишу AI агента для поиска на corpsignals. И он уже локально работает deep seek. Почему он, год назад кинул туда 20$, нужно потратить. Вообще конечно, все выглядит как чудо - вызов функций. Пишешь функции…
Выложил AI поиск на corpsignals - первую версию.

Теперь умеет искать по индустрии и по кодам импорта/экспорта. А может и вместе.
Под капотом: библиотека aisuite и DeepSeek, индивидуальный вызов функций RAG для индустрий и hs кодов. Для RAG: QWEN embed на CPU + pgvector + pg_search. RAG сделал гибридным - ищет как по векторам, так и полнотекстовый поиск

несколько дней/вечеров ушло на оптимизацию RAG. Гонял свой AI сервер, чтобы считать эмбеддинги. Только за счет этих оптимизаций получил очень хорошее качество ответов. Данные определяют качество всей системы! Впрочем это как в любой ML задаче.
🔥8👍7