Когда работаешь с ChatGPT помни, что это сознание галлюциногенное, а не база знаний!
Пара моментов из то, что случилось со мной в задачах по программированию при использовании новейшей модели o1:
1) модифицировал FastAPI код на питоне. LLM не смогла написать правильно, все ее варианты были уже deprecated в библиотеке
2) столкнулся со странным поведением в шаблонизаторе jinja2. LLM отвечала ерунду. Нашел ответ сам на StackOverflow. Ответ был дан лет 10 назад.

Написать какую-нибудь хрень для Leetcode она конечно может, но инженерию нет. Это как нанять победителя олимпиады по программированию, код будет быстр, но делать не то что нужно 🙂

Пока я нахожусь в процессе смены работы, то решил стряхнуть пыль с проекта и обновить дизайн.
Для этого купил библиотеку FlowBite - шаблоны разных блоков для Tailwindcss. Это некий аналог low-code подхода, но при этом код остается ваш.
Мне помогли дизайнеры в шаблоном страницы компании, остальное я сделал все сам, включая верстку.
Весь дизайн заверстал с помощью Jinja, и опубликовал на сайт. Работал много, неделями по 12 часов в день 🙁

Очень много времени я провел в визуализации инсайтов о компании, чтобы одним взглядом можно было понять, насколько там все хорошо или плохо.
Пример хорошей компании https://corpsignals.com/companies/uk/omlet-ltd-05028498.html
Пример закрывающейся компании https://corpsignals.com/companies/uk/silverbird-global-ltd-12585400.html

Загадаю вам загадку!
У меня было три, а стало четыре!

очень экзотические ответы :) сын у меня родился :)

Бывало ли у вас, что вы что-то сказали, и вам стала показываться реклама по этой теме? Многие утверждали, что это фейк, случайное совпадение, или вы «наследили» в поиске.
Оказалось, что не так все просто: Apple выплатит 95 млн по такому делу.

https://www.bbc.co.uk/news/articles/cr4rvr495rgo.amp

Подсмотрел в чате ODS London - https://salad.com - некий uber сервис для GPU карт! Можете сдать свою в “аренду”, или взять чужую.
Идея огонь, цены сейчас на GPU карты очень высокие.

Думаю, что скоро попробую там арендовать мощности.

вопрос с удаленкой решил, теперь из офиса, один сегодня, смотрю на Revolut свысока :)

Продолжаю хакать Metabase. У меня получилось туда запихнуть screen recorder openreplay. Теперь можно следить за пользователями аналитических систем :), как они пользуются отчетами.
Посмотрите видео, что получилось.

Выложить инструкцию и патченный metabase как это сделать?

Open source LLM модели становятся все сильнее. Поэтому приобрел себе б/у сервер для GPU в сборе на ebay:
- amd 2950 cpu
- мат плата поддерживает до 4х gpu
- 128 память
- 1 tb диск
- как плюс 2080ti в придачу (заменю или дополню 3090)
- огромный, тяжелый серверный корпус
Стоил мне 570 фунтов. Очень хорошая цена

PS: болею воспалением легких, лежу и любуюсь, 20 лет компы не собирал

Много сделал за последний месяц!

1. На новой работе освоил SQLMesh. Dbt отправляю на помойку на всех своих проектах и больше использовать не буду, настолько хорош SQLMesh! Это как Git для данных

2. Освоил dltHub - это open source проект для транспорта данных в хранилище. Отличная штука, самое то для очень быстрого развертывания. Например, залил весь корпоративный хабспот одной строчкой кода.

3. Поработал с TRINO для real time анализа и даже попытался использовать его как транспорт для хранилища данных. Есть плюсы, есть минусы.

4. Освоил Htmx, написал пару функций для CorpSignals. Больше React пользоваться не буду. Могу порекомендовать отличную книгу по нему.

5. Купил 3090 карту, экспериментирую с локальными LLM для генерации Seo оптимизированных описаний компаний.

6. Читаю книгу по LLM моделям на Pytorch.

7. Сделал попытку переехать с Duckdb на Postgres. Пока попытка провалилсь, Duckdb работает в 100 раз быстрее без какого либо тюнинга.

8. По CorpSignals потихоньку работаю с друзьями. Задачи очень разные, и проект развивается.

9. Нашел как оптимизировать сайты под LLM


PS: Напишу потом подробнее. Если есть вопросы - пишите в комментариях. Да, начинаю искать себе на работу data инженера

Вот чего действительно стоит посмотреть про LLM, так это видео Андрея Карпатова (один из основателей OpenAI)

https://youtu.be/EWvNQjAaOHw?si=YGYb_OIHhHpnfuuG

Сам посмотрел все на выходных. Узнал ли я что-то новое - не совсем, но зато систематизировал свои знания. Интересно было его послушать первый час, далее он как-то галопом промчался и было уже не так интересно.
Технический подробностей он не рассказывал, но зато они наглядно сравнил самые последние разработки публичных чатов.

Обычно не публикую такое, но я думаю, что недалеко от реальности :)

PS: я думаю, что может нетехнарь сделать что-то в Cursor, но ему будет крайне тяжело поддерживать свой софт, не говоря уже о безопасности

Сделал кастомного бота дата инженера в GPT
https://chatgpt.com/g/g-67dbef1047b48191951a514758f9ffc5-data-engineer-topdatalab

Зачем?
Часто ChatGPT содержит в себе старую документацию, а проекты обновляются быстро.
Можно дать ему отдельно знания по этим проектам.

Как?
1) Скачал и обработал все github: DBT, duckDB , Postgres, SQLMesh, dltHub, Metabase (мой текущий стек)
2) Залил в GPT knowledge base
3) Написал правильный Prompt.

Планирую обновлять, хороших примеров наберу и залью, issues


Пользуйтесь. Пишите, что добавить.
Можно вызывать в любом чате GPT через @
Доступно в бесплатной версии ChatGPT

UPDATE: добавил DBT и DuckDB
UPDATE: Metabase

Сегодня я общался с товарищем, который получил оффер некоторое время назад.
Так вот за неделю до выхода они его уведомили, что во время испытательного срока они поставят ему на комп программу, которая будет следить за всеми его действиями. Тексты с экрана и прочее.

Я уже писал про свой опыт работы в подобных заведениях, когда даже в туалет не сходить без нажатия на кнопку
https://t.me/topdatalab/205

PS: Главное - какие подлецы, что сказали это всего лишь за неделю. Хотели поставить в безвыходное положение

Человек отказался! Повезло, что не успел сказать текущему работодателю!

Про AI автоматизацию в кодинге!
Моя задача проста — писать код меньше, а делать больше.

Что использую я:
1. Github Copilot Pro — очень удобно быстро что-то поправить.
Доступны разные модели, в том числе Sonnet 3.7.
2. CLINE + DeepSeek API — дешево, у меня даже получалось что-то сделать в полностью автоматическом режиме.
Потом DeepSeek стал очень популярным, и его API временно перестало работать.
Сейчас всё вернулось, но API работает медленно.
3. Мой бот дата инженера:
https://chatgpt.com/g/g-67dbef1047b48191951a514758f9ffc5-data-engineer-topdatalab

Думал про популярный Cursor, пока не прочитал сравнение:
👉 Сравнение Cursor vs CLine на Reddit

Кратко:
— Окно контекста больше у CLINE
— Нет API ограничений
— Но стоит дороже

⸻

Сейчас изучаю:
📘 Прокачка промптов в CLine

Хочу добиться ещё большей автоматизации в больших проектах! 🚀

Сделано Gemma 3 4b моделью в OLLAMA