Еще один интересный проект про обертки для LLM для типобезопасных операций в получении данных из RAG. Я написал сложно, но сами примеры показывают, что работать с LLM станет проще
https://github.com/pydantic/pydantic-ai

Выпустили создатели Pydantic всего три недели назад!

Прямо сейчас жду судью UK Employment Tribunal

Все в порядке, это я пытаюсь выбить деньги из компании-банкрота, где я работал.
Судья был очень мил, все подробно объяснил

PS: Английский суд намного гуманнее относится к людям, чем в России. Теперь у меня есть опыт и там, и там

Подозреваемый в убийстве CEO UnitedHealthCare оказался нашим коллегой - дата инженером
https://www.linkedin.com/in/luigi-mangione/

“Technologies: Java, Spark, MapReduce, Hadoop, Hbase, Phoenix, SQL, Maven, AWS Kinesis, AWS S3, Oozie, ElasticSearch, Druid

* Spearheaded the transition and integration of lease/loan payments to a new API, expanded pricing data sources, and improved call frequency and conditions, resulting in a 34% increase in new vehicle payments populated and more up-to-date payments on TrueCar.com
* Designed and developed a pipeline for ingesting data job metrics into Druid, including the frequency and segmentation for efficient storage of metrics. Additionally, built Druid dashboards for metrics visualization, granting the data engineering team the newfound ability to quickly and easily monitor performance impacts within pipelines and historical performance trends - a significant boost to performance tracking and bug fixing”

Топовый универ, Лига Плюща

Когда работаешь с ChatGPT помни, что это сознание галлюциногенное, а не база знаний!
Пара моментов из то, что случилось со мной в задачах по программированию при использовании новейшей модели o1:
1) модифицировал FastAPI код на питоне. LLM не смогла написать правильно, все ее варианты были уже deprecated в библиотеке
2) столкнулся со странным поведением в шаблонизаторе jinja2. LLM отвечала ерунду. Нашел ответ сам на StackOverflow. Ответ был дан лет 10 назад.

Написать какую-нибудь хрень для Leetcode она конечно может, но инженерию нет. Это как нанять победителя олимпиады по программированию, код будет быстр, но делать не то что нужно 🙂

Пока я нахожусь в процессе смены работы, то решил стряхнуть пыль с проекта и обновить дизайн.
Для этого купил библиотеку FlowBite - шаблоны разных блоков для Tailwindcss. Это некий аналог low-code подхода, но при этом код остается ваш.
Мне помогли дизайнеры в шаблоном страницы компании, остальное я сделал все сам, включая верстку.
Весь дизайн заверстал с помощью Jinja, и опубликовал на сайт. Работал много, неделями по 12 часов в день 🙁

Очень много времени я провел в визуализации инсайтов о компании, чтобы одним взглядом можно было понять, насколько там все хорошо или плохо.
Пример хорошей компании https://corpsignals.com/companies/uk/omlet-ltd-05028498.html
Пример закрывающейся компании https://corpsignals.com/companies/uk/silverbird-global-ltd-12585400.html

Загадаю вам загадку!
У меня было три, а стало четыре!

очень экзотические ответы :) сын у меня родился :)

Бывало ли у вас, что вы что-то сказали, и вам стала показываться реклама по этой теме? Многие утверждали, что это фейк, случайное совпадение, или вы «наследили» в поиске.
Оказалось, что не так все просто: Apple выплатит 95 млн по такому делу.

https://www.bbc.co.uk/news/articles/cr4rvr495rgo.amp

Подсмотрел в чате ODS London - https://salad.com - некий uber сервис для GPU карт! Можете сдать свою в “аренду”, или взять чужую.
Идея огонь, цены сейчас на GPU карты очень высокие.

Думаю, что скоро попробую там арендовать мощности.

вопрос с удаленкой решил, теперь из офиса, один сегодня, смотрю на Revolut свысока :)

Продолжаю хакать Metabase. У меня получилось туда запихнуть screen recorder openreplay. Теперь можно следить за пользователями аналитических систем :), как они пользуются отчетами.
Посмотрите видео, что получилось.

Выложить инструкцию и патченный metabase как это сделать?

Open source LLM модели становятся все сильнее. Поэтому приобрел себе б/у сервер для GPU в сборе на ebay:
- amd 2950 cpu
- мат плата поддерживает до 4х gpu
- 128 память
- 1 tb диск
- как плюс 2080ti в придачу (заменю или дополню 3090)
- огромный, тяжелый серверный корпус
Стоил мне 570 фунтов. Очень хорошая цена

PS: болею воспалением легких, лежу и любуюсь, 20 лет компы не собирал

Много сделал за последний месяц!

1. На новой работе освоил SQLMesh. Dbt отправляю на помойку на всех своих проектах и больше использовать не буду, настолько хорош SQLMesh! Это как Git для данных

2. Освоил dltHub - это open source проект для транспорта данных в хранилище. Отличная штука, самое то для очень быстрого развертывания. Например, залил весь корпоративный хабспот одной строчкой кода.

3. Поработал с TRINO для real time анализа и даже попытался использовать его как транспорт для хранилища данных. Есть плюсы, есть минусы.

4. Освоил Htmx, написал пару функций для CorpSignals. Больше React пользоваться не буду. Могу порекомендовать отличную книгу по нему.

5. Купил 3090 карту, экспериментирую с локальными LLM для генерации Seo оптимизированных описаний компаний.

6. Читаю книгу по LLM моделям на Pytorch.

7. Сделал попытку переехать с Duckdb на Postgres. Пока попытка провалилсь, Duckdb работает в 100 раз быстрее без какого либо тюнинга.

8. По CorpSignals потихоньку работаю с друзьями. Задачи очень разные, и проект развивается.

9. Нашел как оптимизировать сайты под LLM


PS: Напишу потом подробнее. Если есть вопросы - пишите в комментариях. Да, начинаю искать себе на работу data инженера

Вот чего действительно стоит посмотреть про LLM, так это видео Андрея Карпатова (один из основателей OpenAI)

https://youtu.be/EWvNQjAaOHw?si=YGYb_OIHhHpnfuuG

Сам посмотрел все на выходных. Узнал ли я что-то новое - не совсем, но зато систематизировал свои знания. Интересно было его послушать первый час, далее он как-то галопом промчался и было уже не так интересно.
Технический подробностей он не рассказывал, но зато они наглядно сравнил самые последние разработки публичных чатов.