Установили новую версию Airflow 3.0 вместе со слушателями подкаста🎧, посмотрели на новый модный интерфейс📊, и даже запустили пару DAGs в прямом эфире😱

В свежем видео от Data Coffee рассказываем:
• о новых фичах Airflow в версии 3.0
• как установить себе Airflow локально через Docker Compose
• достучаться до небес интерфейса
• и другое

#datacoffee #airflow #установка #прямойэфир

https://youtu.be/SVJRb9zf9SA?feature=shared

Ребята разрабатывали архитектуру многопользовательской игры для Telegram.
Сначала использовали Python и PostgreSQL, но уперлись в проблемы с производительностью.
В итоге переехали на C++, добавили Redis для кэша и временных данных, а PostgreSQL оставили для хранения основной информации.
Там у них был еще S3 для всего подряд, но вообще не об этом история.

Почему они добавили Redis?
Потому что PostgreSQL быстро забилась и достигла предела производительности.
Вместо того чтобы настроить нормальное шардирование, они решили добавить еще один инструмент.



Можно ли было быстро сделать хороший кластер PostgreSQL?
Вряд ли — для этого нужны специфические компетенции, которых у ребят, видимо, не было (зато у них отличные навыки в C++).
Хороший DBA мог бы настроить кластер на PostgreSQL — для этого достаточно технологий вроде Patroni, etcd, HAProxy (или pgbouncer), или даже pgCat (написанного на Rust), в зависимости от задач.
На релизе они наступили еще на одни грабли — не сделали индексы на большие таблицы, из-за чего запросы тормозили. К счастью, проблему быстро нашли и исправили.


Приятно осознавать, что даже на геймдев-мероприятии мои знания востребованы.
Значит, они пригодятся и для создания своей игры, а может, даже студии 😜


Так что учите SQL — никогда не знаешь, где он тебе пригодится!

P.S. Кстати там же узнал что Redis(который спикеры упорно называли рэдИс) больше не опенсорс( как и GreenPlum😭 ) и вместо него ребята используют форк Valkie.

ах ты бобер курва) #meme

Самобичевание и стресс от страха увольнения или не повышения зарплаты - очень токсичное топливо. Оно медленно, но верно убивает организм изнутри. Вы этого не замечаете, у вас ничего не болит, ничто вас не беспокоит. Но потом у вас появляется гастрит - вы думаете, что это, наверное, стресс и плохое питание, и решаете ходить в спортзал и правильно кушать. Это на некоторое время помогает, но потом снова удар и еще удар. В итоге вы лежите в Боткинской больнице с пневмонией, которую даже не почувствовали, и думали, что температура 38+ пройдет сама собой. Может быть, вы случайно почувствовали боль в ухе - легкий отит. И вам даже пропишут антибиотики, но они не помогут. Вы не заметили главного врага, который всё время вас убивал - беспрерывный стресс от работы.

И работа тут ни при чём (это я вас как буддист заверяю). Вас никто не гнал, не собирался увольнять и не обманывал, вас всё время при этом ещё успокаивали и говорили, что всё в порядке. Но вы не можете в это поверить - потому что думаете, что как только в это поверите, расслабитесь, и вас уволят!

И вот опять вы в петле постоянного накопления стресса. А ведь дело именно в вашем к работе отношении, в вашем психотипе, который по-другому никогда не работал.

А откуда взялось это навязчивое желание работать и зарабатывать? Оно взялось из вашего стремления к богатству. Вы выросли в небогатой семье, мечтали о PS1 в детстве, потом о PS3 или хотя бы Xbox. Хотели хороший компьютер, хотели поступить на программиста (платно, так как баллов не хватило).

И в итоге вы начинаете игру в кальмара достигаторство!

А игра в достигаторство - это не для всех. Да, есть люди (и я на них подписан и как раз пытался перенять их модель), которые жить не могут без достижений, им это не приносит стресс, им это приносит удовольствие! И самое интересное - когда эти люди перестают получать кайф, они меняют вид достигаторства, так как мозг уже привык и ничего не чувствует.

Хороший пример - Антонов: он был бизнесменом, учил пикапу, трейдил на бирже, провёл ICO, открыл трейдинговую фирму, а когда и этот наркотик перестал приносить удовольствие, он завёл Телеграм и YouTube и начал новый путь достигатора - количество лайков, просмотров и подписчиков, а затем платных подписчиков. Пока что его устраивает, и он продолжает; возможно, путь блогера для него неиссякаем.

А вот другие просто сгорят по пути, их забудет история, никто о них не вспомнит.

Подумайте: если всю вашу жизнь у вас была другая модель поведения, может, стоит посмотреть другой путь? А путь достигаторов оставить тем, чей мозг заточен под это (я не про увольнение, а про смену модели в ГОЛОВЕ!!!! Увольнение не поможет).

Так чтото опять большой перерыв в постах. Но вы не думайте плохо то обо мне, дел много, идей имеется куча всяких разных. Но хочется эти идеи красиво реализовать, написать хорошие посты, а это время и мыслетопливо нужно. А то если не очень то пост написать и люди отпишутся и репостов не будет, да и на душе как то тоскливо становится.

В общем, подождите немножечко будет в ближайшее время несколько хороших статей и рубрика про термины ( оказывается не все знают некоторые сокращения принятые в DW/BI)

творчество коллег на работе)

Решил подробнее рассказать про обучение в «Синергии» - вижу, что личные истории хорошо заходят.

Итак, я поступил в «Синергию» в сентябре 2022 года, пока еще жил в Магадане. Для меня это была страховка, так как найти в Магадане хорошую работу без профильного образования довольно сложно.

Как устроен процесс обучения:

* В личном кабинете открывается доступ к курсам на семестр. После изучения лекций и материалов нужно сдать экзамен - как правило, это тест по пройденной теме.
* Также необходимо проходить практики: можно выбрать варианты от самого университета или найти организацию и заключить с ней договор.
* В конце обучения пишется и защищается магистерская диссертация.

Если честно, учиться там в привычном понимании этого слова не обязательно. Если вы уже работаете в сфере и разбираетесь в теме, то можно просто сдавать работы «по факту» - писать курсовые и диплом на основе своих реальных задач.

При этом сами учебные материалы подобраны интересно, и есть дедлайны, которые хоть как-то организуют процесс. Но в целом, если вы уже айтишник, то учиться здесь есть смысл в основном ради «корочки» для повышения.

Был у нас и курьезный случай. Один студент на защите диплома подключился с телефона, прямо с улицы. А на вопрос комиссии: «На каком языке программирования написан проект?» — уверенно ответил: «На русском».

Его, кстати, отправили на пересдачу. Так что выходит, даже в «Синергии» нужно показывать какой-никакой, но результат.

Вчера в КоммерсантЪ ФМ меня спросили, насколько далеко продвинулись ИИ‑агенты в бизнесе и кто вообще успевает за этим миром. Ответ короткий: сингулярность уже наступила, просто не везде.

Сингулярность, которая размазана неравномерно

В компаниях‑разработчиках, особенно тех, кто делает системы ИИ, мы уже живём в режиме «ИИ разрабатывает ИИ». Мои студенты‑второкурсники собирают когнитивных агентов, которые умеют размышлять о собственных действиях и менять стратегию на лету, а внутри индустрии активно обсуждаются архитектуры, в рамках которых агенты сами переписывают и оптимизируют свой код. Это уже не «когда‑то потом», а текущая инженерная практика. Мы используем большие языковые модели как мозг агента и строим целые многоагентные связки, которые помогают проектировать, тестировать и обслуживать другие такие же системы. Для тех, кто внутри этого процесса, ощущение очень простое: книги успевают устареть за время пути в типографию. Параллельно в других отраслях до сих пор «паровоз топят углём» — там нет ни инфраструктуры, ни компетенций, ни понимания, куда вообще этот ИИ воткнуть, и сингулярности как будто не существует. В итоге главный разлом проходит не между странами или вендорами, а между организациями, которые уже научились жить в связке «человек + агент», и теми, кто всё ещё делает вид, что достаточно «купить ИИ одну штуку» и всё магически заработает. Работу отнимает не искусственный интеллект как таковой, а другой человек, который быстрее вас встроился в эту новую конфигурацию мира.

Если хотите быть во второй группе, а не в первой, придётся перестать смотреть на ИИ как на модную игрушку и начать смотреть на него как на новый базовый слой инфраструктуры — такой же обязательный, как когда‑то интернет или мобильная связь.

Подписывайтесь на Телеграм‑канал «Технооптимисты» (@drv_official), там мы разбираем эти сдвиги без паники и без розовых очков.

Я потихоньку буду выходить из спячки, как никак уже весна во всю.
Пока не решил насчет формата канала, и что тут будет, так что буду пробывать все подряд.
Про ИИ тоже напишу свои мысли, основное конечно постом выше уже сказано, но все не так оптимистично естественно.

СППР - на самом деле то ради чего вся эта движуха с датой всегда и организовывалась. Расшивровывается как - система поддержки принятия решения( на английском Decision Support System, DSS). Основное для чего живет дата инжинер, дата анилитик да и все кто связан с базой данных по большому счету, это для наполнения СППР информацие, и помоще ЛПР(лицу принимающему решение).
Но что это такой за зверь, реально ли он помогает?
И вообще что можно назвать СППР?
На самом деле список огромный по тому что по сути любая информационная система соединенная с базой данных направленая на помощь в принятии решения( при том верного).
Для нас с вами интересно всего несколько из них:
BI - любой визуализатор это СППР который помогает принять то или иное решение на основе визуального представления о данных. Ну или должен помогать, но к сожалению чаще всего это просто цифры которые хочет увидеть вышестоящий начальник. Очень редко но все же BI приносит пользу компаниям и людям
Дата аналитика( например jupiter notebook) - не совсем в прямом смысле эта система, больше это квинтесенция человека с его насмотренностью и инструмента которые может помочь вышестоящим принять какоето решение на основе презентации( кстати а презентации это СППР? =) ).
LLM-агенты\чаты - вот он сегоднешний король, истинный помогатор в принятии решений не только для компаний но и для миллионов людей по всей планете. Но и ему нужны пока дата инжинеры.

Кстати википедия говорит что СППР это то что должно помочь людям принимать решений, а не заменять их. Поэтому если вдруг вы отдали слишком много решений ИИ то может зря?

Ну и на самом деле я вас немного обманул.
LLM-агенты\чаты - не могут быть адекватными СППР так как они как минимум галюцинируют. А как максимум они не опираются на какие-то заранее созданные формальные модели данных, и не позволяют строить вариативные модели будущего из коробки с возможностью адекватного отката к изначальному состоянию.
А вот скорингове ML банков это настоящий СППР.
А к чему я это все написал подумайте сами=)