Книга: Распределенные системы. Паттерны проектирования
Автор: Брендан Бернс
Жанр: техническая литература
О чем: с утра прочитал данную книгу. В книге много различной информации о паттернах sidecar, ambassador и прочих. Для новичка сложновато, мозг буквально взрывается от обилия информации, но, если делать закладки на страницы и возвращаться к тому, что непонятно с первого раза, то знания укладываются. Книга подойдёт начинающим архитекторам данных и продолжающим миддлам и сеньорам для собеса по систем дизайну.

#книги

Аналитики ВСЁ: в Excel добавили функцию Copilot, которая сделает за джуна-аналитика всё.
Кроме написания кода на VBA. Для VBA уже нужен не джун, а дед, который за него шарит.

Хайпожор снова за старое.

Илон Маск объявил, что Grok 5 начинает обучение на следующей неделе

А в другом твите он писал:

Ждите Grok 5.

Я думаю, что у него есть шанс стать настоящим AGI.

Никогда раньше не испытывал подобного чувства.

AGI на трансформерах. Не опять, а снова.

ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ

Сегодня выходной, а раз так, то решил я немного пофилософствовать на тему иммортализма и религий в формате "вопрос-ответ". Вопросы от условного обывателя, ответы от админа.

- "Зачем мне физическое бессмертие? Какой смысл в бесконечной жизни?"
- Начнем с того, что бесконечную физическую жизнь ты всегда сможешь прервать в любой момент. В отличие от вечной жизни в раю и в отличие от Б-га Израиля (который в христианстве одновременно Иисус)/Аллаха, у которого по той же логике нет смысла жизни и он, в отличие от тебя, не может прервать свою жизнь, иначе давно бы уже сделал это, поскольку является источником всего сущего, включая страдания миллионов живых существ. У бессмертного в физическом теле (то есть самообновляемого организма) чуть больше смысла жизни, чем у бессмертного божества, у которого по определению нет ни начала ни конца и которому сидение в пустоте давно приелось.

- "Неужели тебе не хочется в рай? Неужели ты хочешь попасть в ад?"
- Начну с того, что любой разумный, милосердный и добрый человек добровольно выберет ад. Просто потому что в аду его сердце будет согревать мысль, что он не такой жестокий садист как Б-г/Иисус, которому норм что миллиарды людей вечно (бесконечно по времени) мучаются в аду или уж совсем жестокий Аллах, который в исламе через посредников заливает кипяток в рот и кормит плодами гнилого дерева всех несогласных. Ни один человек, даже Чикатило, вечно не пытает людей. Таким занимаются только персонажи ближневосточной мифологии. А любой милосердный человек, будь он на месте создателя вселенной, просто бы уничтожал всех кто ему не подошёл, либо (в силу всезнания и предвидения) изначально выдавал бы грешникам смертные души как у животных, либо переселял бы их в свои отдельные миры вместо ада. Как видим, вариантов масса, но ближневосточные персонажи выбирают наихудший - вечно пытать несогласных.
Кстати в некоторых версиях иудаизма ситуация не лучше: там Б-г просто воскресит мертвых и все пойдут в Израиль, а у каждого еврея будут 2600 рабов-гоев, так что для этих гоев ситуация не лучше чем вечные муки в аду.
А по поводу рая все ещё проще:
- В христианском раю в первые пару дней будет кайфуха ходить по городу из золота и белого камня, а на триллионный день надоест слушать истории Симеона Столпника как он 30 лет на столбе стоял и Серафима Саровского как он сухарики в котелке сушил.
- В исламском раю на триллионный день бородатому муджахиду надоедят "отроки как жемчуг" (Коран 76:19) и 72 гурии и неопьяняющее вино и рынок по пятницам (Ахмад ибн Ханбаль, «аль-Муснад», №14035, 21/430).
- В иудаизме вечный Израиль и посещение третьего храма на триллионный день тоже достанут.

Так что единственный путь любого разумного и милосердного человека - научный иммортализм. Ну а если умрёшь, то значит тебе не повезло до него дожить и ты был лишь расходником эволюции по пути к бессмертному человечеству. Переживать не стоит, ибо многие люди и вовсе расходники государств/корпораций/правителей в их войнах и им норм.

ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ.
Часть II.

Так как в канале много дата-инженеров, продактов и solution архитекторов, давайте подумаем, как можно было бы организовать мир, будь каждый из нас Богом (бессмертным, вседовольным, всезнающим, всемогущим, милосердным существом - 5 атрибутов). Проведём мысленный эксперимент по system design мира.
Начну со своего system design мира.

Итерация 1: в силу всезнания я просмотрел все варианты будущего и осознал, что не могу создать мир без страданий и после создания не смогу их устранить (то есть все же я не совсем всемогущ). Тогда я не стал бы творить мир в силу милосердия. И стал бы его творить если бы не был милосердным и был бы тщеславным и создал людей только ради поклонения себе (Коран 51:56)
- или если бы все же не предвидел что страдания появятся (то есть не совсем всезнающ оказался бы)
-- и хотел бы, но не смог бы устранить их (то есть и не всезнающ и не всемогущ, но милосерден)
-- и не хотел бы и не смог бы их устранить (то есть не всезнающ, не всемогущ и не милосерден).

В любом случае существо со всеми 5 атрибутами или не творит мир вовсе (так как оно вседовольно, а потребность творить мир - это все же потребность, а у всем довольного существа не может быть потребностей, ибо потребность - это функция сокращения расстояния между "есть" и "как я хотел бы чтобы было/чего я хочу") или творит мир, но тогда у него какого-то из атрибутов точно нет, а значит в полном смысле богом его называть нельзя.

Итерация 2: мир все же появился.
- Очевидно что я не стал бы творить человека, не решив сначала проблему с буйным сатаной, не стал бы пускать его в рай в виде змеи (не был бы соучастником преступления - грехопадения), а точнее и вовсе в силу всезнания не стал бы его творить, а сотворил бы только человека. В исламе кстати шайтан по факту норм парень, так как он взбунтовался потому что отказался поклониться человеку (ибо положняк в исламе что поклоняться можно только Аллаху, но мусульмане почему-то все равно шайтана считают плохишом).
- Сотворил бы человека с подлинной свободой воли, то есть без зависимостей от причинно-следственных взаимосвязей и полнотой информации с видением всех вариантов событий будущего. Вряд ли Адам с Евой стали бы есть яблоко, видя всю картину после.
- Не создавал бы людей для поклонения моему величеству, не нужно мне всех этих "Слава тебе, Господи наш, слава тебе", "Аллах субхану уа тааля, джаля уаля", ибо я в роли бога и так знаю что я классный и крутой и не страдаю тщеславием. Да и с чего бы мне поклоняться? Потому что я создал мир? Так я же бесконечно могущий, и творение мира бесконечно могущему существу стоит ноль усилий (не забываем про 1/бесконечность в матане) да и в целом мне просто больше повезло что я очнулся в пустоте и осознал что я бог, в отличие от людей (им повезло чуть меньше). Поэтому поклонение мне не нужно.
- Сделал бы естественный отбор подходящих мне кандидатов, по дефолту раздавая всем существам смертные души, а хорошим выдавал бы по смерти бессмертные души, либо просто бесконечный отбор с перезатиранием плохих событий (условный Чикатило после смерти лишался бы всей памяти до первого убийства и перемещался бы в контейнер-вселенную где он добровольно выбрал бы другой исход). Естественный отбор с персональной вселенной-контейнером для каждого творения.
- Time travel для каждого: в авраамических религиях время линейно, но можно накрутить фичу посмертного перемещения в прошлое и исправления событий как в "Эффекте бабочки".

А как бы вы задизайнерили мир? Пишите в комментах свои идеи.

ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ
Часть III, последняя.

Дорогие подписчики, простите, но накопилось и захотелось поделиться своими размышлениями, так сказать, о бытии и житии.

Сейчас в физике есть две основные идеи:
- Идея Мультивселенной. Вытекает из всей современной физики.
- Идея циклической вселенной, популярная в СССР и ныне снова набирающая популярность.

На мой взгляд обе идеи не противоречат друг другу. Бытие вполне может представлять из себя плоскую квантовую пену, в которой постоянно раздуваются и сжимаются пузыри-вселенные, коих может быть гуголплекс или вовсе бесконечно много.

Из этого вполне логично следует, что смерти бояться не нужно. Почему логично? Да потому что при бесконечности вселенных и/или бесконечности времени как атрибута пространства все события уже бесконечно происходили в прошлом и будут бесконечно происходить в будущем. Причем во всех возможных вариантах, включая нынешний, ибо при бесконечности времени вероятность любого события становится равной единице.
Вы уже прожили бесчисленное число жизней в прошлом, умирали и рождались заново, читали этот канал в прошлой итерации и читаете сейчас, причем во всех вариантах: натощак, после завтрака, после завтрака яичнецей-шакшукой или после завтрака кашей с хлебом, после завтрака на Плутоне или после обеда, потому что на Земле в другой вселенной время течет быстрее.

Вы умрёте и все повторится в вечном возвращении. Смерти можно не боятся, но экзистенциальный ужас наступает от идеи о том, что из этого вечного повторяющегося цикла нет выхода. Каноничный буддизм учит, что только Будда сумел вырваться из этого вечного цикла. Но буддизм - это религия, в нее только можно верить, а в реальности человек может попытаться вырваться из вечного возвращения только силой науки. И в этом можно найти смысл своей жизни - стать бессмертным и разорвать цикл.

P.S. Как-то давно я читал статью о философской модификации идеологии "русского мира" от нынешней ее версии идеологии Warhammmer'а к идеологии цели полного уничтожения бытия и прекращения вечного цикла страданий для всего живого. Чтиво было интересное😊

Всем спасибо что дочитали эти три поста, с понедельника снова будут посты про технические и научпоп книги, библиотеки, фреймворки и мемы про "AGI" на трансформерах.

Как миддлам и сеньорам победить накрутчиков?

Идея простая: сервису HeadHunter неплохо бы сделать интеграцию с Госуслугами не только в части "проверки навыков IT-специалиста" , но и в части выписок из Пенсионного фонда и электронных трудовых книг.

Потому что сейчас джуны спокойно подделывают электронные трудовые в ChatGPT и крутят себе 3-6 лет опыта, и конторы без службы безопасности их берут вместо миддлов и сеньоров, потом сами страдают, а конторы с СБ конечно потом проверят, но кандидат с реальным опытом или уже отшит, или уже нашел другую работу, или сидит нервничает и ждет.

А сейчас получается что из-за накрутчиков рынку действительно плохо, и айтишка в РФ постепенно стагнирует.

Лайфхак по Linux

Нужно повторять команду каждые несколько секунд?

Используем:

watch -n 2 df -h

Эта команда запускает df -h каждые 2 секунды.
Отлично подходит для наблюдения за использованием диска, нагрузкой или изменением размеров логов.

Для выхода нажимаем q.

Прошел на Степике хороший годный курс по FastAPI.
Недорого и полезно, рекомендую. Про продвинутый уровень пока думаю, а нужен ли он дата-инженеру, который не бэкэндер на питоне? Скорее нет чем да.

Книжку с Twirpx стал читать, но там слишком много кода. Открыл вторую книжку тоже с Twirpx и тоже кода много. Тот случай когда курс лучше, чем книга, если нужно быстро вкатиться.

#курсы

Дано: задача со schema evolution и распарсиванием json'ов по куче разных таблиц с разной логикой для каждой таблицы, с кучей функций и прочего легаси. Все на двух airflow dags. Выглядит просто на первый взгляд, да не просто.

Инструменты: Cursor и деньги на нейронки.

Что тестировал:
- Claude Sonnet, Claude Opus, GPT-5 High, Gemini Flash 2.5.

Результаты:
- Opus просто лютый оверпрайс, генерящий кучу ненужного кода с ошибками.
- GPT-5 High огонь, хоть что-то разумное выдает. Цена приемлемая, но иногда нейронка просто отключается и требуется перезапуск запроса.
- Sonnet в сложных задачах хорош для рефакторинга того, что GPT-5 сделала. Плохо держит контекст если файлов много.
- Gemini слишком много требует линукс-команд выполнить.

Итого комбо GPT-5 и Sonnet хоть что-то нормальное выдает. Но вайбкодинг как концепция все ещё очень далек от идеала.

Fun fact: когда я работал в Билайне, то у нас была обёртка в виде Scala-кода для джарника, а все датафреймы любой нуб мог написать, чем я и пользовался.

На нынешнем месте на Python, на котором сидит большинство дата-инженеров в РФ, те же самые задачи почему-то выглядят сложнее, хотя по идее Scala как язык гораздо сложнее питона.

Fun fact 2: имхо дэйлики как явление не особо нужны чаще чем раз в пару дней, а то и раз в неделю. Просто потому что есть дни когда ты реально долго втыкаешь в чужой код или в новую технологию и формально не делаешь ни одного MR и на дэйликах выглядишь как человек, который ничего не сделал.

#рабочие_заметки

А теперь самый интересный fun fact, с которого у меня люто горит жопа: если раньше ты мог втыкать в задачу неделю, то с вайбкодингом растут не только твои возможности, но и твои проблемы. Растут требования к числу закрытых тасок, а ещё ты вроде начинаешь разбираться в чужом коде, а потом внезапно начинаешь понимать что это сгенерированный код. Просишь нейронку сделать на его основе новый код, а она выдает говно. Пытаешься сам писать, но так как новые модели пишут почти сеньорский питонячий бэкэндерский код, то мероприятие по самостоятельному написанию теряет смысл.
В итоге все придет к тому что весь код будет сгенерированным, а сотрудники будут рубить промты, и самый логически мыслящий сотрудник с лучшими навыками запросов к нужной нейронке выдачи лучший код. Чисто петля обратной связи с усложнением как самого кода, так и требований к скорости его понимания. По итогу понимание кода становится существенно хуже как в силу его усложнения, так и в силу KPI по скорости закрытия тасок. Человек перестает понимать что происходит в коде и не успевает глубоко погрузиться в процессы. И рано или поздно с ростом количества сгенерированного кода понимание закончится у большинства сотрудников, даже у лидов - понимать будут только машины.

Так что вайбкодинг - это с некоторой стороны немного печально.