Данные по-большому
139 subscribers
327 photos
59 videos
204 links
И все остальное по-маленькому.

Успешный успех в сфере DE, DS, AI, ML и прочего бигтеха, а также лайфстайл, мемы и новости айтишки и не только
Download Telegram
ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ

Сегодня выходной, а раз так, то решил я немного пофилософствовать на тему иммортализма и религий в формате "вопрос-ответ". Вопросы от условного обывателя, ответы от админа.

- "Зачем мне физическое бессмертие? Какой смысл в бесконечной жизни?"
- Начнем с того, что бесконечную физическую жизнь ты всегда сможешь прервать в любой момент. В отличие от вечной жизни в раю и в отличие от Б-га Израиля (который в христианстве одновременно Иисус)/Аллаха, у которого по той же логике нет смысла жизни и он, в отличие от тебя, не может прервать свою жизнь, иначе давно бы уже сделал это, поскольку является источником всего сущего, включая страдания миллионов живых существ. У бессмертного в физическом теле (то есть самообновляемого организма) чуть больше смысла жизни, чем у бессмертного божества, у которого по определению нет ни начала ни конца и которому сидение в пустоте давно приелось.

- "Неужели тебе не хочется в рай? Неужели ты хочешь попасть в ад?"
- Начну с того, что любой разумный, милосердный и добрый человек добровольно выберет ад. Просто потому что в аду его сердце будет согревать мысль, что он не такой жестокий садист как Б-г/Иисус, которому норм что миллиарды людей вечно (бесконечно по времени) мучаются в аду или уж совсем жестокий Аллах, который в исламе через посредников заливает кипяток в рот и кормит плодами гнилого дерева всех несогласных. Ни один человек, даже Чикатило, вечно не пытает людей. Таким занимаются только персонажи ближневосточной мифологии. А любой милосердный человек, будь он на месте создателя вселенной, просто бы уничтожал всех кто ему не подошёл, либо (в силу всезнания и предвидения) изначально выдавал бы грешникам смертные души как у животных, либо переселял бы их в свои отдельные миры вместо ада. Как видим, вариантов масса, но ближневосточные персонажи выбирают наихудший - вечно пытать несогласных.
Кстати в некоторых версиях иудаизма ситуация не лучше: там Б-г просто воскресит мертвых и все пойдут в Израиль, а у каждого еврея будут 2600 рабов-гоев, так что для этих гоев ситуация не лучше чем вечные муки в аду.
А по поводу рая все ещё проще:
- В христианском раю в первые пару дней будет кайфуха ходить по городу из золота и белого камня, а на триллионный день надоест слушать истории Симеона Столпника как он 30 лет на столбе стоял и Серафима Саровского как он сухарики в котелке сушил.
- В исламском раю на триллионный день бородатому муджахиду надоедят "отроки как жемчуг" (Коран 76:19) и 72 гурии и неопьяняющее вино и рынок по пятницам (Ахмад ибн Ханбаль, «аль-Муснад», №14035, 21/430).
- В иудаизме вечный Израиль и посещение третьего храма на триллионный день тоже достанут.

Так что единственный путь любого разумного и милосердного человека - научный иммортализм. Ну а если умрёшь, то значит тебе не повезло до него дожить и ты был лишь расходником эволюции по пути к бессмертному человечеству. Переживать не стоит, ибо многие люди и вовсе расходники государств/корпораций/правителей в их войнах и им норм.
👎1🔥1
ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ.
Часть II.

Так как в канале много дата-инженеров, продактов и solution архитекторов, давайте подумаем, как можно было бы организовать мир, будь каждый из нас Богом (бессмертным, вседовольным, всезнающим, всемогущим, милосердным существом - 5 атрибутов). Проведём мысленный эксперимент по system design мира.
Начну со своего system design мира.

Итерация 1: в силу всезнания я просмотрел все варианты будущего и осознал, что не могу создать мир без страданий и после создания не смогу их устранить (то есть все же я не совсем всемогущ). Тогда я не стал бы творить мир в силу милосердия. И стал бы его творить если бы не был милосердным и был бы тщеславным и создал людей только ради поклонения себе (Коран 51:56)
- или если бы все же не предвидел что страдания появятся (то есть не совсем всезнающ оказался бы)
-- и хотел бы, но не смог бы устранить их (то есть и не всезнающ и не всемогущ, но милосерден)
-- и не хотел бы и не смог бы их устранить (то есть не всезнающ, не всемогущ и не милосерден).

В любом случае существо со всеми 5 атрибутами или не творит мир вовсе (так как оно вседовольно, а потребность творить мир - это все же потребность, а у всем довольного существа не может быть потребностей, ибо потребность - это функция сокращения расстояния между "есть" и "как я хотел бы чтобы было/чего я хочу") или творит мир, но тогда у него какого-то из атрибутов точно нет, а значит в полном смысле богом его называть нельзя.

Итерация 2: мир все же появился.
- Очевидно что я не стал бы творить человека, не решив сначала проблему с буйным сатаной, не стал бы пускать его в рай в виде змеи (не был бы соучастником преступления - грехопадения), а точнее и вовсе в силу всезнания не стал бы его творить, а сотворил бы только человека. В исламе кстати шайтан по факту норм парень, так как он взбунтовался потому что отказался поклониться человеку (ибо положняк в исламе что поклоняться можно только Аллаху, но мусульмане почему-то все равно шайтана считают плохишом).
- Сотворил бы человека с подлинной свободой воли, то есть без зависимостей от причинно-следственных взаимосвязей и полнотой информации с видением всех вариантов событий будущего. Вряд ли Адам с Евой стали бы есть яблоко, видя всю картину после.
- Не создавал бы людей для поклонения моему величеству, не нужно мне всех этих "Слава тебе, Господи наш, слава тебе", "Аллах субхану уа тааля, джаля уаля", ибо я в роли бога и так знаю что я классный и крутой и не страдаю тщеславием. Да и с чего бы мне поклоняться? Потому что я создал мир? Так я же бесконечно могущий, и творение мира бесконечно могущему существу стоит ноль усилий (не забываем про 1/бесконечность в матане) да и в целом мне просто больше повезло что я очнулся в пустоте и осознал что я бог, в отличие от людей (им повезло чуть меньше). Поэтому поклонение мне не нужно.
- Сделал бы естественный отбор подходящих мне кандидатов, по дефолту раздавая всем существам смертные души, а хорошим выдавал бы по смерти бессмертные души, либо просто бесконечный отбор с перезатиранием плохих событий (условный Чикатило после смерти лишался бы всей памяти до первого убийства и перемещался бы в контейнер-вселенную где он добровольно выбрал бы другой исход). Естественный отбор с персональной вселенной-контейнером для каждого творения.
- Time travel для каждого: в авраамических религиях время линейно, но можно накрутить фичу посмертного перемещения в прошлое и исправления событий как в "Эффекте бабочки".

А как бы вы задизайнерили мир? Пишите в комментах свои идеи.
🔥1
ФИЛОСОФСКИЕ И РЕЛИГИОЗНЫЕ ИЗМЫШЛИЗМЫ
Часть III, последняя.

Дорогие подписчики, простите, но накопилось и захотелось поделиться своими размышлениями, так сказать, о бытии и житии.

Сейчас в физике есть две основные идеи:
- Идея Мультивселенной. Вытекает из всей современной физики.
- Идея циклической вселенной, популярная в СССР и ныне снова набирающая популярность.

На мой взгляд обе идеи не противоречат друг другу. Бытие вполне может представлять из себя плоскую квантовую пену, в которой постоянно раздуваются и сжимаются пузыри-вселенные, коих может быть гуголплекс или вовсе бесконечно много.

Из этого вполне логично следует, что смерти бояться не нужно. Почему логично? Да потому что при бесконечности вселенных и/или бесконечности времени как атрибута пространства все события уже бесконечно происходили в прошлом и будут бесконечно происходить в будущем. Причем во всех возможных вариантах, включая нынешний, ибо при бесконечности времени вероятность любого события становится равной единице.
Вы уже прожили бесчисленное число жизней в прошлом, умирали и рождались заново, читали этот канал в прошлой итерации и читаете сейчас, причем во всех вариантах: натощак, после завтрака, после завтрака яичнецей-шакшукой или после завтрака кашей с хлебом, после завтрака на Плутоне или после обеда, потому что на Земле в другой вселенной время течет быстрее.

Вы умрёте и все повторится в вечном возвращении. Смерти можно не боятся, но экзистенциальный ужас наступает от идеи о том, что из этого вечного повторяющегося цикла нет выхода. Каноничный буддизм учит, что только Будда сумел вырваться из этого вечного цикла. Но буддизм - это религия, в нее только можно верить, а в реальности человек может попытаться вырваться из вечного возвращения только силой науки. И в этом можно найти смысл своей жизни - стать бессмертным и разорвать цикл.

P.S. Как-то давно я читал статью о философской модификации идеологии "русского мира" от нынешней ее версии идеологии Warhammmer'а к идеологии цели полного уничтожения бытия и прекращения вечного цикла страданий для всего живого. Чтиво было интересное😊

Всем спасибо что дочитали эти три поста, с понедельника снова будут посты про технические и научпоп книги, библиотеки, фреймворки и мемы про "AGI" на трансформерах.
👍1
Как миддлам и сеньорам победить накрутчиков?

Идея простая: сервису HeadHunter неплохо бы сделать интеграцию с Госуслугами не только в части "проверки навыков IT-специалиста" , но и в части выписок из Пенсионного фонда и электронных трудовых книг.

Потому что сейчас джуны спокойно подделывают электронные трудовые в ChatGPT и крутят себе 3-6 лет опыта, и конторы без службы безопасности их берут вместо миддлов и сеньоров, потом сами страдают, а конторы с СБ конечно потом проверят, но кандидат с реальным опытом или уже отшит, или уже нашел другую работу, или сидит нервничает и ждет.

А сейчас получается что из-за накрутчиков рынку действительно плохо, и айтишка в РФ постепенно стагнирует.
💩1
Лайфхак по Linux

Нужно повторять команду каждые несколько секунд?

Используем:


watch -n 2 df -h


Эта команда запускает df -h каждые 2 секунды.
Отлично подходит для наблюдения за использованием диска, нагрузкой или изменением размеров логов.

Для выхода нажимаем q.
🔥2
Прошел на Степике хороший годный курс по FastAPI.
Недорого и полезно, рекомендую. Про продвинутый уровень пока думаю, а нужен ли он дата-инженеру, который не бэкэндер на питоне? Скорее нет чем да.

Книжку с Twirpx стал читать, но там слишком много кода. Открыл вторую книжку тоже с Twirpx и тоже кода много. Тот случай когда курс лучше, чем книга, если нужно быстро вкатиться.

#курсы
Вкатывание в IT тогда и сейчас

#мемы
1
Дано: задача со schema evolution и распарсиванием json'ов по куче разных таблиц с разной логикой для каждой таблицы, с кучей функций и прочего легаси. Все на двух airflow dags. Выглядит просто на первый взгляд, да не просто.

Инструменты: Cursor и деньги на нейронки.

Что тестировал:
- Claude Sonnet, Claude Opus, GPT-5 High, Gemini Flash 2.5.

Результаты:
- Opus просто лютый оверпрайс, генерящий кучу ненужного кода с ошибками.
- GPT-5 High огонь, хоть что-то разумное выдает. Цена приемлемая, но иногда нейронка просто отключается и требуется перезапуск запроса.
- Sonnet в сложных задачах хорош для рефакторинга того, что GPT-5 сделала. Плохо держит контекст если файлов много.
- Gemini слишком много требует линукс-команд выполнить.

Итого комбо GPT-5 и Sonnet хоть что-то нормальное выдает. Но вайбкодинг как концепция все ещё очень далек от идеала.
Fun fact: когда я работал в Билайне, то у нас была обёртка в виде Scala-кода для джарника, а все датафреймы любой нуб мог написать, чем я и пользовался.

На нынешнем месте на Python, на котором сидит большинство дата-инженеров в РФ, те же самые задачи почему-то выглядят сложнее, хотя по идее Scala как язык гораздо сложнее питона.

Fun fact 2: имхо дэйлики как явление не особо нужны чаще чем раз в пару дней, а то и раз в неделю. Просто потому что есть дни когда ты реально долго втыкаешь в чужой код или в новую технологию и формально не делаешь ни одного MR и на дэйликах выглядишь как человек, который ничего не сделал.

#рабочие_заметки
А теперь самый интересный fun fact, с которого у меня люто горит жопа: если раньше ты мог втыкать в задачу неделю, то с вайбкодингом растут не только твои возможности, но и твои проблемы. Растут требования к числу закрытых тасок, а ещё ты вроде начинаешь разбираться в чужом коде, а потом внезапно начинаешь понимать что это сгенерированный код. Просишь нейронку сделать на его основе новый код, а она выдает говно. Пытаешься сам писать, но так как новые модели пишут почти сеньорский питонячий бэкэндерский код, то мероприятие по самостоятельному написанию теряет смысл.
В итоге все придет к тому что весь код будет сгенерированным, а сотрудники будут рубить промты, и самый логически мыслящий сотрудник с лучшими навыками запросов к нужной нейронке выдачи лучший код. Чисто петля обратной связи с усложнением как самого кода, так и требований к скорости его понимания. По итогу понимание кода становится существенно хуже как в силу его усложнения, так и в силу KPI по скорости закрытия тасок. Человек перестает понимать что происходит в коде и не успевает глубоко погрузиться в процессы. И рано или поздно с ростом количества сгенерированного кода понимание закончится у большинства сотрудников, даже у лидов - понимать будут только машины.

Так что вайбкодинг - это с некоторой стороны немного печально.
Forwarded from Pavel Velikhov
Выложили все лекции из нашего продвинутого курса по СУБД из ШАД:

1. Современные и графовые СУБД (13.02.2024)
Лекция: https://disk.yandex.ru/i/O5ioXU6b_8YXtA
Семинар: https://disk.yandex.ru/i/TXHXRhEkevSEXg

2. Транзакция в распределенных СУБД & Обзор домашнего задания. Протокол паксос (27.02.2024)
Лекция: https://disk.yandex.ru/i/LasmL4lpMFYbYg
Семинар: https://disk.yandex.ru/i/Zja_e4cxD6_gIg

3. Query Compilers. JIT (05.03.2024)
Лекция: https://disk.yandex.ru/i/QN33G7JowTSOaw
Семинар: https://disk.yandex.ru/i/ynfMwbzez36G5g

5. Протокол tapir. Поколонночные базы данных (12.03.2024)
Лекция: https://disk.yandex.ru/i/vXHtsMfMfyqPFQ

6. Оптимизация SQL-запросов (19.03.2024)
Лекция: https://disk.yandex.ru/i/6L21N7aVisKkrA

7. Оптимизация SQL запросов, часть 2 (26.03.2024)
Лекция: https://disk.yandex.ru/i/dHyuQ-sVRio3Aw

8. Многопоточные операторы SQL (02.04.2024)
Лекция: https://disk.yandex.ru/i/zk0BRG-OqibCNg
Семинар (запись прошлого года): https://disk.yandex.ru/i/sTyzNvNdzRm8-Q

9. Протокол Raft & MPP аналитика (09.04.2024)
Лекция (Протокол Raft): https://disk.yandex.ru/i/3YTiavRj2IcDoA
Лекция (MPP аналитика): https://disk.yandex.ru/i/kkB_ck0emWbCjQ

10. Main memory базы данных (16.04.2024)
Лекция: https://disk.yandex.ru/i/SvBqT8_ZTjvHXA

11. Разработка Postgres (23.04.2024)
Лекция: https://disk.yandex.ru/i/tERU5moyX7j7gQ

12. Обзор индустриальных СУБД: Cassandra, ScyllaDB, Tarantool, Picodata (Часть 1). Обзор ClickHouse. (14.05.2024)
Лекция (Обзор индустриальных СУБД): https://disk.yandex.ru/i/pv_Ks-QrICtIkg
Лекция (Обзор ClickHouse): https://disk.yandex.ru/i/h4PDp5QhfRGVXg

13. YDB. Распределённая масштабируемая отказоустойчивая СУБД с открытым исходным кодом от Яндекс & Динамические таблицы YTsaurus (21.05.2024)
Лекция (YDB): https://disk.yandex.ru/i/5-Ej1jknvEb1OA
Лекция (Динамические таблицы YTsaurus): https://disk.yandex.ru/i/cM7g4Day0U2Gcw

14. Обзор индустриальных СУБД: Cassandra, ScyllaDB, Tarantool, Picodata (Часть 2) (28.05.2024)
Лекция: https://disk.yandex.ru/i/gkK8JvUiiAe8Hw
2
4:19 - учим работать на двух-трех работах и накручивать опыт, чтобы зарабатывать минимум миллион в месяц
4:20 - срочносбор на лечение
Об "Осознанной Меркантильности"

Я неиллюзорно считаю Назарова гением. Если раньше простой народ окучивали только "Бизнес-молодость" и Аяз Шабутдинов, то теперь тренинги по успешному успеху ведутся для самой платежеспособной (после питерской секции дзюдо) категории населения на 1/7 части суши - айтишников. Идея поистине топовая, а появление подражателей - вопрос времени.

И да, я немного завидую белой завистью, что сам такую тему не замутил.
Как говорится, "слышишь денег тихий шелест - значит лох айтишник идёт на нерест".
Мамонтов много даже в айти, и они не вымрут.
90-Days-Of-DevOps – путеводитель для самоподготовки к профессии DevOps-инженера и получению более глубоких базовых знаний о DevOps

Цель состоит в том, чтобы в течение 90 дней, по 1 часу в день, изучить более 13 областей DevOps технологий и получить базовые знания.

#курсы #devops
Узнал, что в англоязычном резюме лучше не писать, что посещал конференцию Highload. Потому что в дословном английском смысле highload - это не высокие нагрузки, а что-то типа "укуренный" или "вмазанный".
Как город Highland в "Бивисе и Баттхеде" дословно переводится как укуренный город/город торчков.

Один такой языковой нюанс - и карьера в западной компании всё. Даже если ты крутой специалист.
Книга: Cracking the tech career
Автор: Gayle McDowell
Жанр: литература по собесам
О чем: с утра (на этот раз действительно с утра, а не как обычно) прочитал данную книгу.
Плюсы книги: структурный подход к интервью в FAANG от и до. Автор заявляет, что писать cover letter и благодарить эйчара за интервью - это ключ к успеху, а ещё говорит о важности заучивания брейнтизеров и задач на оценку (типа задач про подсчет числа шариков для пинг-понга в мире).
Минусы книги: очень поверхностно и для американского рынка труда. Я как-то будучи студентом ВШЭ на одну из первых работ пришел устраиваться в банк Nordea, начитавшись как раз подобных книг по собесам, и стал задавать тупые вопросы как в книге типа "Расскажите как вы достигли такого успеха в данной компании?". В США такие вопросы - это что-то типа "How do you do?", а в России если спросишь что-нибудь подобное, то на тебя посмотрят как на дебила. После этого опыта я больше такие тупые вопросы не задаю, а информацию из подобных книг строго фильтрую.

#книги
😁2