Интересно конечно, что бы сделала цивиллизация, обладающая "настоящим наблюдателем", столкнувшись с философским зомби.
💊18🤔10👾4👍2❤1
commit -m "better"
Коллеги, а порекомендуйте нормальную очередь задач для распределенного кластера?
Я это вижу примерно так - etcd + какая-то встраиваемая библиотека, которая реализует скучные вещи, типа очередей поверх etcd, какой-нить простой work stealing алгоритм шедулинга, эфемерные ноды для каждого хоста, разгребающего очередь, для того, чтобы задачи с упавших нод прозрачно возвращались в общую очередь, и прочий crud.
Я это вижу примерно так - etcd + какая-то встраиваемая библиотека, которая реализует скучные вещи, типа очередей поверх etcd, какой-нить простой work stealing алгоритм шедулинга, эфемерные ноды для каждого хоста, разгребающего очередь, для того, чтобы задачи с упавших нод прозрачно возвращались в общую очередь, и прочий crud.
#LLM явно дают буст развитию моей #lab #homelab.
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
#distbuld #gorn
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
#distbuld #gorn
GitHub
GitHub - pg83/gorn
Contribute to pg83/gorn development by creating an account on GitHub.
🥱24👍6🤡5🔥4🤔2
commit -m "better"
Взял и наклодил себе очередь задач - https://github.com/pg83/gorn
Ссука, никто не выкупил "#gorn плавит код, из которого куется stal/ix". Оркестратор, который будет выполнять граф #IX поверх gorn, будет называться, конечно, molot!
#distbuild
#distbuild
🔥24💊16⚡6🗿5❤3👍2🤡2🥱2
commit -m "better"
Оркестратор, который будет выполнять граф #IX поверх gorn, будет называться, конечно, molot!
https://github.com/pg83/molot
#gorn
Производство непосредственно кода стало какой-то безумно дешевой вещью.
Я думаю, у меня этот #homelab проект "#distbuild в каждый дом" (а это именно он - распределенная очередь задач + выполнение сборочного графа поверх) занял бы пару месяцев напряженных вечеров и выходных, а сейчас я это сделал не напрягаясь, за пару выходных.
Оно, э, взяло и заработало с первого раза, и теперь я вышел на новый уровень своего CI - не локальный запуск на одном сервере, а честная распределенная сборка, с честным хранением всех артефактов в minio.
#gorn
Производство непосредственно кода стало какой-то безумно дешевой вещью.
Я думаю, у меня этот #homelab проект "#distbuild в каждый дом" (а это именно он - распределенная очередь задач + выполнение сборочного графа поверх) занял бы пару месяцев напряженных вечеров и выходных, а сейчас я это сделал не напрягаясь, за пару выходных.
Оно, э, взяло и заработало с первого раза, и теперь я вышел на новый уровень своего CI - не локальный запуск на одном сервере, а честная распределенная сборка, с честным хранением всех артефактов в minio.
GitHub
GitHub - pg83/molot
Contribute to pg83/molot development by creating an account on GitHub.
❤28🤡10👍7🔥6🤮2🆒1
Мне тут, знаете, пеняют, что мой блог стал блогом про #LLM.
А что делать, если я сюда пишу, в основном, про свои технологические процессы? Вот занимался #bootstrap #stal/#ix, и 5 лет писал про это. Недавно написал, что эта задача, в целом, завершена https://t.me/itpgchannel/3998 - сейчас #ix у меня обновляется бОльшей частью в автоматическом режиме. Понятное дело, что про bootstrap в блоге стало сильно меньше.
Сейчас много занимаюсь старыми долгами про #homelab - пишу про нее.
И, так как я решил, что руками сам ни строчки кода в жизни больше не напишу, потому что это неэффективно, во всех моих работах есть и будут есть отсылки к #LLM.
Это не какое-то локальное увлечение вайбкодингом, а то, что тут теперь будет всегда.
Кстати, отдельно замечу, что я разделяю "вайбкодинг" и "клодинг". Первое - это когда нуб генерирует тонны неподдерживаемого одноразового слопа, второе - совершенно другой подход, когда ты активно общаешься с LLM в процессе дизайна и разработки, прорабатываешь с ней лучшие варианты, и заставляешь переписывать плохой код по 3 - 4 раза.
В первом техпроцессе код получается "ничей", и плохой, во втором - в процессе ты этот код как бы адоптишь (начинаешь считать "своим", это очень важно), и он получается гораздо лучше, чем если бы вы этот код с LLM написали по отдельности.
А что делать, если я сюда пишу, в основном, про свои технологические процессы? Вот занимался #bootstrap #stal/#ix, и 5 лет писал про это. Недавно написал, что эта задача, в целом, завершена https://t.me/itpgchannel/3998 - сейчас #ix у меня обновляется бОльшей частью в автоматическом режиме. Понятное дело, что про bootstrap в блоге стало сильно меньше.
Сейчас много занимаюсь старыми долгами про #homelab - пишу про нее.
И, так как я решил, что руками сам ни строчки кода в жизни больше не напишу, потому что это неэффективно, во всех моих работах есть и будут есть отсылки к #LLM.
Это не какое-то локальное увлечение вайбкодингом, а то, что тут теперь будет всегда.
Кстати, отдельно замечу, что я разделяю "вайбкодинг" и "клодинг". Первое - это когда нуб генерирует тонны неподдерживаемого одноразового слопа, второе - совершенно другой подход, когда ты активно общаешься с LLM в процессе дизайна и разработки, прорабатываешь с ней лучшие варианты, и заставляешь переписывать плохой код по 3 - 4 раза.
В первом техпроцессе код получается "ничей", и плохой, во втором - в процессе ты этот код как бы адоптишь (начинаешь считать "своим", это очень важно), и он получается гораздо лучше, чем если бы вы этот код с LLM написали по отдельности.
Telegram
commit -m "better"
https://github.com/pg83/ix/commit/39132fd0b07dcdd9f884e90f90a064bcefe04869
#LLM
Полностью накукложено, ноль вмешательства человека.
В целом, машина уже может обновлять пакеты, добавлять пакеты, при этом, в отличие от моих предыдущих автоматизаций, она…
#LLM
Полностью накукложено, ноль вмешательства человека.
В целом, машина уже может обновлять пакеты, добавлять пакеты, при этом, в отличие от моих предыдущих автоматизаций, она…
🤡57🤝32👍21❤7✍3🔥2🤯1👌1
https://www.ixbt.com/news/2026/04/19/proryv-v-kompiljatorah-optimizacija-delenija-uskorila-processory-apple-i-intel-pochti-vdvoe.html
TL;DR - ускорили деление на константу в 2 раза.
https://arxiv.org/html/2604.07902v1
UPD: в комментариях пишут, что не на все константы, а лишь на некоторые, так что важность, конечно, не такая, как кажется из заголовка.
(предложка)
TL;DR - ускорили деление на константу в 2 раза.
https://arxiv.org/html/2604.07902v1
UPD: в комментариях пишут, что не на все константы, а лишь на некоторые, так что важность, конечно, не такая, как кажется из заголовка.
(предложка)
IXBT.com
Прорыв в компиляторах: оптимизация деления ускорила процессоры Apple и Intel почти вдвое
Оптимизация устраняет «проблему 33-го бита» и уже внедрена в LLVM, с обновлениями для GCC и MSVC на подходе
🤡10👍4😢2🆒1
https://www.phoronix.com/news/GNU-Coreutils-9.11
TL;DR - в свежем GNU Coreutils 9.11 ВНЕЗАПНО ускорили cat аж в 15 раз, а wc - в 4.5 раза!
Двадцать лет дiды сидели на жопе ровно, с важным видом заявляя: "мы лучше всех, а больше и нет ничего, и что вы с этим сделаете?".
Но стоило на горизонте замаячить конкуренту в лице uutils, который начал отжимать аудиторию и хвастаться бенчмарками, как у дедушек моментально нашлось время прикрутить zero-copy I/O и векторные оптимизации.
Как же все-таки охуенно иметь конкурента: как только твоя монополия заканчивается и нужно реально соревноваться за выживание, ты сразу же прекращаешь кормить людей байками, и наконец-то идёшь оптимизировать свой код.
TL;DR - в свежем GNU Coreutils 9.11 ВНЕЗАПНО ускорили cat аж в 15 раз, а wc - в 4.5 раза!
Двадцать лет дiды сидели на жопе ровно, с важным видом заявляя: "мы лучше всех, а больше и нет ничего, и что вы с этим сделаете?".
Но стоило на горизонте замаячить конкуренту в лице uutils, который начал отжимать аудиторию и хвастаться бенчмарками, как у дедушек моментально нашлось время прикрутить zero-copy I/O и векторные оптимизации.
Как же все-таки охуенно иметь конкурента: как только твоя монополия заканчивается и нужно реально соревноваться за выживание, ты сразу же прекращаешь кормить людей байками, и наконец-то идёшь оптимизировать свой код.
Phoronix
GNU Coreutils 9.11 Brings New Performance Improvements: Up To 15x Faster cat
It's not only the uutil's Rust Coreutils project seeing performance improvements but some increased healthy competition now from GNU Coreutils
😁54❤18🤡8👍6🔥2🐳1
https://www.opennet.ru/opennews/art.shtml?num=65216
TL;DR - луддиты наступают, перепись проектов, отказавшихся от приема PR от LLM.
TL;DR - луддиты наступают, перепись проектов, отказавшихся от приема PR от LLM.
👍10🤡7🐳6❤5👀3🔥2🤮2
https://habr.com/ru/companies/pvs-studio/articles/1026084/
TL;DR - хороший пример https://ru.wikipedia.org/wiki/Подмена_тезиса, и https://t.me/itpgchannel/4032 с https://t.me/itpgchannel/4016 заодно.
Автор текста выбрал совершенно всратую библиотеку, которая была написана, очевидно, нубом в оптимизации (вспоминаем мой тезис, что LLM мультиплицирует твои скилы, а не прибавляет к ним), и явно "навайбкожена", а не "накложена" (разницу между этими понятиями я объянял по последней ссылке выше), и знатно проехался по коду, и заодно про способности LLM.
Чувак, судя по коду, просто попросил LLM "напиши мне оптимальный код", но это так не работает.
Вывод автор статьи получил, конечно, ровно тот, что и хотел.
Вот почему когда я кложу корутинный сервер в своей #std, он, судя по замерам, не сильно хуже современного state of the art, типа tokio/tbb/go runtime (в которые вложено на 3 порядка ресурсов больше, чем смог вложить я, на минуточку)?
Вопрос риторический, ответ я много раз уже давал, сходите по ссылкам.
#std #perf #LLM
(за ссылку спасибо https://t.me/dereference_pointer_there/10976)
TL;DR - хороший пример https://ru.wikipedia.org/wiki/Подмена_тезиса, и https://t.me/itpgchannel/4032 с https://t.me/itpgchannel/4016 заодно.
Автор текста выбрал совершенно всратую библиотеку, которая была написана, очевидно, нубом в оптимизации (вспоминаем мой тезис, что LLM мультиплицирует твои скилы, а не прибавляет к ним), и явно "навайбкожена", а не "накложена" (разницу между этими понятиями я объянял по последней ссылке выше), и знатно проехался по коду, и заодно про способности LLM.
Чувак, судя по коду, просто попросил LLM "напиши мне оптимальный код", но это так не работает.
Вывод автор статьи получил, конечно, ровно тот, что и хотел.
Вот почему когда я кложу корутинный сервер в своей #std, он, судя по замерам, не сильно хуже современного state of the art, типа tokio/tbb/go runtime (в которые вложено на 3 порядка ресурсов больше, чем смог вложить я, на минуточку)?
Вопрос риторический, ответ я много раз уже давал, сходите по ссылкам.
#std #perf #LLM
(за ссылку спасибо https://t.me/dereference_pointer_there/10976)
👍20🤡18❤4🔥1
Я, короче, опять сделал, и испытываю полный, полный восторг!
Реально, розовая мечта последних лет пяти, особенно после того, как у меня в доме стало больше одного телевизора, и больше одного человека, который ими пользуется.
В общем, мне хотелось завести решение для стриминга видео, которое:
* Надежно. То есть, не имеет ни одной точки отказа, разве что, кроме электричества и сети - я не могу себе позволить две входных линии того и другого.
* Удобно. Для меня это значит скачать торрент, и отправить его в телегу боту. Через какое-то время файл должен стать доступным для просмотра на всех устройствах дома, которые его могут воспроизвести.
* Эластично. Хотелось бы уметь растить хранилище инкрементально.
Сетевой диск + условный PLEX сразу отпадают - и неудобно, и ненадежно.
Систему я спроектировал давно, но все нужные компоненты у меня появились только сейчас - это gorn https://t.me/itpgchannel/4027 #distbuild, batch система запуска задач, про которую я однажды писал, minio - надежный распределенный S3 store, ну и #LLM, главный спонсор "а теперь Антон может за вечерок наколбасить весь нужный код"!
Та-дам, https://github.com/pg83/samogon!
Как это работает?
Телеграм ботик получает на вход torrent file. Все, что он делает после этого - cat torrent | #gorn ignite -- samogon fetch.
Далее где-то в глубинах моей #lab #homelab запускается эта команда, и начинает качать торрент.
Качает она его не на диск, качает она его в S3 minio. Каждый piece она кладет по его адресу, который является его же хешом, то есть, это content addressable store.
Далее есть sftp сервис, который тоже поднят в моем облаке, он абсолютно stateless, все, что он умеет - скачать к себе torrent file, и начать отдавать в stream чанки из S3, один за другим.
Все эти сущности написаны как несколько хендлеров одной программы - https://github.com/pg83/samogon.
Система абсолютно неубиваема - хост упал, значит, gorn перезапустит fetch в новом месте, до полного успеха. Уже скаченные чанки не качаются снова. S3 minio тоже переживает выпадание любого диска или машины целиком.
Да, да, я качаю торренты в свой S3, и раздаю их оттуда же!
КДПВ - пруф того, что я теперь реально смотрю фильмы, которые лежат в этой системе.
Ну и, конечно, totally clauded, без #LLM у меня никогда не нашлось бы на это времени.
Если честно, полный восторг!
(многие, услышав это название, поперхнутся от смеха/слез, но ничего лучше с *GO* я не придумал)
Реально, розовая мечта последних лет пяти, особенно после того, как у меня в доме стало больше одного телевизора, и больше одного человека, который ими пользуется.
В общем, мне хотелось завести решение для стриминга видео, которое:
* Надежно. То есть, не имеет ни одной точки отказа, разве что, кроме электричества и сети - я не могу себе позволить две входных линии того и другого.
* Удобно. Для меня это значит скачать торрент, и отправить его в телегу боту. Через какое-то время файл должен стать доступным для просмотра на всех устройствах дома, которые его могут воспроизвести.
* Эластично. Хотелось бы уметь растить хранилище инкрементально.
Сетевой диск + условный PLEX сразу отпадают - и неудобно, и ненадежно.
Систему я спроектировал давно, но все нужные компоненты у меня появились только сейчас - это gorn https://t.me/itpgchannel/4027 #distbuild, batch система запуска задач, про которую я однажды писал, minio - надежный распределенный S3 store, ну и #LLM, главный спонсор "а теперь Антон может за вечерок наколбасить весь нужный код"!
Та-дам, https://github.com/pg83/samogon!
Как это работает?
Телеграм ботик получает на вход torrent file. Все, что он делает после этого - cat torrent | #gorn ignite -- samogon fetch.
Далее где-то в глубинах моей #lab #homelab запускается эта команда, и начинает качать торрент.
Качает она его не на диск, качает она его в S3 minio. Каждый piece она кладет по его адресу, который является его же хешом, то есть, это content addressable store.
Далее есть sftp сервис, который тоже поднят в моем облаке, он абсолютно stateless, все, что он умеет - скачать к себе torrent file, и начать отдавать в stream чанки из S3, один за другим.
Все эти сущности написаны как несколько хендлеров одной программы - https://github.com/pg83/samogon.
Система абсолютно неубиваема - хост упал, значит, gorn перезапустит fetch в новом месте, до полного успеха. Уже скаченные чанки не качаются снова. S3 minio тоже переживает выпадание любого диска или машины целиком.
Да, да, я качаю торренты в свой S3, и раздаю их оттуда же!
КДПВ - пруф того, что я теперь реально смотрю фильмы, которые лежат в этой системе.
Ну и, конечно, totally clauded, без #LLM у меня никогда не нашлось бы на это времени.
Если честно, полный восторг!
(многие, услышав это название, поперхнутся от смеха/слез, но ничего лучше с *GO* я не придумал)
🔥46😁19❤10👍5🤡5🤯4🤔2
https://www.anthropic.com/engineering/april-23-postmortem
TL;DR - Антропики "извиняются" за то, что "случайно" ухудшили свои модели.
Не знаю, насколько это "случайно", но тот факт, что это произошло перед тем, как надо выкладывать бенчмарки старой vs. новой модели, доставляет.
Так же доставляет ощущение, что нифига они назад не открутили в полном объеме, opus тупее, чем был пару недель назад.
TL;DR - Антропики "извиняются" за то, что "случайно" ухудшили свои модели.
Не знаю, насколько это "случайно", но тот факт, что это произошло перед тем, как надо выкладывать бенчмарки старой vs. новой модели, доставляет.
Так же доставляет ощущение, что нифига они назад не открутили в полном объеме, opus тупее, чем был пару недель назад.
Anthropic
An update on recent Claude Code quality reports
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
😁30👍6🤡3👎2🔥2💩2🐳1🤨1