Вообще, возникает идея для congestion control взять важные параметры - а эх там всего-то штуки три-четыре. Прогнать N тестов на разных конфигурациях. Померять на каждой конфигурации throughput. Обучить дерево - что бы для разных входных параметров (rtt, еще что-то) - выдавало параметры CC, ну или там аппроксимировало бы там как-то. Сгенерить блоб. Параметры CC брать запросом к этому блобу. Блоб регулярно переобучивать и выкладывать в ту же сеть, шоб ноды скачивали и параметры алгоритма аплейтили (зачеркнуто: защить диплом). На кандидатскую потянет? Типа олгоритм конжешн контрола на основе дип лёрнинга. Хотя кто-нибудь уже защитил, конечно же. А может и запатентовал

Каким-то образом magic-wormhole унижает и scp тоже. То есть он не просто копирует между двумя хостами через свой релей, но каким-то образом делает это лучше, чем просто копирование файла с хоста на хост. Достойный соперник, одним словом

Квикфикс бага hbs2-git:

commit 343bfd607017f11ea48a752e19b7c0f51bc9c237 (HEAD -> master, hbs2/master)
Author: Dmitry Zuikov <dzuikov@gmail.com>
Date:   Sun Apr 2 09:50:02 2023 +0300

    hbs2-git db bugfix

рекомендуется обновиться

Экспортируем репо побольше. Работает медленновато, но это надо один раз. Можно ускорить

Над какими-то вещами редко задумываешься. Или там абстрактно знаешь, но не прочувствовал.
Например, почему вайфай шляпа:

[notice] peer 5.227.202.xxx:7351 burst: 2 burst-max:  errors: 0 down: 0 rtt: 210.00ms
[notice] peer 95.216.187.xxx:7351 burst: 2 burst-max:  errors: 0 down: 0 rtt: 19.00ms -- провод, Хельсинки
[notice] peer 213.141.129.xxx:7352 burst: 2 burst-max:  errors: 0 down: 0 rtt: 9.00ms -- где-то в Москве, провод
[notice] peer 192.168.1.49:7353 burst: 2 burst-max:  errors: 0 down: 0 rtt: 111.00ms -- вайфай, три метра от роутера

Гримасы распределённых систем: постишь транзакцию через свою ноду. Забываешь её сохранить. Твой кластер синхронизируется и ты получаешь транзу от других, стейт сходится, не замечаешь разницы. Другая сторонняя нода постит ссылку со своим ключом, транза не сохраняется, связь с той нодой пропадает, на собственную рассылку она не подписана. В итоге на ноде - источнике транзакций, ключ подписи которых есть только у неё — имеет меньше транзакций, чем все остальные ноды. А ты смотришь на это всё и сходишь с ума

Думаю, что немногие заказные проекты, что остались - перетащим в hbs2 тоже в течение месяца. Хрен с ним, что нет шифрования, хотя по факту оно есть, надо только прикрутить и дисциплину ключей продумать. Если не класть туда секреты, то и шифровать особо незачем, всё одно в Роспатент поедет.

К fixme вполне можно прикрутить фронт, а к всему вместе - (статическую?) вебморду для гражданских. И принципиально сделать её стейтлесс - т.е вся авторизация только приватным ключом на клиенте, каждая транза на апдейт им подписывается, то, что зашифровано - им расшифровывается. думаю, в течение нескольких месяцев такое можно.

Получится своего рода продукт - среда разработки для команды + фронт для гражданских (заказчиков), без какого-либо стейта на сервере, расшифровка блоков перед отображением в js на клиенте. Вполне себе конь-цепт

#haskell А не может внезапно выясниться, что

TVar [x]

- работает не хуже STM-ной очереди, при этом можно с ней хоть рингбуфер делать, хоть что. Или не выяснится ли там, что STM-ные очереди - это TVar + очереди Окасаки? неохота смотреть, кто-то разбирался?

Муахаха

Что-то от TCP мгновенного счасться не произошло. Когда работает UDP - он работает чуть лучше даже с самодельным congestion control, а когда не работает UDP - то и TCP тоже почему-то не работает. Что-то я надеялся, что подменю транспорт и сразу в дамки, но нет. Предвижу пару недель увлекательной отладки.

А подскажите кто-нибудь хостинг с локациями в ЮВА / Австралии? И желательно, что бы криптой можно было платить или еще как-то нормально, евпочя.

TCP+UDP, Сидней

Вчера катнул tcp в "прод". Ради понта даже сделал обратную совместимость по протоколам, чисто, что бы отработать концепт. Как и предполагалось, cborg/serialise ADT-шные конструкторы скорее всего добавляет, как кортежи, где числом - номер конструктора. Таким образом, в ADT-шные типы можно в конец добавлять конструкторы, и более старые версии не сломаются. PEX для TCP получается более хитрый, надо сначала выяснить, что пир в принципе поддерживает TCP, потом попытаться открыть к нему клиентское соединение, в случае успеха - добавлять в PEX, которым делиться с миром. В процессе. На следующей неделе доделаю. Походу мучений с TCP - как всегда, всё упёрлось в off-by-one ошибку где-то в глубинах - перепилил и UDP, теперь таймауты не хардкоды, а пропорциональны измеряемому RTT + если один поток скачивания заткнулся в таймауте - другой не ждёт и стартует раньше. Качать начало люто, что через Австралию, что напрямую. UDP ведёт себя как ему положено - на хорошей связи уделывает TCP, на плохой - начинает мигать битрейтом - т.е ждать каких-то потерянных пакетов до таймаута. В любом случае, в итоге увидел цифры доселе невиданные - до 80 мегабайт в секунду, и наконец-то стало упираться в CPU, вероятно, пересчёт хэшей, как положено. В целом, доволен. Так победим

Большое количество мелких файлов - реально, источник проблем. Хотелось каждому блобу в гите сопоставить объект в системе и на метаинформацию тоже файл. Но что-то их становится овердофига, и они медленно качаются, как бы быстро не пытался. Ну и вообще видно, что это будуший источник проблем. Надо что-то переосмысливать, пока оно несильно распространилось

в гите есть фича fast-import/fast-export - это дамп в текстовом формате всего репо. если репо испортировать/экспортировать через это, то будет быстро с одной стороны, но не будет дедупликации

В общем, есть два стула. Скорость или дедупликация. Надо выбрать.

А ведь мошенники уже, наверное, ставят на поток обучение нейронок, которые будут разводить людей на деньги. В массовых масштабах. Потому, что развод людей на деньги по скрипту - это идеальная задача для таких нейронок, и с автоматизацией её можно прям массово запускать. Приделать ручки для звонков/чатов и т.п. Прямо завод по производству денег и прямая монетизация этих нейронок. Инвест-план простой и прямой, как палка. Опять же, спасибо виталику, продавшему свой планктон американским регуляторам, GPU для майнинга больше не нужны, а вот для обучения нейронок - могут и пригодиться. Как всегда, до меня доходит, как до жирафа, кто надо уже полтора года назад, поди, всё поняли

Сейчас государства опять встрепенутся, и поймут, что они нужны не только детей от педофилов защищать, а еще и распространение технологий контролировать. Данные по нейросетям к хренам закроют, GPU будут регистрировать, как оружие. И всё ради общественного блага.

И прогрессивный налог на энергопотребление введут в рамках зелёной повестки. Кстати, тоже странно, что еще нет — решает вопросы государств с криптой. Правда, люди оказались такими, что им любой PoS заходит да хоть вебмани, там что там особо толку не будет. Но вот биток-то можно прижать

А у вас нет ощущения, что поисковики последние годы деградируют? Ну то есть тупо стали хуже искать. То, что раньше находилось - сейчас не находится. Или же это тупо деградирует сам веб - контент переезжает в те ресурсы, которые не индексируются, причем не всё, а только "актуальное", а ресурсы где раньше было - просто тихо дохнут. Нет ли такого?