Короче, сборка мусора. Придется всё переделывать. В новой модели: индекс (n) -> (k) данные т.е файл индекса индексирует множество данных. Связь не по соответствию индекса файлу, как в гите, а в каждой записи индекса - ссылка на ключ файла. Ключ - 32 битное целое, монотонный счётчик. Файлы данных мержатся редко и до определенного размера, индексы — (неограниченно? до какого-то лимита?). Данные не трогаем. Индексы мержим. Время доступа остаётся близким к O(1), мерж индекса - O(m+n), память O(1). Индекс где-то на два порядка меньше данных, 48 байт на запись. при населённости около 0.6 — 16Gb индекс может адресовать ~ 48 терабайт данных
Алгоритм мержа индекса: I, J ∣ T(I) > T(J) ⟹ K = I ∪ (J ∖ I), T(K) = T(I)
I,J - подряд идущие по таймстемпу файлы, K - новый файл. В стейте заменяем I, J на K, потом отложенно "актуализируем" стейт, т.е удаляем всё, что не в нём, если
refcount = 0.

Стейты пишутся срезами, один срез - один файл, в нём все адресуемые элементы — файлы данных, индексы, счётчик, и связи файлов с индексами, которые приходится ввести, т.к. больше индексы не соответствуют файлами по именам.

Удаление мусора: из индекса удаляются дублирующие (по ключу) данные. Если затираются томбом — ну, значит, остаётся томб.

Для любого томба — его можно удалить отдельным проходом, если больше нигде нет на него ссылок.

Сборка мусора для файлов данных: удаляем блоки, если их нет в индексе или они томбы.

Целостность обеспечивается стейтом. Т.е пишем файлы, добавляем в состояние. Источник правды — файл(ы) стейта, дамп стейта = коммит транзакции. Лишнее (отсутствующее в текущем стейте) удаляем отложенно и когда оно точно не используется.

Из плюсов — файлы индекса маленькие, их быстро мержить. Файлы данных можно мержить, можно нет, на скорости чтения особо сказываться не должно.

Такие дела

Что-то в нашем этом хаскелле не хватает гарантий хвостовой рекурсии. Я бы написал что-то такое tailrec (what ...) и что бы компилятор если не может гарантировать, что хвостовое — шоб ошибку генерил. А то палево прямо. Интересно, можно такое сделать? Это мне как в сишке не хватало гарантий экстента.

По мере надобности подпиливаю bf6 (aka suckless-script), добавил по мелочи file:size, median, avg. Теперь например посчитать медианный размер файла в каталоге:

bf6 median [map file:size [dir:list:files .]]

Пошёл посмотреть чо как поживают Nim, Zig и D, выяснил, что существует язык Odin. Получается так, что теперь отдельно язык Жопа Одина, отдельно Один. Одни тесты в язык встраивают — т.е получается, что в языке нет более общих конструкций, на которых можно было бы выразить тест, например (функция с аннотацией). Причем, конечно же, весь этот лес adhoc конструкций еще и более всрат, чем то, что тут уже с 59-го года есть. Ну, как обычно. Я бы выпускникам факультетов компьютер сайнсов дарил бы книжку, что бы хоть одну книжку прочитали. В идеале бы две, конечно

Помнится, был во времена оны такой мем, что если высадить рандомного человека на необитаемый остров и выдать ему некий компьютер, то единственное разумное, что можно сделать — это в машинных кодах сделать некий форт, а потом на нём напилить интерпретатор лиспа, а на нём уже все остальное (нормальный интерпретатор лиспа, нормальнй интерпретатор лиспа и так далее). Пока что я нашёл единственную реализацию лиспа на форте. Но там gnu fort, что неспортивно. Спортивно было бы написать форт на чём-то, минимальный форт вроде бы что-то должно быть наподобие

      put "#define DEFSTACK(n, t, l) t n[(l)], *n##top = n"
      put "#define RESET(a)   (a##top) = a"
      put "#define PTOP(a)    (a##top)"
      put "#define TOP(a)     (*(a##top))"
      put "#define POP(a)     (*(a##top)--)"
      put "#define PUSH(a,v) (*(++(a##top)) = v)"
      put "#define NEXT(x)    continue"
      put "#define JUMP(x, b, o)  ((x) = (b) + (o)); continue"
      put "#define SKIP(x, n)  (x += n)"
      put "#define PC(x, b) ((unsigned int)(x - b))"

ну умножить где-то еще в десять раз. но типа того, не больше. конечно, пока что заруливает sectorlisp , https://github.com/jart/sectorlisp/blob/main/sectorlisp.S который делает lisp в 512 байт машинных кодов, что наводит на мысль, что форт здесь лишнее звено и скорее уж форт писать на лиспе, чем наоборот.

Когда нибудь, когда будет время можно было бы попробовать. Например, в каком-то месте, где нет связи.

Шутка про сделать простой сторейдж на хаскелле используя только простые иммутабельные дисковые структуры несколько затянулась, конечно. Но тем не менее — подход рабочий. 850 - 880 mb/s при записи (с индексацией и fsync), 820K лукапов в секунду по 32-байтовому ключу при 1 индексе (скорость заметно падает с ростом числа сегментов, так что надо мержить), фоновой сборкой мусора и компакцией. Сегодня допилил тесты на устойчивость к kill -9, всё работает как должно — теряется только в пределах fsyncBytes данных и ничего не корраптится. Несколько Пару тысяч тестов сегодня прогнал. Начал чистить код и готовить к внедрению в hbs2-peer. Теперь уже после 10-го числа только.

Ну что, неделя в горах с парапланами без связи - done, впечатления в соседнем офтопиковом канале. Кстати, hbs2 хорошо себя чувствует в ситуациях с плохой связью и возможный кейс — обмен данными и сервисы в присутствии локальной сети и отсутствии связи с большим интернетом. Минимум в одном таком месте я бываю регулярно и P2P сервисы типа того же инстаграмма (шарить фоточки и видео среди своих с отложенной репликацией в глобальные сервисы) — зашли бы отлично, если бы можно было бы объяснить ЦА что это такое. Лучше бы, конечно, никаких глобальных сервисов бы не было вовсе, но тут увы, даже СРКН не справился.

Судя по увеличению количества новостей про те или иные mesh решения — это заметный тренд, ввиду всякого разного, например, повсеместной чебурнетизации. Удивительно (нет), но отличники в говноедстве снова британцы, а вовсе не всякие сатрапии со своими СРКНЫ-ами. Сатрапии, как всегда, перенимают передовой западный опыт и находятся в роли догоняющих.

Очередному бедолаге удалили все данные за двадцать лет из AWS, потому что уборщица (девопс) выдернула провод шваброй (тестировала какой-то скрипт в проде), конечно же репликация этих данных была с N=1, и за деньги пользователя согласно EULA провадер сервиса должен пользователю просто его не бить ногами. Теперь будет судиться, суд конечно же постановит вернуть все биты в исходное состояние .

Так что мы продолжаем.

Как так вышло, что вопрос о том, что нужны протоколы для IM, а не какая-то конкретная реализация — вообще пропал из повестки? Почему-то как само собой разумеющееся, что государственный, прости г-пди, мессенджер — это какой-то конкретный сервис. А не набор протоколов + федерация операторов.

Т.е частные лавочки устроили этот бардак и саму ситуацию, что мы вообще вынуждены иметь дело с различными проприетарными сервисами и протоколами.

Как раз государство на волне всего этого могло бы продавить протокол и "операторов", сорма туда понатыкать, пакетов яровой и что угодно, но хотя бы клиенты были бы разные и глядишь, был бы один нормальный.

Вместо этого какая-то неприкрытая содомия, хотя содомия у нас запрещена, вроде.
Еще какой-то мессенджер появился, мало одного всратого поделия, теперь их два.

Ничего в этом невозможного нет. SMS-то ходят между операторами. Смогли еще в 90х,

email ходит, смогли в 80х.

Тут всё в разы проще.

У меня особенно бомбит от того, что в этой сфере (IM) нет и не будет / не предвидится правильных вещей. Правильная вещь, например — это адресация по криптоключу.

В 2025 и дальше ни с опсосами, ни с доменами дел лучше не иметь.

Нам показали в 2009, что так можно и это мало того, что отлично — так еще снимает просто огромную кучу головняка. Это тупо удобнее и проще.

Проблемы роутинга многократно решены, просто надо сделать, как уже много кто делал.

Вопрос распространения большого/нетекстового контента / ссылок — решается CAS и хэш-ссылками.

"как это будет масштабироваться на охулиард миллионов пользователей" — такая проблема есть только у централизованных сервисов, у которых бизнес — торговля пользователями. Остальным не надо охулиард миллионов, а только свою адресную книгу. Опять же — email работал и всё еще работает. Торренты работают. Блокчейны работают. Почему вместо псевдоденежных переводов нельзя слать сообщение "привет,как дела" ?

Но вместо того, что бы сделать правильно — и просто -- PEX/GOSSIP/NAT traversal/криптоадреса — мы имеем два трека —- государственные и централизованные говномессенджеры с проприетарными протоколами и нечто малоюзабельное, но судя по фичам действительно ориентированное на организацию беспорядков или торговлю наркотиками, т.к. для остального можно было бы попроще и подружелюбнее сделать.

Блокчкейнов как чаек на помойке, криптокошелёк в каждом двадцатом телефоне точно, а сделать на той же по сути платформе мессенджер — ну за вычетом всего ненужного будет даже меньше — никто не сделал. Как так-то. Надо тупо просто специфицировать форматы данных и алгоритмы шифрования/подписи. Всё.

Интересно, не лежит ли причина отсутствия спецификаций протоколов мессенджеров в том, что в любом их них не может не быть E2E шифрование.

Простое E2E без PFS/PD сделать очень просто — и если алгоритм шифрования не скомпрометирован, то даже самый простой chachapoly сделает массовую прослушку бесполезной. Я не очень понимаю, как прослушивают HTTPS (видимо, никак) — но в случае форума можно прийти к владельцу/хостеру форума и бить его гаечным ключом, пока от отдаст дамп базы. Если форум иностранный — то можно его запретить.

В случае децентрализованного решения приходить особо некуда (масса оговорок) — вопросы видимо всё равно как-то решаются, но видимо, не так просто.

На всякий случай скажу — прямо сейчас есть децентрализованный багтрекер fixme-new, который просто синхронизирует sqlite базу тикетов через CRDT примитивы (refchan ) и GOSSIP. C ACL и шифрованием. Чем это отличается от доски сообщений, кроме немножечко вёрстки — не вполне понятно.

На всякий случай еще раз скажу — пресловутый double ratchet — это просто ключ шифрования новых сообщений выводится из известных данных и таким образом принудительно меняется, никакого рокет сайнса. Малосовместим с удобством использования (история на "сервере", пускай даже отсутствующем и являющимся просто распределенной структурой данных).

Вот на скорую руку написал про текущее хранилище по запросу @qnikst

Прицепил пока сюда:

https://hbs2.net/ref/4X65y4YvUjRL2gtA9Ec3YDDP4bnxjTGhfjpoah96t3z1/ncq3

В теги, что бы preview отображалось пока не смог, надо шаблон править, позже может. @qnikst (и кто угодно) пиши сюда в коменты вопросы/замечания/предложения.


Что бы иметь это у себя на localhost, нужно запустить hbs2-peer и сказать:

hbs2-peer poll add 4X65y4YvUjRL2gtA9Ec3YDDP4bnxjTGhfjpoah96t3z1 lwwref 11

Но есть и плохие новости: сейчас работают ноды с двумя разными типами хранилища, и нужно писать миграцию для двух случаев. К тому же непонятно, как её тестировать. К тому же на безопасную миграцию на самой жирной ноде не хватит места на диске, а небезопасная — небезопасна.

Как бы есть СРКН, а есть мировой СРКН. Надо это помнить всегда. Чот кажется, что в перспективе перспективнее иметь очень маленький девайс с экраном и спикером с обычным линуксом на борту, чем вот это всё андроид. Такое уже есть, но пока сильно хреновое, но сама идея, что кто-то центральный решает, какой софт тебе можно иметь на твоем терминале она какая-то нездоровая. Новости всё чудесатее, прямо мимо свистит. Кажется, непопулярность решения будет только на пользу, avoid success at all costs кажется играет новыми красками - чем менее популярное решение будет, тем дольше оно проработает без проблем.

FYI: 🟠 Google Play will ban non-custodial wallets unless developers hold a FinCEN, state banking, or MiCA license.

In the EU, MiCA rules effectively block such wallets entirely from the store.

RED 2014/53/EU и то, что будет дальше — как конец телефонов. в общем-то, мне и не нужен "телефон". мне нужно звонить.

то есть не звонить, а иногда поговорить голосом.

Залёт. В текущем формате NCQ3 и предыдущем (NCQ) ссылки хранятся в том же неймспейсе, что и прочие значения, просто они солятся с некоей строкой, которую я, к тому же, сделал уникальной для инстанса хранилища и не сохранил исходное значение хэша.

Теперь: невозможно перечислить все ссылки при проходе файлов при миграции. По счастью, hbs2-peer держит множество ссылок еще в sqlite (brains, оперативный стейт — еще один исторический факап, ща напишу) —- можно оттуда выколупать несолёные хэши, и при проходе файлов спасти хотя бы те ссылки, на которые пир подписан. Ценой довольно значительного гемора.

Вывод: надо наряду с солёными хэшами ссылок хранить их оригинальное значение на случай, если будет очередная смена формата и миграция. Надеюсь, что не будет. Идея делать соль уникальной для инстанса хранилища была ОЧЕНЬ плохой. В NCQ3 это хардкод в коде. Соль вообще нужна что бы избежать коллизий (блок -> ссылка). Хорошо, что про хранение оригинальных хэшей я понял сейчас, до выкатки NCQ3. Очевидная же мысль, но почему-то только постфактум.

Хорошая новость в том, что на конверсию ссылок в случае N реплик можно вообще забить — если пиры не мигрировать одновременно, то ссылки восстановятся т.к. все ссылки или CRDT G-Set (refchan, reflog) или CRDT LWW ( lwwref ).

Но забивать стрёмно, т.к может найтись кто-то, кто не держит реплик. Несмотря на то, что пользователей очень мало — они всё равно есть, и придется всё делать по-настоящему.

А если бы сразу захардкодил соль для ссылок — то миграция NCQ -> NCQ3 была бы просто — в каждый файл дописать M-секцию в конец, переименовать файл, записать файл в стейт.

Про sqlite. Я люблю sqlite, он своего рода произведение искусства на многих уровнях. но надо помнить, что он медленный. Нельзя его держать в fast path нигде (хоть соблазн велик, особенно в хаскелле — всё мутабельное согнать в in-memory sqlite) . Если работать с sqlite так, что бы он работал быстро — то по сути это кэшировать всё в памяти в других структурах, то есть уходит вся простота.

Один из самых хреновых по скорости паттернов работы с sqlite — это одновременное чтение/запись, и как раз он-то и нужен в типичном случае работы с объектами hbs2: смотрим, есть ли объект, если нет — то вставляем.

Многие проблемы hbs2 решились просто выпиливанием sqlite. И со скоростью, и с консистентностью.

После перепиливания hbs2-git со стейта в sqlite на самодельную БД (SD-журнал + LSM0 индекс + файлы - снапшоты состояния для ссылок) — проблемы hbs2-git рассосались сами собой и больше не появлялись. LSM0 (сортированный массив ключей одного уровня) появился потому, что в тот момент еще ничего не было другого.

Как-то так получается, что sqlite (т.е РСУБД) поощряет использовать самые плохие практики работы с данными, потому что их легче всего использовать — и ты такой — ну об остальном позаботится движок, умные люди писали, он всё оптимизирует. Так вот — нет, он вообще ничего не оптимизирует. Наверное, я не советую его использовать даже для прототипов.

Надо сказать, что это очередной раз "мутабельное vs иммутабельное" — т.е sqlite это как бы парадигма, когда у нас мутабельные данные, а противопроложный подход — это когда мы пишем данные один раз и больше не трогаем, а индексы и стейты каждый раз переписываем полностью. Мало того, что уходит куча головняка, так еще и почему-то в итоге быстрее.

После переписывания стейта hbs2-git3 в этом стиле — не проявилось пока ни одной проблемы исходного hbs2-git (протухший стейт, удалить, пересобрать, тормоза).

Какой есть наименее всратый клиент Matrix? Я с год назад просмотрел сколько-то, захотелось вырвать себе глаза, ни один не заработал хоть сколько-то удовлетворительно. И еще какие-то имейлы спрашивают при регистрации (регистрация!! это вообще что?). Но это ладно. Есть что-то хоть сколько-то юзабельное?

Эта неделя — endurance тесты для NCQ3. Никаких больше прыжков веры. Заодно смотрю, как оно себя ведёт при нагрузке примерно похожей на реальную, для этого специально перемежаю времена большой нагрузки с временами IDLE. Кажется, уже хочется ASAP освобождать memtable — т.е заменять там кэшированные значения на ммапнутые файлы по мере записи, но до индексации. Есть несколько способов это сделать, или медленные или опасные. Но всё равно