Топор высказался — веду отсчёт до неизбежного

Это был последний раз, когда я написал непосредственно о Tor Portable.

... Теперь мы поговорим только про сеть, на которой хостится Tor Portable)

Я также кое-что делаю в фоне уже довольно давно, если всё пойдёт гладко, про это кое-что выйдет следующий пост.

...

Я вложился в очень современную, неготовую, мощную систему под названием IPFS. Её суть заключается в том, что это децентрализованное, совершенно нецензурное хранилище информации, что-то среднее между торрентом и облаком: представьте себе торрент с доступом из браузера, это ipfs, его хостят тысячи компьютеров. Есть очень хорошая статья, которую я написал (архив), если хотите узнать подробнее все его особенности, его плюсы и минусы, и как я сам его использую. Было две причины почему я перешёл именно на IPFS:

1) Прокси-сеть Антизапрета хостится на нём и показывает мощный пример.
2) На Гитхабе меня трижды банила нейронка и трижды разбанивали реальные люди на протяжении нескольких месяцев, что вынудило бросить его.

IPFS хорошо работает на данный момент, но имеет проблемы со стабильностью. Из нескольких проверенных облаков помимо IPFS обладает нужными свойствами только Dropbox, и только с пятой какой-то там попытки и совместного тестирования с другим программистом мне стало об этом известно буквально вчера. Но IPFS - это коллективное усилие 400 человек, свободный код, который становится лучше год от года, в отличие от Dropbox, который просто ... облако.

В чём именно заключается проблема и как вы можете мне помочь?

Сами ipfs файлы стабильно не имеют проблем с доступностью, они хранятся практически вечно; стабильнее, чем в среднем в облаках. Однако IPNS-указатели на них, которые я использую, нуждаются в постоянной перезаписи, чтобы не исчезнуть из сети. IPNS используются как обновляемые указатели на неизменные IPFS-файлы: я перезаписываю одну и ту же ссылку, и она указывает на разные ipfs-версии Тора, таким образом обновляя его. Если бы я использовал только IPFS без IPNS, то каждое обновление создавало бы совершенно новую ссылку, и это был бы хаос. FS обозначает file system, а NS name system.

Каждые 48 часов хотя бы ОДИН человек должен рехостить ipns указатель, чтобы он не стал недоступным.

Если он станет недоступен, Tor Portable посчитает, что вышло обновление, ибо проверка обновлений происходит на основе сравнивания локальной версии и последней доступной онлайн-версии. Если последней доступной онлайн-версии просто не существует, Тор всё равно посчитает, что вышло обновление, и этим перезатрёт программу. Полностью. Таким образом это потенциальная бомба, которую я добавил в программу, отдавая отчёт, что и зачем я делаю.

У Тор-инатор есть кнопка самоуничтожения. Я вас поздравляю, если вам он понравился, в один момент он может взорваться.

Конечно такое псевдообновление можно пропустить (и это одна из главных причин почему я добавил возможность пропуска обновлений), но вы никак не узнаете, реальное это обновление, или упавшая ссылка.

Есть три способа помочь мне и Тору безопасно хоститься; я перекладываю проблемы на ваши плечи.

Собственно доступность Тора стабильна уже несколько месяцев, и достаточно хотя бы одного человека из тысяч, который решит разобраться и помочь. Скорее всего этот кто-то один уже есть, по крайней мере я не помню ни одного падения за полгода. Но с вами хостеров Тора станет побольше.

1) Самый простой способ, он же самый ненадёжный. Переходим на https://ipns.ipfs.network/. Вставляем в окно k51qzi5uqu5dldod6robuflgitvj276br0xye3adipm3kc0bh17hfiv1e0hnp4, нажимаем fetch record и republish. Хотя бы один раз каждые 48 часов это должно происходить вручную. При всей простоте этого решения, я не хочу заставлять людей каждый раз делать одно и то же рутинное действие, и не хочу делать его сам (а я могу и в принципе периодически боязливо делаю это). Если вам это несложно, это тоже вариант.

2) Самый лучший способ на данный момент - официальный гайд от главного разработчика IPFS приложения kubo. Это позволяет проводить подобную перезапись указателя на Линуксе с использованием этого приложения (на винде это нормально не работает, я пробовал). Поэтому если у вас есть Линукс в том или ином виде (желательно на сервере), вы немного умны, то прочитайте гайд, поставьте kubo и попробуйте автоматизировать исполнение гайда с использованием крона или иных средств автоматизации каждые несколько часов, максимум на который можно ориентироваться - 48 часов. Указатель тот же, что и в первом пункте выше, начинается на k51. Я советую сосредоточиться в первую очередь на этом варианте решения.

3) Если вы понимаете в языке голанг и вас заинтересовала вся эта тема, то сами разработчики ipfs хотят автоматизировать обновление ipns указателей при помощи kubo добавлением специальной команды follow - это сделает весь процесс значительно проще, автоматизируемым даже моими руками - я могу добавлять kubo непосредственно в архив Тора на Линуксе и запускать его параллельно с активацией follow или вроде того. Суть в том, чтобы при команде follow приложение kubo начинало следить за ссылкой и вовремя обновлять её, как только она истекает. Я не знаю, есть ли среди вас НАСТОЛЬКО умные ребята, что разберутся в коде, но вы можете попробовать помочь разработчикам. Если ваши коммиты будут приняты, активно ускорят введение команды follow, и вы это докажете, я щедро вознагражу вас 30 тысячами рублями личных денег - по-моему для многих достаточно выгодная сделка, хотя и не рекордная.

В целом после выхода этого поста вы можете не беспокоиться о том, что что-то пойдёт не так, я надеюсь среди вас есть хотя бы один умный человек, который понял всё то, что я сказал, и поможет Тору. В ином случае виноватым буду не я)

Спасибо за внимание.

Если что пост неактуальный. Я решил проблему рехоста ссылок Tor Portable и потенциально всех других ссылок.

Это значит что я не буду платить 30 тысяч за то что поможете сделать follow, уж извините. Если вы уже сделали большую работу и достигнете успеха, вероятно я заплачу вам часть этой суммы.

А теперь в дебри...

БУДНИ РАЗРАБОТЧИКА 3

Я закончил работу над превосходной системой обновления GRU current, которую использовал в Торе. Теперь шанс того что Тор ВЗОРВЁТСЯ ВЗЛЕТИТ К ЧЕРТЯМ НА ВОЗДУХ абсолютно минимален.

Во-первых 6 декабря было выяснено что Dropbox — это лёгкий, нормисный путь захостить программу по системе GRU current (теоретически). Так что если вы не хотите в принципе заморачиваться над проблемой, над которой работал я, вы можете использовать его. Для этого просто поменяйте параметр dl=0 на dl=1.

Во-вторых, я преодолел проблему истекаемости IPNS ссылок. Я добавил внутрь Тора на Линукс систему, которая автоматически обновляет их, как только вы его запускаете; или делает это каждые 24 часа, если вы не выключали компьютер всё это время (серверный сценарий). Таким образом все у кого Tor Portable стоит на Линукс помогают хостить его неограниченный период времени.

Если довести эту модель до абсолюта, то вместе с основной программой можно поставлять внутрь программу-хостер (kubo), которая будет работать на фоне и не мешать. Вы об этом можете даже не знать. Представьте себе, что вместе с коллекцией порно у вас в фоне будет запускаться торрент, который рехостит это самое порно вне вашего ведома в файловую систему IPFS. Это мечта даркнет и веб3 активиста; полная победа над цензурой, лишение своего пользователя воли в вопросах того, что именно он распространяет, невероятно злой концепт. Именно это я и сделал на Линукс, но для максимально безобидной цели - юзеры рехостят фоново даже не сам Тор, а только ссылку-указатель на него, чтобы не истекла.

Если сделать то же самое под Винду, и сделать то же самое не с указателями, а с любыми файлами, это будет катастрофа: пока существует хотя бы один человек, который просматривает хотя бы одно порно видео, ссылка на него будет существовать в неизменном виде, и он будет его рехостить. К сожалению безопасность такого подхода остаётся под вопросом, но мне ли интересна безопасность? Меня заинтересовала эта теория рехоста программ и файлов при помощи работающего в фоне помощника...

Но пока что я могу добавлять в Тор на Линукс любые указатели на любые программы (или не программы?), и этого достаточно. Кто знает, на какие ужасы я захочу указывать руками своих юзеров, вы добровольно станете моим ботнетом, вы будете новым даркнетом, и ни один антивирус даже не пожалуется (не то чтобы на линуксах вообще они были). Я перешёл от кнопок самоуничтожения к реальному злодейству!

Минусом такого подхода является то, что kubo не пушинка - весит примерно 100 мегабайт, и на винде заставить его работать фоново сложнее, чем на линуксе, да ещё и так, чтобы при фоновой работе были видны логи ТОЛЬКО профессионалу, а юзеру было всё равно на них.

Но сама система GRU current была не про это. Она была про то как правильно обновлять программы. Идея заключается в том что вместо того чтобы постоянно переименовывать архив, версию стоит хранить внутри него самого в отдельном файле VERSION, а ссылку держать неизменной. Мы сравниваем локальный файл VERSION с доступным извне: если они совпали (2.1.3 и 2.1.3), обновление не требуется; если нет (2.1.3 и 2.1.4), мы обновляемся.

Преимущество такого подхода в том что я использовал базовые скриптовые языки (шелл и батч), мне нравится на них писать. Это делает систему рабочей на любых линуксах и виндах начиная с вин 7 x86, на линуксе должен быть установлен curl, а на винде павершелл первых версий (он был добавлен как раз в вин 7). До того как я добавил туда version check это не было хорошей системой, но теперь я горжусь ей.

IPNS и IPFS сложнее обслуживать, но на них фундаментально нет цензуры. У Dropbox нет революционного антицензурного вайба, но он значительно проще и лучше многих конкурентов: загрузили файл, поменяли параметр dl, скопировали ссылку. Мне бы пришлось мигрировать на Dropbox, если бы я не придумал подходящее решение, но в конечном итоге всё получилось. Я особенно рекомендую GRU current с Dropbox, если вы не собираетесь делать программу под Линукс.

Надеюсь кому-то мой опыт был полезен, весь код открыт.

Вышел Zapret2.

Интересно быстро ли разберутся люди во втором Запрете. Это особенная программа невероятной сложности, которая быстро стала популярна в дружелюбных сборках, как только появилась настоящая потребность. Представьте себе ядерного физика, который вместо разработки реакторов начал делать программы — это примерный уровень сложности Запрета, который написан на C в тысячах строках кода, самом базовом, "машинном" языке программирования после ассемблера. Сборщиков можно сравнить со старшими по безопасности, которые говорили простым рабочим, какие рычажки в каком порядке нажимать, чтобы обслужить это дело. Инструкция к первому Запрету занимает размер, как небольшой роман, и сам автор называет её "талмудом".

Тем не менее программа эта абсолютно уникальна, о подобном в других странах по крайней мере мне ничего не известно. Цель Запрета2 — с одной стороны упростить оригинал, а с другой сделать его ещё более гибким. Теперь стратегии пишутся на языке LUA, чтобы сделать их более редактируемыми настоящими профессионалами. Здесь совершенно неизведанное, непаханое поле, потенциально может получиться что-то достаточно большое, с известными лимитами разумеется. Запрет не обходит геоблокировки на Россию извне и вряд ли обойдёт белые списки, но имеет мощнейшие особенности — возможность прорывать государственные блокировки не увеличивая пинг, в особенности на игры; и делать это независимо ни от чьих чужих серверов. Если вам нестрашно, можете попробовать.

После тестирования спор между двумя гигантами мысли удалось рассудить:

Несмотря на опровержения РКН большие файлы отправляются ЯВНО медленнее обычного. На скриншотах и текстовых сообщениях этого незаметно.

Будем смотреть.

На данный момент файл весом 25 мегабайт грузится примерно две с половиной минуты.

Скорость замедлили приблизительно до 1.5 мегабита.

Я был критично настроен ещё 20 минут назад но это явно не случайность и не сбой все об этом уже слышали.

Ошибочка вышла в расчётах на лишний порядок...

Телеграм был целенаправленно замедлен до 150 КБИТ в секунду и за несколько часов ничего не изменилось. При этом по ощущениям "сжатые" изображения продолжают отправляться за секунды, видимо на то они и сжатые, что их практически не затронуло. Если отправить большое изображение файлом без сжатия то оно будет очень долго загружаться.

Легко проверить точную цифру в вашем конкретном случае если начать качать клиент Телеграма из браузера

https://telegram.org/dl/desktop/win64

Можете написать под постом насколько сильно был замедлен ваш телеграм

Проверил наличие замедления уже на нескольких компьютерах - везде примерно одно и то же. Хорошая новость в том, что скорее всего фикс сделать достаточно просто, сейчас буду это проверять.

Если вы ранее установили Tor Portable, то вы сделали правильный выбор.

Если ещё нет, то чего вы, блин, ждёте?!

В версию 2.1.5 была добавлена возможность ускорения работы Телеграма на Windows. Работает с Телеграмом и Аюграмом (моим любимым клиентом). Мне потребовалось на это полдня и те кто сидел на старых версиях обновятся автоматически.

1) Зайдите в папку под названием ProxiFyre внутри основной папки Тора
2) Внутри запустите файл под названием Windows.Packet.Filter
3) После этого по вашему выбору запускайте или service-manager.cmd или ProxiFyre.exe от имени администратора, в зависимости от того, сразу ли собираетесь сделать постоянную работу или сначала проверить
4) Если Телеграм уже работал, лучше перезапустить. Если у вас стоит какой-то другой кастомный клиент, можете попросить под постом, я вероятно его добавлю. Эффект проверяйте через отправку какого-нибудь файла весом хотя бы 10 мегабайт, чтобы заметить до/после

Прямо как до замедления Телеграм летать не будет из-за того что мы теперь его проксируем Тором, но станет существенно лучше. Делайте всё это, только если проблема вас действительно затронула.

Лучшая награда мне - звезда на репозиторий и МАКСИМАЛЬНЫЙ, МАКСИМАЛЬНЫЙ репост!

Хорошего вам дня.