я.

с файл айдишками и удобным шейром, юзая диплинкинг

mr.Slavik:
​​⏱Тест загрузки 1ГБ файла через SOCKS/MTProxy

👥SOCKS:
🔻81Mb/s |🔺33Mb/s
🔰MTProxy:
🔻64Mb/s |🔺21Mb/s

Тест проводился на VDS в Химках с каналом ~300Мб/с
Прокси из теста

📣 Канал: MediaTube_stream
📨 Чат: MediaTube_chat
💡NEW: Онлайн состояние серверов MediaTube_stdout

скорости телеги вполне себе позволяют
key-value базу сделать, которая бы для локального пути хранила бы список айдишников
если файл большой, то разбивается на куски по 1.5ГБ и склеивается в один
а так - интерфейс веб - логинишься в нем через тот же телеграм

std::mpa🌲:
идея крутая, если честно

mr.Slavik:
там тебе открывается типа гугл диска что то - можешь создавать папки, закидывать файлы, закинутые файлы загружаются в телегу и закидываются в key-value базу, ну можно еще какой нить временный буфер на диске делать, чтоб не гонять туда сюда постоянно
соответственно перенос/переименование файлов - просто меняется ключ в базе данных
а потом можно синхронизировать данные с какими нить каналами в самой телеге - например закинул в менеджере файлы в папку
а они в телегу в канал приватный прилетели

и наоборот

можно еще посмотреть попробовать на низком уровне - в плане, что лимит 80-100мбит он на клиента, а не на сервер
так что можно попробовать запускать несколько загрузок параллельно разных чанков и склеивать все на лету - сразу же решается вопрос с разделением на части, нам все равно сколько частей, если можем чанками оперировать
ну и сделать это опенсорсно и увековечить свое имя навеки
ну и можно на самом деле пойти по пути аля pyrogram или как там - типа расширенный ботапи
серверная инфраструктура которая будет заниматься разруливанием/кэшированием потоков, поддержкой обновлений API телеги и так далее типа торрент трекер
короче я ничего запредельного не вижу, просто работы для одного многовато - вдвоем-троем уже можно взяться

ну и писать над на go/c++ чем нить таком
чтоб с памятью было где развернуться с махинациями там с чанками и всякое такое
а к тому времени мож и разродятся блокчейном гении наши и можно будет прикрутить к этому всему монетизацию какуюнить через родной же блокчейн
лан - пойду оформлю говнокода кусочек пока, но я серьезно настроен - так что пишите кто надумает - над делать

mr.Slavik:
посоны - че ктонить будет писать файловый абуз?

я короче подумал и пока прикинул что фронтенд на typescript, бекенд на go/c++, mongodb и redis

ну пока вы хотите - я делаю короче
https://qjon.github.io/angular2-filemanager/
начну с чего то типа такого

Nomir:
ты хочешь через свой сервер кидать или напрямую?

mr.Slavik:
в идеале напрямую конечно, но первую версию думаю сделаю с временным буфером на серваке

Vadim Lesich:
вот будешь удалять что то либо заливать, а тебе хоба еррор какой то в лицо, а у тебя транзакции есть и все ок будет

mr.Slavik:
слова не мальчика, но мужа...
то есть это все для чего нужны транзакции?
можно с нескольких источников объединять потому что
и плюс чанки дешифровывать над тож по хорошему на серваке, ну и я тайпскрипт изучаю вот прям сейчас
так что не хочу пока сам с клиентом запариваться и на нем чет там делать
сделаю файловый менеджер простенький и в итоге будет из буфера брать на серваке стандартными способами
на хабр прототип закину как будет готов - там мож найдутся деятельные люди, которые включатся

Nomir:
ты хочешь не через ботапи загружать?

mr.Slavik:
нет
через клиент апи
ну у меня микросервисы уже в принципе есть для этого
от аудиобота
на redis rq - так что тут прототип должен быстро состряпаться
нужно ток будет с базой чуток и фронтендом повозиться
чисто чтоб работало)
хоба еррор такой в лицо, а я такой хоба перезалил

вот будешь удалять что то либо заливать, а тебе хоба еррор какой то в лицо, а у тебя транзакции есть и все ок будет

mr.Slavik:
хоба еррор такой в лицо, а я такой хоба перезалил
потому что у меня документ это просто ссылки
и я за константу ищу любую запись
а не бегаю к каждой ячейке как идиот
так у меня будет одна IO
а если атомарность на уровне ячейки, то мне при каждом переходе надо IO делать
лучше я буду перезаливать весь документ при ошибке, чем постоянно на каждое значение тратить IO
зато с транзакциями

опять же - для чего нужна вообще субд
в основном для индексов
с монгой мне потребуется один индексный поиск по юзер айди после чего я получаю всю структуру его документов
в sql же я буду как идиот по таблицам прыгать

Vadim Lesich:
Сходу не скажу ибо тут нужна грамотная проектировка

mr.Slavik:
о том и речь
что с монгой просто берешь в таких случаях и делаешь как знаешь на данный момент - и оно работает за константу, плюс возможность изменять структуру данных по ходу проекта
расплата - да, нет транзакций
но если это не банковский какой нить сервис или типа того - реально нужны ли эти транзакции?

Vadim Lesich:
а вот в плюс это отличная масштабируемость mongodb
Лично я всё туда пихал бы(чисто моё мнение)

mr.Slavik:
короче лучше помогите фронтенд какой нить наговнячить) с базами как нить разберусь

https://github.com/filebrowser/filebrowser
че скажете про такой варик? меня привлекает, что нету букв php в нем

mr.Slavik:
www.tgcloud.xyz
держу в курсе)
пока что вроде бы разобрался с клиентом и исходниками - осталось в исходниках поколупаться и переписать некоторые функции
@slavikmipt

mr.Slavik:
клиент кстати поднял и даже немного в код вник - посплю и буду телегу цеплять
https://tgcloud.xyz:2015
user
user

вроде бы

std::mpa🌲:
как планируешь ссылки на файлы делать, файл ид?

mr.Slavik:
в итоге планирую сразу и выдвать:
первое время будет временный буфер на диске - добавлю еще одно состояние для файлов - буферизован или нет. То есть - нужен файл для загрузки - его сперва на диск скачивают минут на 10-20

а потом уже можешь качать себе - в принципе не сверхкритично для MVP. Тем более что безлимитный объем

std::mpa🌲:
рестрикты по RPC не ловил?

mr.Slavik:
Больше часа уже - полет нормальный пока
первый раз по моему было - но я тогда каждые 1.5 что ли секунды обновлял
пока не заметил, что десктопный клиент не успевает с такой частотой, а потом флуд вейт прилетел) сейчас вот 4 выставил - вроде бы не смущает телегу)
да и как бы сейчас времена такие - упекут за разжигание и ненависть к меньшинствам
видимо не дергаются поэтому

Rocket:
Круто конечно. Но зазря ест ресурсы телеги.

mr.Slavik:
всмысле зазря

Rocket:
В прямом. Не рассчитано оно на это. Каждая смена - это нотификация всем твоим юзерам.

mr.Slavik:
у меня вон ресурсы дедика все никак не могут нормально загрузить десятки тысяч человек

что аж прихоится торренты свои делать
а тут че то думаешь телеге будет от этой картинки?)
и тем более она вовлеченность повышает

Rocket:
Телеге мож ничего и не будет. А вот трафик юзеров кушать - так себе идея.

mr.Slavik:
ты понимаешь о чем говоришь?)
о ~200кб картинке раз в 4 секунды
это если считать, что они не кешируются
но они кешируются
когда онлайн на прокси 30к человек + еще бот чет качает - у меня канал загружается дай бог до 250мбит эверейджа
то есть на одном серваке спокойно может 100к+ одновременно сидеть
а щас 5к сидит на двух) у кого я там че отнимаю)

mr.Slavik:
единственная польза от мпрокси этого - можно хоть радугой помигать людям принудительно
а так - можно использовать для того чтобы бампить канал свой

mr.Slavik:
А кто какими сервисами AWS пользуется?

а то я чет недавно внезапно открыл для себя этот дивный мир)

DNS ща перетащил на AWS - Иранцев можно банить просто вообще не напрягаясь - по геоDNS - они даже до прокси сервера твоего не добираются, чтобы он тратил время на фильтрацию)
просто отваливаются еще на этапе запроса к dns - удобно)

std::mpa🌲:
зачем банить иранцев?

mr.Slavik:
зачем их кормить?
ну придумаю как их монетизировать можно - тогда и перестану
пока что они только нагружают оборудование и делают аналитику нерепрезентативной совершенно

а для хранения AWS юзал ктонить? ну в плане - хранение, доставка, резервирование, вот это вот все

🔐 Oxy.

Ну что, камрады, начнём новую неделю... Тут ребята утверждают, что написали штуку, более безопасную чем SSH.

Простой сайт доступен по ссылке: https://oxy-secure.app/ Там можно найти и описание протокола, и короткую документацию от разработчиков.

Исходники доступны на GitHub: https://github.com/oxy-secure/oxy

Вряд ли Oxy в обозримом будущем составит какую-то весомую конкуренцию SSH, но выглядит это как минимум интересно, возможно кто-то ещё решит познакомиться с разработкой поближе.

#shell #ssh #oxy

http://telegra.ph/Android-Theme-Variables-Guide-05-08#Avatars

более полная