Гайз вижу и в комментах и в приватке вопросы "когда вторая часть"

Честно вам скажу: возможно я как-то неправильно подхожу к созданию контента, но первая часть у меня заняла больше месяца от первых шагов до нажатия на кнопку "Опубликовать". Я хуярил каждый день без выходных по 6-12 часов на энергосах и предтренировочных комплексах (да, эта хуйня штырит получше кофя). Это очень трудоёмкий процесс, и записываю каждую тему обычно раза с 3-го 4-го, ибо по ходу объяснения постоянно выясняется что что-то ты упустил или слишком сложно начал загонять. Плюс постобработка это жесть, на 12 часов итогового хронометрожа было часов 30+ исходников (это я даже не считаю то, что уже записано, но пойдет в следующую часть). Пуки чихи вздохи чавканья хуявканья, это всё нужно отсматривать и вырезать. Это очень сложно и морально и физически, поэтому на этойй неделе следующую часть ждать точно не стоит. В хорошем случае ещё через месяц я дропну вторую часть. Там рассмотрим конкуретную работу приложения, доразберём гошку, и, возможно, успеем посмотреть на http и постгрю.

Я не меньше вас хочу увидеть вторую часть, но не хочу из-за спешки сделать плохо, и так даже в первой части многим пришлось пожертвовать чтобы не выпускать её через пол года.

Планируется от трёх до пяти частей. В конечном итоге напишем классное бекенд-приложение. Но это требует времени. Ваша лучшая поддержка это лайки комментарии и подписки на каналы и в приватку🐱

Возможно сейчас пару дней посушу вёсла, а то пиздееец как устал( И буду выкакивать в этот канал какие-то постики. А может не буду. Всех обнял

так, меня в комментах просветили, автоплатёж есть, его надо было просто поискать🥳

ну vds всё равно пидоры, ну а чё они внатури ну в самом деле ну

Как миниприложение работает под капотом? Часть 1.

(в конце изображение со схемой всей системы)

Чтобы в телеграмме создать миниприложение, необходимо иметь постоянную https ссылку на веб-страницу, которая будет открываться в среде телеграмма и называться собственно миниприложением. То есть миниприложение — это просто сайтик, который открыт в среде телеграмма. То есть сразу нужны:
— Веб-морда. Верстай как хочешь, но без веб-морды нет и миниприложения.
— HTTPS подключение. То есть сертификаты. То есть нужен домен.

Ну сразу вырисовывается стандартная картина фронтент+бекенд, где продовый бекенд крутится на сервере с купленным доменом, плюс ещё каким-то образом нужно HTTPS соединение поддержать (раньше я ничего подобного не делал своими руками).

Хорошо, допустим с вёрсткой веб-морды и покупкой домена я как-то разберусь. Но откуда вообще брать инфу для построения графа? На каждый новый пост в базе знаний лезть в продовую бд и руками править json-представление графа? Нууу... заебусь и окончательно облысею от такого капитального заёба. Нужно как-то автоматизировать агрегацию информации из базы знаний, чтобы я мог просто накакать новый пост, а этот новый пост сам подсосался в граф и как следствие в миниприложение. Как?

Решение оказалось довольно очевидное. Телеграмм (до сих пор не знаю одна тут м должна быть или две) чаты поддерживают возможность копировать ссылки на сообщения, и есть возможность по нажатию на эти самые ссылки — сразу переходить на нужное сообщение, то есть телега сама перекидывает юзера на нужный топик + нужное сообщение, да ещё и подсвечивает это самое сообщение. Получается я могу все сообщения запихнуть в один топик (не обязательно в один, но в одном удобнее), в одних сообщениях давать ссылки на другие, в этих других сообщениях давать ссылки на третьи сообщения, ну и так далее. То есть уже вырисовывается графовое представление всей базы знаний, благодаря возможности телеграмма переходить на конкретное сообщение со ссылке. Осталось только это всё добро как-то автоматически парсить и строить по этой инфе json, который я буду отдавать фронтенду, и по которому этот самый фронтенд будет строить nilchan-obsidian😄

У тг-ботов нет возможности читать произвольные сообщения в чате. Зато такая возможность есть у меня. Но как мне заставить программу от моего имени открыть чат, начать читать сообщения и переходить по ссылкам на другие сообщения? А у телеграмма даже такая возможность есть. Можно на сайте телеги зарегистрировать своё приложение, тебе выдадут api_id+api_hash, по которым ты сможешь коннектиться к апи телеграмма и делать практически любые действия от своего имени, только при помощи программы (можно даже сообщения другим людям отсылать, но я так один раз чуть акк не проебал из-за того, что кто-то на спам пожаловался xd). Но голая telegram api выглядит очень страшно, а вот разного рода обёрточки на питончике выглядят уже более привлекательно. Решил не экспериментировать с аналогами на гошке, и взял telethon либу для питона, и поехали.

Получается алгоритм такой: изначально даю программе ссылку на корневое сообщение (корневую ноду) в базе знаний в телеграмм-чате. Эта программа получает текст сообщения, парсит все ссылки из этого сообщения, и если эта ссылка — это ссылка на другое телеграмм-сообщение, то переходит на это другое телеграмм-сообщение и повторяет алгоритм (опять ищет все ссылки на другие сообщения и переходит на них). Параллельно запоминая каждое сообщение в котором мы побывали + запоминая переходы между сообщениями (из какого конкретно сообщения дана ссылка на другое сообщение, чтобы понимать как рисовать связи между нодами). Получается тот самый обход графа в глубину) А вы говорите алгоритмы не нужны. Шучу. Не шучу. В общем окей, спарсили целый топик, построили граф, сдампили в json. Что дальше?

Как миниприложение работает под капотом? Часть 2.

А дальше нужно думать, как лучше организовать отдачу собранного json'а. Если я на каждое открытые веб-страницы (на каждый запрос на получение графа в бекенд) буду прогонять описанный выше алгоритм, то веб-страница будет открываться очень долго, секунд 10-15, но как вы видите открывается она практически моментально. Всё потому, что было принято решение раз в N времени (сейчас это раз в пол часа) прогонять описанную программу (называл её crawler, типо как в гугл хроме, типо крутой в общем), crawler собирает раз в пол часа актуальный json и сохраняет его в файл. Вы знали что в linux'е для периодического запуска команд существует утилита cron + crontab для её настройки? Потом уже на запрос от фронтенда "дай мне json представление графа" я просто буду отдавать готовый файлик, что стократно быстрее.

Хорошо, мы умеем автоматически читать базу знаний из приватки и собирать по ней json граф, что дальше? Дальше вопрос как организовать HTTPS подключение к серверу. Поизучав информацию, я понял что можно воспользоваться Caddy (современный аналог nginx, только caddy АВТОМАТИЧЕСКИ сгенерирует мне сертификат и подпишет его, БЕСПЛАТНО😏). Плюс Caddyfile (аналог nginx.conf) выглядит ну гораздо приятнее и понятнее аналога от nginx.

ХАРАШО, бекенд считай готов. Crawler раз в пол часа собирает json, Caddy по https умеет этот json отдавать (на самом деле я написал гошную приложуху в 1 эндпоинт, которая читает json файл и отдаёт его, а Caddy уже ходит за json'ом в эту гошную приложуху, но мне просто хотелось чтобы в этом большом проекте была частичка гошки xd, так то понятно что можно было этот самый json как статику отдавать напрямую через Caddy). Понятное дело что как Caddy, так и Crawler, так и гошная приложуха на 1 эндпоинт — всё завёрнуто в докер-контейнеры и деплоятся одной кнопкой через Makefile + dockercompose.

Что с фронтендом? Как рисовать граф? Сначала я пытался понять как obsidian строит свои графы (ведь у обсидиана есть веб-версия, как-то же они это делают), но в итоге наткнулся на библиотеки для React'а для построения графа. Был выбор из нескольких, одна более красиво рисует граф но ужасно регистрирует касания и клики, вторая не так красиво отрисовывает но замечательно регистрирует пользовательский ввод. Очевидно смысла в красивом но неудобном графе нет, поэтому был выбран не самый красивый но наиболее удобный вариант (вы его видите в миниприложухе).

Окей, есть библиотека для реакта, но я в душе не ебу как этот реакт устроен, как на нём писать, как устроено взаимодействие компонентов, и что самое главное как это потом деплоить в прод. И тут я бы мог встрять на пару месяцев, но мне на помощь пришла моя девушка, которая уже какое-то время изучает фронтенд на реакте, она помогла мне разобраться, так сказать, в базовых ценностях, да и компоненты поиска и инфопанели (которые вы видите в миниприложении) она верстала, за что ей большое спасибо.

Фронтенд был самой сложной и мучительной частью, этот css это просто пиздец, 99999 свойств на один эффект и нахуй ни одно свойство не работает как надо. Плюс борьба с телеговской средой запуска веб-страниц, в которой если я открываю клавиатуру (например когда хочу в поиске что-то вбить), то нахуй рабочая область уменьшается в 2 раза и по пизде едет вся вёрстка. Тут уже пришлось 10 тысяч запросов в нейронку написать, чтобы на десять тысяч первый запрос она выдала рабочее решение, которое с помощью ебейшего костыля помогает обойти эту особенность телеграм-среды для веб-страниц.

Кое-как допинали этот фронтенд до адекватного внешнего вида, теперь вопрос как это деплоить. Опять же поискав инфу, я узнал что React приложения компилируются в js+css+html, и потом на проде веб-сервером (nginx или Caddy) просто отдаются как статика. Интересно. В общем описываю докер-контейнер который на базе nodejs-имаджа собирает прям на прод-сервере мне статику и через docker-volume отдаёт её в папку, из которой уже Caddy отдаёт полученные файлы в качестве веб-страницы юзеру.

Есть широко распространённое в узких кругах мнение, что в тг-канале следует стабильно поддерживать активность, независимо от того, есть ли тебе что сказать, есть ли чем поделиться — пофик, даже если нет — придумай очередную гойду "бляяя hr'ы ваще плохие кароче бляяя" и запости, а иначе как же, люди забудут про тебя, ты же ничего не постишь в канал. Возможно оно так и есть, но я что-то пока не дозрел в своём познании до этого, ну это же как ебаный дейлик: обязан высрать из себя хоть что-то, даже если по-сути сказать то и нечего. Поэтому если кто-то не может без стабильного упоминания коварности найма, злого кабанчика и абсолютно прорывной и свежей ранее нигде и никем не упомянутой идеи о том, что нужно крутить опыт — штош, nilchan pub не сможет удовлетворить вашу потребность. Это всё к вопросу о том, почему новые посты публикуются настолько редко.

А так, почему я вообще решил прервать радиомолчание: на днях выбрались за город, сняли на авито домик на сутки, и просто поймали подарок судьбы — хорошую солнечную погоду среди затяжной питерской ебливой серости. Пожарили шашлык, надышались свежим воздухом, набухались, поиграли в карты. Как же иногда не хватает простого человеческого вот этого вот всего. Делюсь с вами частичкой этого вайба 🏕