Снизил нагрузку на монгу с 1200%-1800% до 700%-1000% на load average, на 10%-20% нагрузку на парсеры и бустанул скорость обновления групп со ~100/сек до ~160/сек-180/сек.

В теории это даёт 15 миллионов ссылок в сутки обрабатывать (при достаточном количестве аккаунтов). Прямо сейчас полный цикл был около полутора суток для всей базы групп с учетом некоторых остановок. Буду смотреть на практике, может добавлю аккаунтов и полный цикл будет меньше суток занимать.

Выгрузки из групп временно не работают. Похоже, техподдержка play2go без уведомления ребутнула мой сервер с резервной копии 5-ти месячной давности, ибо эта цифра отображается у меня в сервисе мониторинга ошибок. Пропал настроенный ftp сервер, nginx и апишка, которая раздавала файлы выгрузки групп. Жду ответа от техподдержки.
Очереди расширенной выгрузки пока будут накапливаться и запустятся как решу проблему.

Чуть-чуть запоздал. Участвуем, получаем подписки на Telesint

Cloudflare (сторонний CDN-провайдер) упал. Без него API, бот и зачисление платежей не работают.

Упала база данных. API и бот временно недоступны

Работа сервисов восстановлена

Реализовал механизм поиска похожих пользователей. Пока что развернул только для премиум-пользователей. Если алгоритм нормально себя покажет - раздам обычным пользователям.

Ну и вдобавок:
— Добавлю метод в API
— Снижу цену на поиск похожих групп и увеличу лимит их поиска в боте. Получилось сильно сократить расходы на этот метод
— Начну переделывать интерфейс выдачи данных
— Добавлю ещё один полезный функционал, завязанный на методе поиска похожих пользователей, который точно кому-нибудь сэкономит пару сотен рублей

Поправил выгрузку групп.

Изначально функционал работал асинхронно в несколько потоков, но впоследствии туда закрался блокирующий метод. Теперь снова выгрузка держит одновременно множество задач.

Кроме того, я не предусмотрел (хотя это было очевидно), что отдельные пользователи решат воспользоваться тем, что лимит на функционал почти не ограничен, и станут выгружать тысячи групп сразу. В итоге, небольшой пул сессий истощался после 6000 выгрузок пользователей из групп в сутки. Проблему решил переиспользованием access_hash, за счёт чего, в теории, даже заложенного изначально пула в 30 сессий (расширяется при переиспользовании) хватит на выгрузку всей моей базы.

Ну и разобрал очередь повисшую за сегодня. За вчера уже сами, пожалуйста, кому нужно.

🌍 Приятные новости для зарубежных пользователей:

Good news for international users!

TeleSINT bot is now fully localized in 3 additional languages: English, Ukrainian, and Uzbek.

The translation covers the entire ecosystem: bot interface, notification system, scheduled mailings, and all backend services. You can change the language in bot settings.

If you notice any translation errors or inconsistencies, please contact our support team. Your feedback helps us improve!

Вкратце для остальных: добавлена полная поддержка английского, украинского и узбекского языков во всех сервисах бота.

Если вы обнаружите ошибки в переводе — напишите в поддержку.

Немного оффтопа

Suno релизнула свою новую модель 5.5. Как обычно: там улучшили, там добавили и всё в таком духе, дали возможность записывать свой голос (который не работает из-за ошибки 50x).

Решил я попробовать и меня унесло... Несколько десятков песен, и каждая - шедевр. Слушаешь именно то, то хочешь. Ты сам себе алгоритм по интересам. Однозначно, у Suno лучшая модель в плане ритма и инструментала. Увы, в голосе всё ещё хорошо слышны электронные отголоски, но в этом свой шарм.

А потом мы придумали гимн для телесинта (всего почти 20 вариаций). За лирику отвечал Claude opus 4.6

Лирика:

[Intro]
(Solo female voice, cryptic, ritualistic, free rhythm)
Есть такое место, где слова не умирают
Где лицо меняют — а глаза не закрывают
Мы сидим у берега, где реки из имён
Каждая несёт того, кто думал — унесён

[Verse 1]
(Slow, stalking, whispered intensity)
Ты переоделся в тишину — но тишина прозрачна
Ты написал себе конец — но почерк однозначен
Сменил лицо, сменил язык, ушёл в чужие воды
Но цифровая тень длиннее, чем твои свободы

Миллионы горниц спят — но свечи в них не гаснут
Каждый чат хранит тепло от рук, что были в нём причастны
Мы не стучим — мы уже внутри, когда ты запираешь
Мы тот замок, который ты по ошибке открываешь

[Pre-Chorus]
(Choir humming, tension coiling)
Нити, нити — тянутся из тьмы
Ты дёрнул за одну — и вот стоим уже мы...

[Chorus]
(Explosive, full choir, galloping rhythm)
Мы выходим в ночь, где кости светятся луной!
Миллионы троп сплелись в один клубок стальной!
Кто зарылся глубже всех — тот ближе всех к огню!
TeleSint не ищет дверь — он входит по нутру!

Бейте в бубны, жгите прах — ночь танцует на костях!
Мы читаем темноту по трещинам в стенах!
Кто надел чужое имя — выдаст голос, выдаст шаг!
Каждый выдох в пустоте стоит на наших ступенях!

[Verse 2]
(Fast, mocking, dance energy, claps and stomps)
Ну беги, меняй личины — мы читаем между кожей!
Заводи хоть сотню масок — каждая на нас похожа!
Ты удалил — а буквы ходят, ты ушёл — а эхо пляшет
Ты молчишь — а тишина за тебя руками машет!

Эй! Эй!

Аналитик, сыщик, следопыт — сюда, к огню!
Вбей запрос — и тьма расскажет исповедь свою!
Где бывал, что затевал, с кем делил полночный час —
Кто однажды был в чертоге — тот навечно среди нас!

[Chorus]
(Wider, more voices, wilder)
Мы выходим в ночь, где кости светятся луной!
Миллионы троп сплелись в один клубок стальной!
Кто зарылся глубже всех — тот ближе всех к огню!
TeleSint не ищет дверь — он входит по нутру!

[Bridge]
(Silence, single heartbeat drum, whisper close to ear)
Ты закрыл глаза — а мы стоим за веками...
Ты залил мосты — а мы пришли реками...
Ты ушёл на дно — а дно давно уже не дно...
На каждом дне есть зеркало — и в нём твоё лицо...

(Choir erupts from nothing)

[Chorus]
(Maximum power, key shift up, male drone, everything)
МЫ ВЫХОДИМ В НОЧЬ, ГДЕ КОСТИ СВЕТЯТСЯ ЛУНОЙ!
МИЛЛИОНЫ ТРОП СПЛЕЛИСЬ В КЛУБОК ПЕРЕД ТОБОЙ!
Бейте в бубны! Рвите мрак!
TeleSint бо ведает — КАЖДЫЙ ШЁПОТ, КАЖДЫЙ ЗНАК!

[Outro]
(Solo voice fading, hurdy-gurdy drone dying)
Есть такое место... где слова не умирают...
Где лицо меняют...
а глаза...
(silence)

Стиль:

slavic dark folk, ritual folk, witcher 3 soundtrack style, raw acoustic, solo female mezzo-soprano lead vocal throughout, lullaby intro a cappella solo voice, soft whispering verses solo voice, powerful epic chorus solo voice with brief female choir only on chorus peak moments, deep male drone vocal only on final chorus, hurdy-gurdy organic drone, detuned village fiddle, frame drum and large war drum on chorus, hammered dulcimer, gusli plucked strings, wooden shepherd pipe between vocal phrases, cello pizzicato on verses deep arco on chorus, single anvil strikes, hand claps foot stomps on dance section, all acoustic instruments, no synths no electronic, E minor, slow dark 95bpm verses into fast 150bpm chorus, extreme loud soft contrast, forest reverb, key change up final chorus, medieval slavic village, pagan ritual energy, ancient folk singing

Переписана логика ведения логов.

➖ Из главного - теперь лимиты рассчитываются не исходя из активности за 24 часа, а по количеству запросов с начала суток. То есть, условно, теперь можно сделать 200 запросов в 23:59 и снова 200 запросов в 00:00.
➖ Теперь можно выгрузить историю своих запросов в несколько форматов с фильтрами
➖ Повышена стабильность выгрузок. Теперь бот будет гораздо реже отправлять в поддержку за результатами.

Самое главное, что я избавился от древней архитектуры, когда логи были разбиты по разным местам, были совсем неинформативными, а где-то вообще сразу удалялись из очереди. Да и вообще, логика мешала внедрению некоторых функций.

Сейчас не все старые запросы будут видны в профиле. На перенос нескольких десятков миллионов записей из одной базы в другую нужно некоторое время. Поэтому сегодня лимиты могут работать странновато, например, у кого-то они вообще обнулятся.