Вчера откопал свой старый парсер для извлечения текста из телеграм-каналов. Изначально делал его, чтобы собирать все публикации в JSONL и отправлять в RAG для удобного поиска постов по контексту.

А откопал я его вот по какому поводу. Как-то между делом обмолвился своему ИИ-агенту 🦞 Claw, что «наконец-то мой возраст и размер ноги одинаковый» - он сразу спросил, какой у меня размер ноги и возраст, ему эти данные нужно добавить в USER.MD.

Нет, говорю, малыш, эту информацию тебе нужно найти самостоятельно. Запустив десяток субагентов, Claw смог только определить рамку - 39–45. А дальше вспомнил про мой второй канал и начал его постранично изучать.

Я сжалился над бедолагой - дал ему код старого парсера. Тот его допилил и за три минуты высосал весь канал на 2200 постов, засунул их в TF-IDF (типа векторная база, но не совсем) и за минуту выдал мне - 42.

«А неплохой парсер», - подумал я и попросил Claw собирать не только текст, но и метаданные (количество реакций, показов, дату и время публикации). А уже с этими данными можно немного поэкспериментировать, например, создать аналитические графики по телеграм-каналу.

В общем, перенес проект в Claude Code и всю ночь пилил тг-бота, задача которого - парсить каналы и выгружать два файла: JSONL с постами и PDF с аналитикой. Так что если интересно, ставьте - 🔥, я как доделаю выложу.

10 лучших фильмов про технологии из нулевых: после просмотра вы по-новому взглянете на науку, айтишку, и бигтех.

Если не знаете, чем занять выходные — ловите подборку:

1️⃣Кадры (2013). Два «динозавра» 40+ без каких либо навыков в IT устраиваются стажёрами в Google.

2️⃣Пиксели (2015). Таинственные пришельцы вторгаются на Землю под видом персонажей ретро-игр. Победить их смогут только настоящие геймеры.

3️⃣Стив Джобс (2015). История жизни и философии самого известного новатора, создавшего главный смартфон в мире.

4️⃣Прибытие (2016). На Земле появляются корабли пришельцев, чтобы что-то сообщить человечеству. Талантливый лингвист пытается наладить контакт, но полностью меняет представление о реальности.

5️⃣Бегущий по лезвию 2049 (2017). Переосмысление культовой классики о мрачном будущем человечества, репликантах и свободе выбора.

6️⃣Первому игроку приготовиться (2018). Единственным спасением для вымирающего человечества стала OASIS — гигантская вселенная виртуальной реальности.

7️⃣Пушки Акимбо (2019). Интернет-тролль сталкивается со своими жертвами, которые сурово его наказывают, прибив пушки к его рукам. Чтобы выжить, придётся победить в игре на выживание.

8️⃣Эффект Манделы (2019). Психологический триллер о том, как близко соприкасаются реальная и виртуальная реальности.

9️⃣Зона 414 (2021). В центре сюжета — место где с андроидами можно делать всё. Богатая девушка сбегает в Зону 414, и теперь её необходимо вернуть. но это оказывается не так-то просто.

1️⃣🅾️Главный герой (2022). У сотрудника крупного банка всё идёт по накатанной, пока он однажды не выясняет, что окружающий его мир — часть огромной видеоигры.

С планами на вечер определились 👏

Костыль | Подписаться