Как обкачивать Telegram-каналы с помощью Python — туториал с кодом от «Системного Блока» 🧑‍💻

Мессенджер Telegram, в котором вы читаете этот текст, в последние годы превратился в одну из крупнейших коммуникационных систем планеты и своего рода «интернет в интернете». В 2025 году число активных пользователей Telegram в месяц (MAU) превысило 1 миллиард человек — ⅛ населения Земли. Ежедневно в мессенджер заходят 450 млн. пользователей.

Получается, что коммуникция в Telegram — это значительная часть всего, что говорится и пишется каждый день на языках планеты. Но как получить доступ к этим массивам текстов для количественных исследований? В этом помогут приложение Telegram Desktop, язык Python и библиотека pyrogram. В гайде с кодом рассказываем сначала о том, как выгрузить и автоматически разложить по папкам тексты из одного канала, а затем — о рекурсивном подходе для поиска и обкачивания больших групп связанных каналов.

🤖 «Системный Блокъ» @sysblok

Портреты слов, тональность и морфемный разбор: что теперь умеет НКРЯ с помощью нейросетей и NLP-библиотек

Национальный корпус русского языка (НКРЯ) уже давно не просто «собрание» репрезентативных текстов — это огромный комбайн из инструментов для исследования языка. И конечно, в эпоху нейросетевого бума в НКРЯ добавляются новые инструменты на основе нейросетей. Рассказываем коротко о современных технологиях под капотом самого авторитетного русского корпуса:

👯‍♀️ Похожие слова
Инструмент «Портрет слова» показывает лексемы, которые часто встречаются в похожих контекстах. Это не только синонимы, но и антонимы, слова из одной тематической области и др. Основой служит технология word2vec, а модели обучены для каждого корпуса отдельно — можно наблюдать, как ассоциаты слова меняются от «Русской классики» до корпуса СМИ.

🧬 Морфологическая разметка
Каждое слово в корпусе снабжено леммой, частью речи и грамматическими признаками (время, падеж, число и т.п.). Омонимия снимается автоматически, а вся информация подгружается прямо при клике на слово. В основе — модель Rubic, использующая RuBERT и PyMorphy2.

🏗 Морфемный разбор
НКРЯ теперь умеет делить слова на приставки, корни и суффиксы. Причем для разных подкорпусов используются разные подходы: школьный (Тихонов) и академический (Кузнецова и Ефремова). Работают и словарные, и нейросетевые методы — в том числе собственная модель НейроКРЯ🦆 на базе сверточных нейронных сетей.

😡 Анализ тональности
В корпусе соцсетей каждое сообщение снабжено автоматической меткой: положительное, отрицательное или неопределенное. В основе — модель RuRoBERTa, обученная на датасете RuSentiment и размеченных вручную текстах. При поиске можно отфильтровать тексты по тональности.

🏷 Ключевые слова
В корпусе Региональных СМИ к каждому тексту автоматически подбираются теги. Это помогает находить публикации по темам (например, «Пушкин» + «театр») и формировать подкорпусы по интересам. Извлечение реализовано через библиотеку RuTermExtract с рядом тонких настроек.

👉 Подробнее со скриншотами и ссылками — в полной версии статьи 📌

🤖 «Системный Блокъ» @sysblok

ИИ для учителей: как нейросети помогают преподавать в школе 👩‍🏫🧑‍🏫

Искусственный интеллект меняет образование, беря на себя задачи по подготовке урока, составлению конспектов, созданию заданий любого формата и генерации сопроводительного (и не только) материала к урокам.

«Системный Блокъ» продолжает спецпроект «ИИ-лайфхаки для вашей профессии» и представляет раздел «ИИ для учителей» — практическое руководство по использованию нейросетей в преподавании.

Вы узнаете:
— как ChatGPT и DeepSeek помогают экономить время на проверке работ и при составлении учебных планов;
— какие промпты дают лучший результат (с примерами из практики учителей);
— как избежать ошибок при работе с ИИ и превратить его в надежного помощника, не теряя контроля за содержанием уроков и заданий.

Примеры из реальной практики!
Вот несколько промтов из учительской практики, которые вы найдете в посте:

1) Представь, что ты учитель русского языка и твой ученик 17 лет попросил объяснить разницу между значениями слов ВЫПЛАТИТЬ — ЗАПЛАТИТЬ — УПЛАТИТЬ — ОПЛАТИТЬ — ОТПЛАТИТЬ. Объясни разницу в значениях этих глаголов, подчеркни нюансы использования в речи, приведи примеры использования.

2) Сделай табличку с иллюстрациями новой лексики для студентов русского как иностранного. В каждой клеточке должно быть слово и реалистичная картинка, иллюстрирующая это слово. Если клеточка пустая, то оставь ее пустой. Прилагаю исходную таблицу-образец.

3) Представь, что ты учитель литературы в 10 классе, возраст учеников — 16 лет. Тебе нужно написать конспект урока на тему «Мысль семейная в романе Льва Толстого «Война и мир». Цели урока: проанализировать семьи Болконских, Ростовых, Безуховых, Курагиных и показать основные семейные черты представителей этих семей. Выбери эпизоды для анализа семейных отношений Болконский, Ростовых, Безуховых, Курагиных, составь вопросы для анализа эпизодов, подготовь итоговое задание для проверки знаний учащихся по теме. Урок должен состоять из организационного момента, подготовки к изучению темы урока, основной части по анализу романа, проверки знаний и заключения.

Ответы LLM на эти промты, а также другие примеры запросов — в полной версии материала «ИИ для учителей»

🤖 «Системный Блокъ» @sysblok

🈷️ Японский язык в цифровую эпоху

Как древним кандзи ужиться с современными технологиями? Рассказываем, как японская письменность с её многовековой историей и традициями чувствует себя в цифровом мире, какие есть шрифты для японской графики и где какой правильно использовать.

🇯🇵 Три алфавита — одно сообщение. Японцы свободно комбинируют кандзи (иероглифы) и две слоговые азбуки — хирагану и катакану, а в мессенджерах сюда же добавляют ещё и латиницу.

📚 Вертикальное письмо в XXI веке. Манга, газеты и официальные документы до сих пор могут печататься сверху вниз — и даже смартфоны это поддерживают.

(^_^) Эмоции одним символом. Каомодзи, интернет-сленг и миниатюрные пиктограммы позволяют выразить настроение быстрее, чем длинные фразы.

🖥 От иероглифа до кода. Всё это стало возможно благодаря цифровым стандартам и работе над шрифтами, которые хранят в себе тысячи символов.

А как кандзи живут в программировании и чем японский интернет-сленг отличается от западного — читайте в полной версии статьи 📌

🤖 «Системный Блокъ» @sysblok

«Системному Блоку» — 7 лет! Лучшие материалы ко дню рождения 🎁

В 2018 году мы запустили первое в русскоязычном пространстве медиа о пересечении цифровых технологий и гуманитарных наук, компьютерных алгоритмов и культуры, нейросетей и искусства. За семь лет мы собрали больше сотни тысяч читателей на разных платформах (и особенно любим вас, дорогие подписчики в телеграме!), а также команду экспертов и авторов, живущих по всему миру. Мы научились просто рассказывать о сложных научных статьях, делать гайды и туториалы по цифровым методам, пилить собственные большие дата-исследования с инфографикой и выпускать краткие емкие разборы терминов из NLP/DS/DH.

Рассказываем о наших любимых материалах последнего года, а также немного — о достижениях.

🧑‍💻Применяем цифровые методы

За 7 лет на сайте «Системного Блока» вышло 1392 публикации. Это и интервью с экспертами, и блоги, и статьи о методах DH, и обзоры проектов. Только в этом году мы рассказывали, как цифровые археологи раскрывают преступления нацистского режима, а криптографы разгадывали шифр серийного убийцы Зодиака; описывали визуализацию всех книг мира на одной полке с помощью ISBN и реконструкцию сети дорог Римской империи. 
 
🏛📜Исследуем данные о культуре и образовании

В прошлом году мы начали спецпроект «Классное чтение», в котором проанализировали состав школьных программ по литературе, начиная с 1919 года. Недавно, кстати, выпустили новую часть этого исследования о том, как изучается творчество писательниц. С интерактивными карточками, графиками и облаком тегов. 

🤖Погружаемся в мир ИИ

Мы не могли оставаться в стороне от всеобщего интереса к развитию нейросетей, и запустили дайджест новостей из мира больших языковых моделей. Но недавно он вышел на новый уровень — и теперь к новостям мы добавляем экспертный комментарий о том, почему на это событие важно обратить внимание. 

🛠 ..и учим(ся) применять ИИ в жизни

Для тех, кто пока не решил, какую пользу в работе может принести искусственный интеллект, мы выпустили спецпроект «ИИ-лайфхаки для вашей професии». Мы собрали кейсы от преподавателей, исследователей и других специалистов, которые рассказывают, как использовать нейросети с максимальной пользой. А также подобрали готовые промпты, способные сэкономить часы рутинной работы.

🔭Осваиваем новые сферы

Мы хотим оставаться для наших читателей проводником в цифровые гуманитарные науки и технологии. Для этого мы делаем гайды и рассказываем о важных терминах в глоссарии.  Наш новый формат, который поможет погрузиться в тему самым начинающим, —  это порталы-точки входа. 

На странице про DH мы собрали все, что нужно знать про инструменты и методы цифровых гуманитарных наук, а также составили список экспертов, книг и образовательных программ. А в разделе «Дата-журналистика: точка входа» мы описали этапы работы над исследованием, разобрали кейсы, перечислили полезные сервисы для сбора, анализа и визуализации данных и дали ссылки на специализированные ресурсы. Так что, если вы не знали, с чего начать погружение в DH или в журналистику данных, начните с наших порталов. 

🏆Получаем награды

Весной 2025 года проекты «Системного Блока» стали призерами в двух номинациях премии DH Awards: наш портал с подборкой материалов по Digital Humanities — в номинации Best DH Resource (Лучший DH-ресурс),  проект «Классное чтение» — Best DH Data Visualization (Лучшая визуализация данных). 

Кроме того, обладателями наград стали наши друзья и постоянные авторы Борис Орехов, занявший второе место в номинации DH Short Publication за статью о применении дистрибутивной семантики к шахматам, и Ольга Алиева, чей курс по компьютерному анализу текста стал призером в номинации DH Training Materials.

🚀Мы верим, что впереди у нас еще много интересного. В конце концов мы только достигли школьного возраста. Оставайтесь с нами, присоединяйтесь к команде, любите фьюжн цифры и культуры!

🤖 «Системный Блокъ» @sysblok

Угадай научпоп-статью по картинке: тест ко дню рождения «Системного Блока»

Что символизируют 💀черепа💀 — раскопки Древнего Рима или драму ледникового периода, когда люди едва не вымерли?
Почему Дарвин задумчиво смотрит на деревья?🌳 И что за убийственный гендерный дисбаланс зашифрован в нашей инфографике? 📊

Проверьте свою зрительную интуицию в нашем новом тесте: угадайте статью «Системного Блока» по картинке, которую к ней сделали наши художники 👩‍🎨

🤖 «Системный Блокъ» @sysblok

Быстрый старт: как говорить с нейросетью

«Системный Блокъ» продолжает спецпроект «ИИ-лайфхаки для вашей профессии» и представляет гайд по быстрому старту — инструкцию, которая поможет зарегистрироваться в популярных нейросетях и написать осмысленные запросы, если вы никогда не взаимодествовали с нейросетями или понимаете, что они не всегда выдают вам подходящие ответы.

Кратко: что внутри?

Мы пошагово разбираем:
— как завести аккаунт в ChatGPT и DeepSeek — от ввода почты до первого вопроса;
— что такое промпт и как сформулировать его так, чтобы нейросеть поняла вас с первого раза;
— какие функции вообще есть у нейросетей.

Вы узнаете:
— с какими задачами могут помочь нейросети;
— как прикреплять документы и изображения для анализа;
— как разные режимы поиска помогают сделать выдачу нейросети точнее.

Загрузите в ChatGPT научную статью и попросите: «Выдели ключевые тезисы» — нейросеть проанализирует текст. А чтобы найти свежие данные по этой теме, задайте соответствующий запрос в DeepSeek с включенным Search-режимом.

Подробные инструкции с наглядными примерами уже ждут вас в разделе «Быстрый старт». 

🤖 «Системный Блокъ» @sysblok

Сосны, Волга, данные и пеньчарты: «Системный Блокъ» провел мастерскую дата-журналистики на Летней школе

Команда «Системного Блока» вернулась с Летней школы (это волонтёрский образовательный проект, которые ежегодно проходит в лесу на берегу Волги недалеко от Дубны).

Как и в прошлом году, мы делали на ЛШ мастерскую @datajourschool, посвященную дата-журналистике. 25 участников — лингвисты, журналисты, аналитики данных — две недели изучали, как спланировать дата-исследование, где взять данные, как с ними работать и как делать из них красивые и понятные визуализации. И применяли все это на собственных проектах — исследованиях, партнерами которых выступили:
— благотворительная организация «Ночлежка» @nochlezhka,
— научно-популярный журнал «Кот Шредингера» @kot_sh,
— издательство ОГИ @izdatelstvoogi,
— медиа о культуре российских регионов «В лесах» @vlesah,
— цифровой корпус почтовых открыток «Пишу тебе» @pishuteberu

Но мы не только учились. Под чутким творческим руководством дата-художницы Нади Андриановой выпускники мастерской прошлого года сделали выставку дата-арта, где данные о летнешкольниках были представлены в виде пеньчартов или фигур с картин Малевича.

Участники уехали домой, но мастерская не закончилась: работа над проектами продолжается.

🤖 «Системный Блокъ» @sysblok

Музыка на «костях»: как рентгеновские снимки заменили винил

Что общего у Элвиса Пресли и перелома ключицы? В СССР ответ на этот вопрос был неожиданным, но точным: его пластинки печатали на рентгеновских снимках. Рассказываем, когда и зачем энтузиасты создавали рентген-пластинки, какие исполнители на них оказались, и как проект  BONE MUSIC работает с этим феноменом.

💿 Что это за пластинки?

Любительские записи музыки на рентгеновских снимках появились в конце 1940-х годов. Одной из причин, конечно, был повсеместный дефицит материалов, поскольку винил для пластинок было найти непросто. Тогд использованную пленку из больниц и поликлиник стали выкупать и использовать для самодельных записей. Родиной такого рентгениздата, кстати, считается Санкт-Петербург (тогда — Ленинград).

🕺🏻 Запрет, мода, память

Вторая причина популярности музыкальных рентген-снимков — советская цензура. Официально продавать пластинки с иностранной (джаз, рок-н-ролл), эмигрантской и блатной музыкой было запрещено. Но меломаны и сторонники контркультуры находили способы распространить ее, несмотря на возможное наказание вплоть до уголовной ответственности. Так рентген-пластинки стали не только способом распространения музыки, но и символом подпольной культуры, которая противостояла официальной идеологии.

Сошел на нет этот способ записи к концу 1960-х – по мере распространения кассетных магнитофонов.

🩻 BONE MUSIC

Один из наиболее крупных проектов, направленных на сохранение памяти о рентген-пластинках, — BONE MUSIC, инициатива The Bureau of Lost Culture — лондонского объединения, которое собирает артефакты контркультуры ХХ века. 

Создатели проекта, музыкант и продюсер Стивен Коутс и фотограф Пол Хэтфилд, ищут рентген-снимки в странах бывшего коммунистического лагеря, оцифровывают их, проводят исследования и выставки. Это позволяет не только сохранить уникальные арт-объекты, но и сделать их доступными для широкой аудитории.

Сегодня сайте цифрового проекта Bone Music размещены фотографии музыкальных рентген-снимков, аудио, отчеты и другие материалы. Можно найти записи Эллы Фитцджеральд, Элвиса Пресли, Петра Лещенко (русского эстрадного певца, оказавшегося после Первой мировой войны румынским подданным, но имевшего международный успех в 1920–1940-е годы), услышать одну из первых версий знаменитой Mambo Italiano или образцы русского шансона («Через море, скованное льдами...», «Расскажу я вам этот случай...»).

Подробнее о том, как появилась идея проекта и как он развивался, узнаете из полной версии статьи.

Время чтения: 4,5 минуты

🤖 «Системный Блокъ» @sysblok

ИИ для исследователей: как нейросети помогают в науке

Что, если ИИ сможет быстрее вас находить нужные статьи, систематизировать данные и даже подсказывать новые направления для исследований? В новом разделе спецпроекта «ИИ-лайфхаки для вашей профессии» мы собрали практические инструменты, которые экономят часы рутинной работы ученым.

Кратко: о чем раздел?

ИИ ускоряет работу исследователей на всех этапах: от формулировки темы и поиска литературы до анализа данных и подготовки публикаций. Если вам предстоит писать курсовые и дипломные работы, готовиться к конференциям и проводить собственные исследования, вам наверняка пригодятся многие ИИ-инстурменты, которые могут с этим помочь.

Вы узнаете:
— как с помощью Elicit выбрать тему и найти research gaps;
— чем полезны Litmaps, Connectedpapers и Zotero для поиска и систематизации литературы;
— как собрать собственную базу знаний с Meetcody.ai и Typeset.io;
— зачем использовать Perplexity и Consensus для чтения и анализа научных источников;
— как нейросети помогают оформлять библиографию и даже писать код для анализа данных.

Все инструменты — с примерами запросов, скриншотами и пошаговыми сценариями. Подробнее читайте в разделе «ИИ для исследователей».

🤖 «Системный Блокъ» @sysblok