Как парсить телеграм на Python

📖 Термины:
Jupyter Notebook - интерактивная среда разработки для создания и работы с документами, содержащими живой код, уравнения, визуализации и пояснительный текст.
Python - высокоуровневый язык программирования общего назначания.
Anaconda - дистрибутив Python для научных вычислений.
Google Colab - облачный сервис для запуска Jupyter Notebook.

Установка
Метод 1:
Скачать Anaconda
Установить дистрибутив
Открыть Anaconda Navigator
Запустить Jupyter Notebook
Импортировать notebook из данного поста, файл в комментариях
Начать работу

Метод 2:
Google Colab
Войти через Google-аккаунт
Импортировать notebook из данного поста, файл в комментариях
Начать работу

Преимущества:
Локально: полный контроль, работа без интернета
Colab: бесплатно, GPU/TPU, совместная работа
Выбор зависит от ваших задач и предпочтений.

🏆 Итоги конкурса:

@asv_s сертификат Coeval 🫶🏻

@poisonontheneck курс дмт или ежовик

@vladiboomin - не был подписан на канал, выбрал нового победителя:
@igor_jer1 сертификат или чай 🌵

@samgomax курс ежовика

Новый конкурс

По всем вопросам: @dmatw

Курс по системному анализу 📖

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Поздно ли учить SQL?

⛏Недавно я наткнулся на интересный вопрос от коллеги на просторах интернета: "Учу SQL, мне 32 года, не поздно ли начинать карьеру в IT?"

⛏ SQL — это основа, которую можно освоить за месяц, так что по этому поводу не стоит переживать. Если говорить об IT в целом, то это бездонная кроличья нора. Рассмотрим, например, область баз данных и оптимизации. В первую очередь необходимо оптимизировать операционную систему Linux и железо, затем углубиться в детали работы продукта под капотом, например, PostgreSQL, и только после этого заниматься оптимизацией SQL-запросов.

⛏ Научиться всему этому можно у замечательного специалиста — Евгения Аристова:
• Database Architect;
• Сотни реализованных проектов, включая проекты с объемами данных более 100 Тб и более 1 млн QPS.

Пишите ему в личку: @Aeugene
Промокод на бонус: dmatew

По всем вопросам: @dmatw

Курс по системному анализу 📖

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Где удаленно работать за 300к+?

В данный момент открыты следующие вакансии:

🧑‍💻 Роль: Аналитик (BA/CA) в крупный частный банк
Формат работы: удалённо из РФ и дружественных стран
Проект: автоматизация проверки банковских гарантий с помощью LLM (искусственный интеллект).
Вилка: от 250 000 до 350 000 руб. net.

😑 Роль: Java разработчик
Формат работы: удаленный формат, в том числе вне РФ
Проект: разработка функционала по работе клиента ЮЛ с зарплатным проектом в мобильном канале.
Вилка: по ТК РФ: 300 - 385к гросс

👅 Роль: Go разработчик
Формат работы: удаленный
Проект: система мониторинга и управления мультимедийными комплексами переговорных комнат банка (умный дом).
Вилка: по ТК РФ 280-320к гросс

🚶‍♀️ Роль: Системный аналитик 
Формат: удаленка РФ и друж страны
Проекты: банковские проекты, сервисы, кредитование, кредитные карты
Опыт работы с микросервисами обязателен
Вилка: от 330400  до 400 000 на руки (ТК РФ или ИП)

Узнать детали и отправить резюме можно мне: @dmatw

Курс по системному анализу 📖

Как составить резюме и где я работаю ⛏

Где учился ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

А вы пишите сопроводительные письма?

📖 Резюме должно быть структурировано, так как HR тратят меньше минуты на просмотр, весь лонгрид можно изложить в сопроводительном письме

✅ Предлагаю рассмотреть мой вариант:
Уважаемые рекрутеры, добрый день!

Я с большим интересом ознакомился с вашим предложением о должности системного аналитика и считаю, что мой опыт и навыки идеально подходят для этой роли.

💙 На позиции главного аналитика В Минцифры в мои компетенции входило:
- Моделирование бизнес-процессов по разработке и согласованию «сквозных» проектов в BPMN, консультирование якорных заказчиков (стейкхолдеров) и координация работ по процессам;
- Разработка и согласование архитектурных решений для систем мониторинга рынка электронной продукции и системы выдачи разрешений для параллельного импорта (USE CASE диаграмма, ER структуры данных, UML диаграмма компонентов/состояний)
- Проектирование API для CRM системы координации работ по сквозным проектам (Sequence диаграмм, CRUD операции)

💜 На позиции дата аналитика в Wildberries:
- Тестировал API сайтов используя Postman (методы Rest API - GET / POST / PUT / PACTH / DELETE);
- Моделировал бизнес-процессы в нотациях UML/BPMN для проекта по мониторингу товарооборота
- Собирал требования БТ/ФТ/НФТ у стейкхолдеров для разработки дашбордов в Apache Superset

🧑‍💻 На текущем месте работы в роли ведущего системного аналитика:
- Моделировал бизнес-процессы в нотациях EPC/BPMN/UML при подготовке проектной документации для интеграций систем источников;
- Собирал БТ/ФТ/НФТ у стейкхолдеров при интеграциях, разработке витрин и BI отчетов;
- Взаимодействовал с командой разработки, сопровождения, архитекторами.
Мое портфолио на
GitHub: https://github.com

По всем вопросам: @dmatw

Курс по системному анализу 📖

Как составить резюме и где работаю ⛏
Где учился ⛏

Вакансии на 300к+ 🛍

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Почему курсы не помогут и как правильно учиться?

⛏ Если вы проходите курсы ради сертификата, не применяете знания на практике и не структурируете их, это может оказаться пустой тратой времени и денег. Рекомендую использовать интеллект-карты (Mind Map). Например, моя карта по IT-архитектуре помогла мне получать синьорские офферы на позицию системного аналитика, учитывая мой опыт.

🗺️ Что включает в себя мой Mind Map?
С помощью этого инструмента я объясняю сложные темы простыми визуальными элементами. В каждом блоке есть ссылка на конспект, размещенный на моем GitHub.

📞 При покупке данной карты вы получите 2 консультации:
1. Погружение в Mind Map и ответы на все вопросы
2. Стресс-собеседование и помощь в составлении резюме

📖 Содержание:
- Виды требований (БТ/ФТ/НФТ)
- Архитектура (SOA/Микросервисы/Монолит)
- Виды интеграций
- SOAP/REST API
- Брокеры очередей (KAFKA VS RabbitMQ)
- Базы данных (основные виды: Postgres/MongoDB/Clickhouse/Redis; теоремы ACID/CAP)
- Стратегии хранения данных
- Нотации и диаграммы (UML/BPMN/C4/VAD/EPC)
- Use Case/User Story
- Проектирование высоконагруженных проектов и расчет нагрузки
- Новый материал все время дополняется

По всем вопросам: @dmatw

Где учился ⛏
Где работаю ⛏

Вакансии на 300к+ 🛍

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

ИИ платформы для создания резюме и адаптации под вакансии

🍯 Забирайте эту медятину:
resume.io
Конструктор с удобными шаблонами и подсказками для быстрого создания резюме.

jobscan.co
Анализирует резюме под конкретные вакансии и дает рекомендации по улучшению.

myperfectresume.com
Легко адаптируйте резюме под разные вакансии на лету.

CV Wolf
Быстрая проверка соответствия резюме требованиям, хоть и с устаревшим интерфейсом.

enhancv.com
Помогает оформить резюме и дает советы по структуре.

kickresume.com
Анализ ключевых фраз для повышения эффективности вашего резюме.

topresume.com
Бесплатная оценка резюме и возможность доработки специалистами.

rezi.ai
Подбор ключевых слов для успешного прохождения ATS.

skillsyncer.com
Понятный интерфейс и рекомендации для улучшения резюме.

resumeworded.com
Базовый анализ резюме бесплатно, расширенные функции с подпиской.

Рекомендация
Пишите резюме сами, а адаптируйте его под вакансии с помощью этих инструментов.

По всем вопросам: @dmatw

Курс по системному анализу 📖

Где учился ⛏
Где работаю ⛏

Вакансии на 300к+ 🛍

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Как меня позвали обслуживать лудоманов в офисе
NO CRYING IN THE CASINO!

🧑‍💻 Искали Аналитика-разработчика за 200к.
Давайте называть вещи своими именами: им нужен и джун-аналитик, и джун-разраб в одном флаконе, каждый по 100к. В целом адекватно и рационально с их стороны — только вот тебе придется быть синьором по совмещению этих двух абсолютно разных ролей.
А если честно — никогда не откликайтесь на подобные вакансии.

Конкретные минусы:
🏠 Офисы мелких контор в Москва-Сити это настоящий серпентарий скамеров;
🚇 Гибридный формат после испытательного срока, то есть о полной удаленке и речи быть не может, а первые 3 месяца придется таскаться в офис;
🎰 Беттинг, ставки, казино, это серый рынок. Идешь туда — портишь репутацию в глазах будущих работодателей, придется скрывать свой реальный опыт в резюме;
😵 И самое главное — это работа на индустрию, которая деструктивна для общества. Для лудоманов существуют рехабы, где их лечат, а тут предлагают помогать их доить.

🌍 Фото в посте из фотосессии моего бренда Coeval, коллекции "CASH TALKS NO LONGER", выпущенной в далеком 2018 году.
Данная коллекция иллюстрирует пример того, что деньги, сколько бы их у Вас не было, решат далеко не все проблемы. Каждый пассажир Титаника, богатый или бедный, встретился со смертью лицом к лицу, и не мог с этим ничего поделать.

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

Курс по системному анализу 📖

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Архитектурный дизайн торговой площадки с выбором базы данных

⛏ Функционал:
- покупка и продажа предметов
- 2 типа UI и 2 Backend-сервиса для покупателей и продавцов

⛏ Основные особенности:
- Покупатели и продавцы могут просматривать каталог предметов и фильтровать его по атрибутам и новинкам.
- Продавцы могут выставлять свои товары на продажу, а покупатели приобретать их.
- Доступна функция чата, позволяющая пользователям обмениваться сообщениями и обращаться к истории переписки.
- Обеспечивается быстрая доставка сообщений между пользователями во время диалогов.

⛏ Выбор баз данных:
PostgreSQL — для хранения метаданных о пользователях и балансе монет, так как эти данные являются чувствительными. Реляционные базы данных идеально подходят для сложных связей между сущностями.
MongoDB — для хранения атрибутов предметов (каталог). Документная модель хорошо подходит для систем управления контентом.
ClickHouse — для хранения истории действий покупателей и продавцов, а также всей истории сообщений между ними. Колоночные базы данных отлично справляются с однотипными записями.
Redis — для хранения статусов пользователей, недавних публикаций предметов и сообщений между продавцами и покупателями. Это быстрое хранилище пар «ключ-значение». Отлично подходит для кэша.

⛏ Больше информации можно получить на Курсе по системному анализу 📖

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Деплой Linux и PostgreSQL прямо с IPhone

⛏ Давайте развернем Linux, PostgreSQL и напишем Python/SQL скрипты прямо с айфона. Заходим на Yandex Cloud, далее вкладка Compute Cloud и нажимаем создать виртуальную машину.

⛏ Выбираем доступ по OS Login и создаем виртуалку. Переходим в терминал. Устанавливаем пакет OpenSSH, генерируем публичный ключ и копируем его:
Команда:
apk add openssh-client && ssh-keygen -t rsa -b 2048 -f ~/.ssh/id_rsa -N "" && cat ~/.ssh/id_rsa.pub

⛏ Переходим в нашу виртуалку и добавляем новый ключ.
Копируем строчку для подключения и вставляем в Терминал.

⛏ Устанавливаем PostgreSQL и даем разрешение удаленных подключений.
Команда:
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list' && wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add - && sudo apt update && sudo apt install -y postgresql-17 && sudo sed -i "s/#listen_addresses = 'localhost'/listen_addresses = '*'/" /etc/postgresql/17/main/postgresql.conf && echo "host all all 0.0.0.0/0 md5" | sudo tee -a /etc/postgresql/17/main/pg_hba.conf && sudo systemctl restart postgresql

⛏ Создаем пользователя admin с правами superuser
Команда:
sudo -u postgres psql -c "CREATE USER admin WITH PASSWORD 'admin'; ALTER USER admin WITH SUPERUSER;"

⛏ И накатываем авторскую базу данных Aristov Tech по тайским перевозкам.
Команда:
sudo su postgres
cd
wget https://storage.googleapis.com/thaibus/thai_small.tar.gz && tar -xf thai_small.tar.gz && psql < thai.sql
psql -d thai

⛏ Отправляем простой запрос для проверки.
Запрос:
SELECT t.fkride, r.fkbus, r.startdate FROM book.tickets t LEFT JOIN book.ride r ON t.fkride = r.id WHERE t.id = 5176481;

⛏ Переходим в TablePlus и заполняем данные для подключения к PostgreSQL.
Проверяем отправку запроса.

⛏ Теперь идем в Google Collab и упаковываем наш запрос в Python скрипт и проверяем результат:
Python код:
import psycopg2
import pandas as pd
conn = psycopg2.connect(host="158.160.169.7", port="5432", database="thai", user="admin", password="admin")
query = f'''
SELECT t.fkride, r.fkbus, r.startdate
FROM book.tickets t
LEFT JOIN book.ride r ON t.fkride = r.id
WHERE t.id = 5176481;
'''
df = pd.read_sql_query(query, conn)
df.head()

⛏ Удаляем Postgres с ВМ, оставшиеся данные и каталоги.
Команда:
sudo apt purge postgresql postgresql-client postgresql-client-common postgresql-common && sudo apt autoremove --purge
Команда:
sudo rm -rf /etc/postgresql /etc/postgresql-common /var/lib/postgresql /var/log/postgresql

🤖На видео можете познакомиться с моим ИИ аватаром

⛏ Ресурсы:
ISH - терминал
TablePlus - клиент БД
Yandex Cloud - облачная платформа

Курс по системному анализу 📖

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Как вас могут заскамить на собеседованиях

⛏ Участились случаи с мошенниками, которые представляются рекрутерами известных компаний, таких как IBS. Они пишут кандидатам в мессенджерах, проводят собеседования и делают заманчивые предложения. Но на самом деле занимаются фишингом.

⛏ Пример из практики:
Одна из девушек, находясь в поиске работы, столкнулась с рекрутером, который сначала спросил, есть ли у нее техника Apple. Это уже должно было насторожить — серьезные компании не отбирают кандидатов по такому критерию, а предоставляют свою технику. Далее, рекрутер предложил выйти из своего iCloud и войти в его учетную запись для демонстрации каких-то рабочих процессов.

⛏ Ловушки в виде фишинговых приложений:
Еще один способ обмана — отправка ссылок на якобы внутренние приложения для митапов. На деле это могут быть вирусные программы, которые повреждают ваше устройство или воруют личные данные. Обязательно обращайте внимание на платформы, в которых вам предлагают созвониться. Обычно все встречи проходят в Zoom, Google meet, Яндекс телемост, Контур.толк, возможно кто-то до сих пор использует Skype.

⛏ Красные флаги для выявления скамера:
1. Уточняют вашу ОС и предлагают зайти в чужую учетную запись, например ICloud.
2. Предлагают оплату криптой с сомнительным трудовым договором.
3. Используют неизвестный софт для проведения онлайн-встреч.

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Топ 6 приложений на IPhone для практики и быстрого старта в IT

⛏Забирайте это опиум для народа:

Sololearn
⛏ Осваивайте Python, Java, основы ИИ и многое другое прямо с телефона. Всего 15 минут в день — и вы уверенно прокачиваете технические навыки в игровом формате.

Linux Basics
⛏ Учитесь работать с Linux легко и с интересом! Мобильный интерактивный тренажёр, который объясняет всё с нуля, шаг за шагом, через практику и мини-игры.

iSH
⛏ Запустите настоящий Linux-терминал на вашем iPhone! Редактируйте файлы, управляйте ими и открывайте для себя новые возможности прямо на iOS.

TablePlus
⛏ Современное и простое приложение для работы с базами данных: MySQL, PostgreSQL, SQLite, Redis, Clickhouse, MongoDB и другими. Удобный интерфейс для быстрой работы.

SQL рецепты
⛏ Практический справочник с готовыми SQL-запросами и примерами. Экономьте время — просто находите нужные решения для типовых задач.

Miro
⛏ Уникальное пространство для совместной работы и управления проектами. Планируйте, обсуждайте и воплощайте идеи вместе с командой. Доступно на всех устройствах, включая iPhone.

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Лучшая социальная сеть для поиска работы

⛏ Регистрация
Если вы еще не зарегистрированы в LinkedIn, самое время это сделать. Рекомендую использовать Gmail для создания аккаунта и VPN. Не думайте, что LinkedIn — это только для стартапов и иностранных компаний. Я регулярно получаю предложения от крупных отечественных компаний, таких как Яндекс, Самокат, Альфа-банк, Сбербанк и многих других. На LinkedIn вы даже найдете официальные страницы этих компаний и сможете ссылаться на них при заполнении раздела «Опыт работы».

⛏ Заполнение профиля
Уделите внимание каждому разделу, особенно опыту работы. Рассматривайте свой профиль как резюме. Рекомендую придерживаться следующей структуры при заполнении раздела «Опыт работы», которая получила положительные отзывы от многих HR:
Техстек | Задачи | Результаты
Пет-проекты и личные качества указывайте в разделе «О себе». Если вы не знаете, с чего начать, изучите мой профиль или профили коллег в вашей области. Это отличное место для поиска вдохновения.
Ссылка на мой профиль
Гайд по резюме

⛏ Статус Open To Work
Даже если вы не ищете работу, включите этот статус. HR-специалисты будут охотнее добавлять вас в контакты, и вы начнете формировать ценную сеть профессиональных связей.

⛏ Расширяйте свою сеть контактов
Добавляйте новых людей в контакты. Сначала добавьте 300 человек, после этого ваша сеть начнет работать на вас — вы будете получать больше предложений о работе и приглашений в контакты. Можете начать с добавления моих знакомых! Не стесняйтесь писать HR с хорошим сопроводительным письмом, чтобы узнать о вакансиях. Часто они публикуют актуальные предложения на своих страницах.
Гайд по сопроводительному письму

⛏ Мониторинг ленты новостей
Следите за лентой рекомендаций — там часто публикуются интересные вакансии. Также в разделе «Вакансии» LinkedIn автоматически подбирает предложения, основываясь на вашем профиле. Вы сможете отфильтровать их по различным критериям.

⛏ Создавайте контент
Делитесь событиями, достижениями, советами и интересными открытиями, чтобы повысить охваты просмотров вашего профиля.
Пример моих постов:
Как составить резюме и где я работаю
Ресурсы для прокачки скиллов
Открытые вакансии

Знатоки LinkedIn, что бы вы еще добавили?

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Где искать работу в Telegram

⛏ GameDev, Blockchain, QA, 1C:
- @gdjobs и @gamedevjobs- Сообщество и вакансии для gamedev
- @web30job - Blockchain and Crypto Jobs
- @job41c - Вакансии для 1С специалистов
- @qa_jobs - Вакансии в сфере QA

⛏ Для аналитиков, архитекторов и DS:
- @analysts_hunter - DA/BA/SA
- @saba_hunter и @analyst_job- BA/SA
- @arh_rabota - Архитекторы
- @not_boring_ds_jobs - Нескучные позиции в Data Science

⛏ Медиа и Контент:
- @forallmedia - Вакансии для редакторов, журналистов, копирайтеров и контент-менеджеров
- @it_vakansii_jobs - IT и Digital вакансии

⛏ Продакт и Проектный Менеджмент:
- @forproducts и @product_jobs - Вакансии для Продакт менеджеров, продакт овнеров и проджект менеджеров, CPO
- @products_jobs - еще один канал для продактов

⛏ Удаленная работа и релокация:
- @serbia_jobs - Удаленка по Сербии
- @evacuatejobs - Релокация и удаленка
- @relocats - Вакансии с переездом заграницу
- @zarubezhom_jobs и @dev_connectablejobs - Вакансии от 300+ зарубежных компаний с русскоговорящими фаундерами или командами (InDrive, Revolut, Wallet, JetBrains, 1inch, Neon, Chatfuel и другие компании)
- @spain_it_jobs - Вакансии и резюме в IT&Digital в Испании
- @cyithr - Вакансии кипрских IT компаний (в офис и удалённо)
- @remoteit - Фул тайм удаленка (настоящая)
- @remotejun - Удаленка для IT стажеров и джунов

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Нападение на канал

⛏ Сегодня утром я столкнулся с неожиданной ситуацией - количество подписчиков резко подскочило с 1780 до 5800. И, признаюсь честно, это меня совсем не обрадовало.

⛏ Первые подозрения
Сразу стало ясно, что это выглядит как типичная накрутка. Я предпринял попытки выяснить источник трафика, написал несколько сообщений новобранцам, но все они прочитали и проигнорировали.

⛏ Моя гипотеза
Скорее всего, причина в текущем розыгрыше Telegram Premium, который пройдет 30 апреля. Подобные кейсы я уже наблюдал у других каналов - любители халявы массово подписываются на каналы с розыгрышами из каких то мусорных ресурсов, а после подведения итогов обязательно отпишутся.

⛏ Последствия рейда
Многие эксперты утверждают, что такие атаки практически не несут существенного вреда:
- Никак не повлияют на охваты канала
- Не вызовут блокировку канала
- Немного подпортят статистику для анализа аудитории

⛏ Стратегии защиты
Существует несколько способов защитить канал:
- Временно закрыть канал (сделать приватным)
- Использовать специализированные боты-защиты
⛏ Важный нюанс
При закрытии канала есть риск потери юзернейма, поэтому нужно быть предельно осторожным.

⛏ Мое решение - TGuard
Я остановился на боте TGuard.
Его возможности:
- Очистка от ботов
- Автоматическая защита от атак
Уведомления при обнаружении накруток
- Удобный мониторинг аудитории

⛏ Детали моей защиты
Я просканировал аудиторию и обнаружил, что среди новых подписчиков есть живые люди, пришедшие через таргет и социальные сети. Поэтому полностью удалять новую аудиторию не стал.
Вместо этого подключил TGuard с настройкой автоматической блокировки только атакующих ботов в real-time. TGuard собирает единую базу атакующих и использует ее для защиты всех каналов.

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Автоматизация рутинных задач для DevOps инженеров

⛏ Представим, что мы — DevOps-инженеры компании, предоставляющей услуги хостинга, и нам поручено настроить новую машину и установить LEMP-стек, который будет использовать наш клиент для своих нужд.

⛏ LEMP-стек — это набор программного обеспечения, используемого для развертывания и обслуживания веб-серверов и веб-приложений. Он включает в себя:
• Linux — операционная система, на которой будет работать сервер.
• NginX (Engine X) — веб-сервер, обрабатывающий запросы клиентов.
• MySQL — система управления базами данных.
• PHP — язык программирования, используемый для создания динамических веб-страниц, которые изменяются в зависимости от действий пользователя или данных из базы данных.

⛏ Допустим, мы задеплоили и настроили все вручную на одном сервере через терминал. Теперь нам поступила новая задача — развернуть эту конфигурацию на 1000 серверах. Это было бы слишком трудоемко, поэтому мы воспользуемся инструментами автоматизации. Сначала лучше настроить всё вручную на одном сервере, разобраться в процессе, а затем написать скрипты автоматизации. Это отличный подход к работе.

⛏ Инструмент автоматизации Ansible
Существует несколько систем автоматизации, одной из которых является Ansible.
Ansible предназначен для автоматизации задач по установке, настройке и конфигурации программного обеспечения. Он нужен для:
1. Автоматизации задач по установке и настройке софта, которые раньше выполняли вручную через консоль.
2. Обеспечения повторяемости при решении часто возникающих задач.
3. Упрощения масштабирования систем, облегчая работу системных администраторов и DevOps-специалистов, управляющих большим количеством машин.

⛏ Ansible Playbooks
Ansible playbooks — это способ отправки команд на удалённые компьютеры с помощью скриптов. Вместо того чтобы индивидуально использовать команды для удалённой настройки компьютеров из командной строки, вы можете настраивать целые сложные среды, передавая скрипт одной или нескольким системам.

Термин "playbook" взят из футбола и обозначает книгу тренера, задающего сценарий игры. Плейбуки помогают определить, на каких хостах они запускаются и какие задачи им задаются. Они пишутся в формате YAML.

⛏ Архитектура Ansible
Ansible состоит из двух частей:
• Контрольная нода — машина, с которой вносятся изменения (на которой установлен сам Ansible).
• Хосты — машины, на которые устанавливается программное обеспечение для конфигурации.
• Для подключения к удалённым хостам Ansible использует SSH. На эти хосты загружаются модули, написанные на Python или другом языке. Ansible выполняет их на удалённых машинах, приводя систему к нужному результату.

⛏ Ansible обрабатывает запросы с помощью четырёх модулей:
• Инвентари — хранение данных о машинах, над которыми нужно выполнить работу.
• Модули — выполнение самой работы (загружаются и выполняются на удалённой машине).
• API — интерфейс для взаимодействия непосредственно с Ansible.
• Плагины — соединение Ansible с различными машинами.

⛏ Как потратить еще меньше сил при работа с Ansible
Ansible Galaxy — это центральное хранилище общедоступного и приватного контента Ansible, которое сообщество может использовать для ускорения разработки и внедрения автоматизированных инфраструктур.

Если вам нужен стандартный набор программного обеспечения для установки и запуска приложения на виртуальной машине, вы можете обратиться в Ansible Galaxy, скопировать роли и установить их. Это позволит быстро поднять приложение и протестировать его, не отвлекаясь на рутинные задачи системного администратора.

⛏ Роль в Ansible — это набор задач или обработчик переменных, файлов и других артефактов, которые распространяются и подключаются как единое целое к плейбуку. Обычно она отвечает за высокоуровневые задачи: установку баз данных, веб-серверов и другие операции.

Таким образом, автоматизация рутинных задач с помощью инструментов вроде Ansible значительно упрощает работу DevOps-инженеров и позволяет эффективно управлять большими инфраструктурами.

По всем вопросам: @dmatw

🗺️ Навигация по каналу 🗺️
📖 Курс по системному анализу