Нападение на канал

⛏ Сегодня утром я столкнулся с неожиданной ситуацией - количество подписчиков резко подскочило с 1780 до 5800. И, признаюсь честно, это меня совсем не обрадовало.

⛏ Первые подозрения
Сразу стало ясно, что это выглядит как типичная накрутка. Я предпринял попытки выяснить источник трафика, написал несколько сообщений новобранцам, но все они прочитали и проигнорировали.

⛏ Моя гипотеза
Скорее всего, причина в текущем розыгрыше Telegram Premium, который пройдет 30 апреля. Подобные кейсы я уже наблюдал у других каналов - любители халявы массово подписываются на каналы с розыгрышами из каких то мусорных ресурсов, а после подведения итогов обязательно отпишутся.

⛏ Последствия рейда
Многие эксперты утверждают, что такие атаки практически не несут существенного вреда:
- Никак не повлияют на охваты канала
- Не вызовут блокировку канала
- Немного подпортят статистику для анализа аудитории

⛏ Стратегии защиты
Существует несколько способов защитить канал:
- Временно закрыть канал (сделать приватным)
- Использовать специализированные боты-защиты
⛏ Важный нюанс
При закрытии канала есть риск потери юзернейма, поэтому нужно быть предельно осторожным.

⛏ Мое решение - TGuard
Я остановился на боте TGuard.
Его возможности:
- Очистка от ботов
- Автоматическая защита от атак
Уведомления при обнаружении накруток
- Удобный мониторинг аудитории

⛏ Детали моей защиты
Я просканировал аудиторию и обнаружил, что среди новых подписчиков есть живые люди, пришедшие через таргет и социальные сети. Поэтому полностью удалять новую аудиторию не стал.
Вместо этого подключил TGuard с настройкой автоматической блокировки только атакующих ботов в real-time. TGuard собирает единую базу атакующих и использует ее для защиты всех каналов.

По всем вопросам: @dmatw

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

📖 Курс по системному анализу

​​​​🍵 Чайная IT Лавка решений 🍵

Автоматизация рутинных задач для DevOps инженеров

⛏ Представим, что мы — DevOps-инженеры компании, предоставляющей услуги хостинга, и нам поручено настроить новую машину и установить LEMP-стек, который будет использовать наш клиент для своих нужд.

⛏ LEMP-стек — это набор программного обеспечения, используемого для развертывания и обслуживания веб-серверов и веб-приложений. Он включает в себя:
• Linux — операционная система, на которой будет работать сервер.
• NginX (Engine X) — веб-сервер, обрабатывающий запросы клиентов.
• MySQL — система управления базами данных.
• PHP — язык программирования, используемый для создания динамических веб-страниц, которые изменяются в зависимости от действий пользователя или данных из базы данных.

⛏ Допустим, мы задеплоили и настроили все вручную на одном сервере через терминал. Теперь нам поступила новая задача — развернуть эту конфигурацию на 1000 серверах. Это было бы слишком трудоемко, поэтому мы воспользуемся инструментами автоматизации. Сначала лучше настроить всё вручную на одном сервере, разобраться в процессе, а затем написать скрипты автоматизации. Это отличный подход к работе.

⛏ Инструмент автоматизации Ansible
Существует несколько систем автоматизации, одной из которых является Ansible.
Ansible предназначен для автоматизации задач по установке, настройке и конфигурации программного обеспечения. Он нужен для:
1. Автоматизации задач по установке и настройке софта, которые раньше выполняли вручную через консоль.
2. Обеспечения повторяемости при решении часто возникающих задач.
3. Упрощения масштабирования систем, облегчая работу системных администраторов и DevOps-специалистов, управляющих большим количеством машин.

⛏ Ansible Playbooks
Ansible playbooks — это способ отправки команд на удалённые компьютеры с помощью скриптов. Вместо того чтобы индивидуально использовать команды для удалённой настройки компьютеров из командной строки, вы можете настраивать целые сложные среды, передавая скрипт одной или нескольким системам.

Термин "playbook" взят из футбола и обозначает книгу тренера, задающего сценарий игры. Плейбуки помогают определить, на каких хостах они запускаются и какие задачи им задаются. Они пишутся в формате YAML.

⛏ Архитектура Ansible
Ansible состоит из двух частей:
• Контрольная нода — машина, с которой вносятся изменения (на которой установлен сам Ansible).
• Хосты — машины, на которые устанавливается программное обеспечение для конфигурации.
• Для подключения к удалённым хостам Ansible использует SSH. На эти хосты загружаются модули, написанные на Python или другом языке. Ansible выполняет их на удалённых машинах, приводя систему к нужному результату.

⛏ Ansible обрабатывает запросы с помощью четырёх модулей:
• Инвентари — хранение данных о машинах, над которыми нужно выполнить работу.
• Модули — выполнение самой работы (загружаются и выполняются на удалённой машине).
• API — интерфейс для взаимодействия непосредственно с Ansible.
• Плагины — соединение Ansible с различными машинами.

⛏ Как потратить еще меньше сил при работа с Ansible
Ansible Galaxy — это центральное хранилище общедоступного и приватного контента Ansible, которое сообщество может использовать для ускорения разработки и внедрения автоматизированных инфраструктур.

Если вам нужен стандартный набор программного обеспечения для установки и запуска приложения на виртуальной машине, вы можете обратиться в Ansible Galaxy, скопировать роли и установить их. Это позволит быстро поднять приложение и протестировать его, не отвлекаясь на рутинные задачи системного администратора.

⛏ Роль в Ansible — это набор задач или обработчик переменных, файлов и других артефактов, которые распространяются и подключаются как единое целое к плейбуку. Обычно она отвечает за высокоуровневые задачи: установку баз данных, веб-серверов и другие операции.

Таким образом, автоматизация рутинных задач с помощью инструментов вроде Ansible значительно упрощает работу DevOps-инженеров и позволяет эффективно управлять большими инфраструктурами.

По всем вопросам: @dmatw

🗺️ Навигация по каналу 🗺️
📖 Курс по системному анализу

Угрозы от ИИ агентов

⛏ С ростом использования агентов искусственного интеллекта в приложениях увеличиваются и угрозы для безопасности. Сообщество кибербезопасности UNIT 42 опубликовало полезную статью на эту тему.

⛏ Основные моменты:
- Атаки через командные инъекции:
Злоумышленники могут вводить вредоносные команды, что приводит к утечке данных. Рекомендуется использовать фильтры для их обнаружения и блокировки.
- Уязвимости инструментов:
Неправильно настроенные инструменты увеличивают риски. Необходимо очищать входные данные и регулярно проверять безопасность.
- Эксплуатация интерпретаторов кода:
Злоумышленники могут использовать их для доступа к облачным сервисам. Важно обеспечивать защиту и фильтровать запросы.
- Утечка учетных данных:
Доступ к служебным токенам может привести к подмене личности. Технологии для защиты данных помогут сохранить важную информацию.

⛏ Чтобы снизить риски, нужна комплексная стратегия защиты с использованием различных мер безопасности.
Ознакомиться с примерами атак

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️
​​​​🍵 Чайная IT Лавка решений 🍵

Фреймворк для управления инновационными проектами

⛏ Stage-Gate — это процесс управления продуктовым портфелем, который помогает структурировать создание и развитие продуктов от идеи до масштабирования.

⛏ Этапы
Процесс состоит из шести основных этапов, разделенных на два потока:
- Discovery (поиск и валидация идей)
- Delivery (создание и масштабирование продукта).

- Discovery Track
⛏ 1. Ideation
- Цель этапа: Сформировать и первично оценить идею AI-продукта.
- Особенности принятия решения: На этом раннем этапе еще не было значительных инвестиций, поэтому решения могут быть достаточно гибкими. Ключевое значение имеет соответствие идеи стратегическим приоритетам компании и предварительная оценка технической осуществимости компонентов.

⛏ 2. Concept Validation
- Цель этапа: Подтвердить существование проблемы и жизнеспособность концепции решения.
- Особенности принятия решения: На этом этапе уже есть данные исследований и первичная техническая экспертиза. Важно убедиться, что концепция подтверждается как с точки зрения пользовательской ценности, так и с точки зрения технической реализуемости компонентов.

⛏ 3. Prototype Development
- Цель этапа: Создать работающий прототип, демонстрирующий ключевую ценность продукта и техническую осуществимость компонентов.
- Особенности принятия решения: На этом этапе особое значение имеют технические метрики. Если ключевые технические показатели (точность, скорость, надежность) не достигнуты, может потребоваться существенная переработка технического подхода или даже возврат к концептуальному этапу.

- Delivery Track
⛏ 4. Beta Testing
- Цель этапа: Создать MVP (Minimum Viable Product) и проверить его на ограниченной группе пользователей.
- Особенности принятия решения: На этом этапе уже были сделаны значительные инвестиции в разработку, поэтому решение Kill принимается только при наличии серьезных проблем. Фокус на реальных метриках использования и технической производительности в условиях, близких к боевым.

⛏ 5. MLP Launch (Minimum Lovable Product)
- Цель этапа: Запустить полноценную версию продукта, которая не только функциональна, но и создает положительный пользовательский опыт.
- Особенности принятия решения: На этом этапе решения в большей степени основываются на бизнес-показателях и метриках пользовательской удовлетворенности. Техническая оптимизация компонентов становится инструментом улучшения бизнес-показателей.

⛏⛏ 6. Scale & Optimize
- Цель этапа: Масштабировать продукт на всю целевую аудиторию и оптимизировать его работу.
- Особенности принятия решения: На финальном этапе оценивается долгосрочная жизнеспособность продукта и его место в продуктовом портфеле компании. Ключевое значение имеет соотношение затрат на поддержку и развитие с генерируемой ценностью.

Вакансии на 300к+ 💸

Где учился ⛏
Где работаю ⛏

🗺 Навигация по каналу 🗺
📖 Курс по системному анализу
​​​​🍵 Чайная IT Лавка решений 🍵

Зачем нужна аспирантура

⛏ Есть ли желающие продолжить научную деятельность в аспирантуре?

⛏ Преимущества:
Обучение в аспирантуре предоставляет надежную отсрочку от армии, а по завершении обучения кандидаты наук не подлежат призыву.
Все льготы степени кандидата наук

⛏ Если вы хотите продолжать обучение, которое можно удобно совмещать с работой и личной жизнью, пишите мне в личку.

⛏ В данный момент я заканчиваю 1 курс аспирантуры, и если вы выберете мой факультет, смогу поделиться полезными гайдами по написанию диссертации и публикации статей.

По всем вопросам: @dmatw

Где учился ⛏
Где работаю ⛏

🗺️ Навигация по каналу 🗺️

⛏ Футболка от выгорания

⛏ DMT (Denis Matveev Tech) x Coeval — это лучший IT-мерч! Делаем коллаборацию с моим стритвир-брендом.

⛏ Я решил совместить культовый момент из фильма "Особо опасен" и старый мем IT-сообщества Drop Database, который уже понимают не только дбашники.

⛏ Эта композиция стала настоящей метафорой эмоционального выгорания на работе или в учёбе. Долгое напряжение, вечные дедлайны и отсутствие баланса между трудом и отдыхом приводят к тому, что даже самые стойкие "клавиши" могут не выдержать.
Важно помнить: каким бы мощным ни был твой "интерфейс", ты не робот! Делайте перерывы, меняйте деятельность, общайтесь с коллегами и берегите себя.

⛏ Дизайн реализую на оверсайз-футболке из премиального хлопка высокой плотности — 240 г/м². Принт в виде клавиатуры будет вышит на груди.
Цвета футболок: молочный и черный

Оформить предзаказ: @dmatw

Где учился ⛏
Где работаю ⛏

🗺 Навигация по каналу 🗺
​​​​🍵 Чайная IT Лавка решений 🍵

Заняли 3 место в Архитектурном хакатоне от ВТБ

⛏ Моя команда Sense Hack - победители Всероссийского Архитектурного Хакатона от ВТБ
Взяли трек - Прикладной Архитектурный Сервис.

- 147 команд подали заявки на участие в этом треке
- Мы заняли 3 место

⛏ Подготовленные артефакты доступны по ссылке

⛏ Использовали UML диаграммы для проектирования всей системы и применяли следующие нотации:
- Data Vault 2.0 для хранения данных
- C4 для моделирования архитектуры
- Описание процесса деплоя (CI/CD) в Sequence
- Также предоставили спецификацию Open API для Swagger в формате Yaml
- Верхнеуровневую оценку экономической эффективности на Python в Jupyter Notebook

⛏ Очень полезное мероприятие, особенно для тех, кто хочет расти вертикально и двигаться в сторону архитектора. Хакатон позволил структурировать все свои знания и применить богатый технологический стек на практике.
⛏ А приятный бонус — в виде денежных средств, мы сможем потратить в отпуске на Бали.

По всем вопросам: @dmatw

Где учился ⛏
Где работаю ⛏

🗺 Навигация по каналу 🗺
​​​​🍵 Чайная IT Лавка решений 🍵

КОНКУРС DROP DATABASE T-SHIRT

Футболка от выгорания - культовый момент из фильма «Особо опасен» и старый мем IT-сообщества Drop Database, коллаборация с брендом Coeval

Оверсайз-футболка из премиального хлопка высокой плотности — 220 г/м².
Принт в виде клавиатуры вышит на груди.
Цвета футболок: молочный и черный.

Условия конкурса:
1. Подписаться на канал Дениса и Coeval
2. Оставить комментарий под этим постом в формате:
- @имя_пользователя цвет футболки
- Пример: @dmatw черный

Победители будут выбраны случайным образом Python скриптом🐍, которым я поделюсь в день результатов.
- Результаты конкурса 30 июня

Оформить заказ

DROP DATABASE T-SHIRT

Футболка от выгорания - культовый момент из фильма «Особо опасен» и старый мем IT-сообщества Drop Database

Оверсайз-футболка из премиального хлопка высокой плотности — 220 г/м².
Принт в виде клавиатуры вышит на груди.
Цвета футболок: молочный и черный.

⛏ Итоги конкурса
Победитель - @brabusevg

⛏ Результаты в формате Python jupyter notebook в комментариях поста
Инструкция по установке

Оформить заказ

По всем вопросам: @dmatw

Где учился ⛏
Где работаю ⛏

🗺 Навигация по каналу 🗺
​​​​🍵 Чайная IT Лавка решений 🍵

ТОП 20 Концепций для System Design

1. Load Balancing (Балансировка нагрузки) - Распределение трафика между несколькими серверами для обеспечения надежности и доступности
2. Caching (Кэширование) - Сохранение часто используемых данных в памяти для более быстрого доступа
3. Partitioning (Секционирование данных) - Разделение данных на части для обеспечения масштабируемости и производительности
4. Replication (Репликация) - Копирование данных между репликами для обеспечения доступности и отказоустойчивости
5. CAP Theorem (Теорема CAP) - Компромисс между согласованностью, доступностью и устойчивостью к разделению сети
6. Consistent Hashing (Консистентное хеширование) - Равномерное распределение нагрузки в динамических серверных средах
7. Message Queues (Очереди сообщений) - Разъединение сервисов с помощью асинхронной архитектуры, управляемой событиями
8. API Gateway (API-шлюз) - Централизованная точка входа для маршрутизации запросов API
9. Rate Limiting (ограничение числа запросов) - Контроль частоты запросов для предотвращения перегрузки системы
10. Microservices (Микросервисы) - Разделение системы на независимые, слабо связанные сервисы
11. Service Discovery (Обнаружение сервисов) - Реестр для обнаружения и регистрации сервисов в распределенных системах
12. CDN (Content Delivery Network) - Сеть доставки контента предназначенная для быстрой и надежной доставки контента
13. DB Indexing (Индексирование) - Ускорение запросов за счет индексации важных полей
14. Database Sharding (Шардирование базы данных) - Разделение базы данных на несколько частей (шардов), которые хранятся на отдельных серверах
15. Eventual Consistency (Согласованность в конечном счете) - Гарантия согласованности с течением времени в распределенных базах данных
16. WebSockets - Обеспечение двунаправленной связи для обновлений в реальном времени
17. Scalability (Масштабируемость) - Увеличение производительности за счет добавления новых инстансов
18. Fault Tolerance (Отказоустойчивость) - Обеспечение доступности системы во время сбоев оборудования или ПО
19. Monitoring (Мониторинг) - Отслеживание метрик и журналов для понимания работоспособности системы
20. AuthN & AuthZ (Аутентификация и авторизация) - Контроль доступа пользователей

По всем вопросам: @dmatw

Где учился ⛏
Где работаю ⛏

🗺 Навигация по каналу 🗺
​​​​🍵 Чайная IT Лавка решений 🍵

Введение в машинное обучение Mind Map

▎Глоссарий машинного обучения (ML)

⛏ Машинное обучение (ML) - технологии позволяющие компьютерам обучаться и принимать решения на основе данных.
Пример: система рекомендаций в онлайн-магазине.

⛏ Датасет (Dataset) - организованная коллекция данных в табличном формате, где строки - объекты, а столбцы - их характеристики.
Пример: таблица с данными о студентах.

⛏ Признаки (Features) - измеримые характеристики объектов для обучения модели.
Пример: площадь и количество комнат при предсказании цены дома.

⛏ Алгоритм (Algorithm) – последовательность действий для решения задачи.
Пример: алгоритм сортировки чисел.

⛏ Модель (Model) – математическое представление, обученное находить закономерности в данных.
Пример: модель для определения спама в почте.

⛏ Целевая переменная (Target) – то, что модель должна предсказать.
Пример: вероятность ухода клиента.

⛏ Множество (Set): – коллекция уникальных элементов.
Примеры: U = {яблоко, груша}; R (действительные числа); Z (целые числа).

▎Методы и подходы

⛏ Классическое ML – методы для анализа данных с небольшими наборами информации.
Примеры: линейная регрессия, деревья решений, метод опорных векторов.

⛏ Глубокое обучение (Deep Learning) – направление ML на основе многослойных нейронных сетей для обработки больших данных.
Примеры: CNN для изображений, RNN для текста.

▎Типы признаков

Вещественные: любые числовые значения (рост, температура).
Бинарные: два значения (пол, статус).
Категориальные: определённые категории (город, профессия).
Порядковые: упорядоченные значения (рейтинг).
Множественные: несколько значений одновременно (интересы).

▎Типы таргетов

Вещественные: числовые значения (цена дома).
Бинарные: два варианта (спам/не спам).
Множественные: несколько категорий (классификация товаров).
Без явного таргета: задачи без конкретного ответа (какие акции купить).

▎Основные типы задач ML

⛏ Обучение с учителем: модель учится на примерах с правильными ответами.
– Регрессия - предсказание чисел (оценка стоимости квартиры).
– Классификация - определение категории (спам-фильтр).

⛏ Обучение без учителя:
– Кластеризация - группировка похожих объектов (разделение клиентов).
– Рекомендательные системы - подбор контента.
Пример: рекомендации фильмов на основе оценок или подборка товаров в интернет-магазине.
- Поиск аномалий - обнаружение необычных случаев.
Пример: выявление мошеннических операций или обнаружение дефектов на производстве.

⛏ Обучение с подкреплением (Reinforcement Learning) – когда система учится методом проб и ошибок, получая обратную связь от среды.
Примеры: обучение робота ходить, игра в шахматы, управление беспилотными автомобилями, оптимизация логистики.

⛏ Mindmap в формате png в комментариях
⛏ Ставь реакцию, если хочешь продолжение

🗺 Навигация по каналу 🗺