OpenSearch как сервис

OpenSearch — это инструмент для быстрого поиска и аналитики данных.Он помогает искать, фильтровать и анализировать большие объемы информации. Например, логи, товары в интернет-магазине или данные с веб-сайта. В данной статье автор рассказывает, как развернуть кластеры OpenSearch за несколько минут и начать с ней работать в Python.

👉Читать статью

#статьи

Дерево решений: Часть 1

Дерево решений — это модель, которая принимает решения, двигаясь по ветвям дерева от корня к листьям. На каждом узле происходит проверка: например, «если возраст > 30 — идём направо, иначе налево». Так шаг за шагом дерево делит данные на подгруппы, пока не придёт к финальному решению: в регрессии — числовое значение, в классификации — метка класса.

Модель выглядит почти как блок-схема, и ты можешь буквально прочитать, почему она приняла то или иное решение. В Python всё это делается через sklearn.tree.DecisionTreeClassifier или DecisionTreeRegressor.

Параметр max_depth — это ограничение на глубину дерева. Без него дерево может продолжать делиться, пока не переобучится подчистую. Всегда важно следить за глубиной, количеством листьев (max_leaf_nodes) и минимальным числом объектов в узле (min_samples_split) — это всё способы контроля переобучения.

#практика

FastAPI: Аннотации и валидация

Продолжаем делиться циклом видео, благодаря которому ты научишься пользоваться FastAPI библиотекой. В этот раз ты освоишь класс аннотаций. Он позволяет быстро добавлять валидацию к URL-адресам.

👀Смотреть видео

#видео

Генерация двухмерной полигональной карты

В данной статье автор рассматривает задачу процедурной генерации двухмерной полигональной карты. Рассматривается решение и ключевые использованные принципы.

👉Читать статью

#статьи

Дерево решений: Часть 2

Алгоритм деления работает по принципу максимизации чистоты внутри подмножеств. В классификации чаще всего используется Gini impurity или энтропия: они показывают, насколько хорошо разделились классы после сплита. В регрессии — снижение дисперсии (variance reduction). На каждом шаге дерево перебирает все признаки и находит такое условие, которое максимально эффективно делит выборку на две группы с минимальной “грязью”.

Однако у данного алгоритма есть некоторые недостатки. Деревья легко переобучаются, особенно если не ограничивать глубину. Они могут давать нестабильные результаты при небольшом изменении данных (особенно одиночные деревья). Чтобы побороть эти минусы, придумали ансамбли — такие как Random Forest и Gradient Boosting, где используется много деревьев сразу, и это даёт намного более стабильный и мощный результат.

💻Ссылка на первую часть

#практика

MongoDB: Поиск на совпадение в тексте

Делимся циклом видео, благодаря которому ты научишься пользоваться MongoDB. В этот раз автор рассказывает, какой функционал поможет тебе искать данные. В качестве примера продемонстрирован поиск на совпадение в тексте.

👀Смотреть видео

#видео

Flask: Использование JavaScript

Продолжаем делиться циклом статей, благодаря которому ты научишься пользоваться Flask. В этот раз автор демонстрирует создание всплывающего окна при наведении курсора мыши на ник пользователя.

👉Читать статью

#статьи #flask

Random Forest

Random Forest — это не одно дерево, а сразу много. Каждый “деревце” в лесу обучается на случайной части данных и с использованием случайного поднабора признаков. Когда нужно предсказать класс или значение, все деревья голосуют, и побеждает большинство (в классификации) или усреднённый ответ (в регрессии). В результате снижается переобучение по сравнению с одиночным деревом, а сама модель меньше зависит от случайных шумов.

Сначала из обучающей выборки с помощью бутстрэпа выбирается случайная подвыборка (с возвращением). Для каждого дерева берётся случайный набор признаков. Все деревья предсказывают, и итоговый ответ — это агрегация: большинство голосов в классификации или среднее значение в регрессии.

Обрати внимание на пример. n_estimators определяет, сколько деревьев. max_depth — максимальная глубина каждого дерева. random_state — фиксируем сид, чтобы результат был воспроизводим. Можно добавлять class_weight='balanced', если классы несбалансированы.

#практика

FastAPI: Работа с базой данных

Продолжаем делиться циклом видео, благодаря которому ты научишься пользоваться FastAPI библиотекой. В этот раз ты установишь SQLAlchemy и настроишь работу с базой данных.

👀Смотреть видео

#видео

Как сделать свой RAG?

Представь, что у тебя есть умный робот, который умеет отвечать на вопросы. Но чтобы давать самые точные ответы, он сначала ищет информацию в книгах или интернете, а потом формирует ответ.

RAG (Retrieval-Augmented Generation) — это метод, который делает нейросетевой текстовый генератор (например, GPT) умнее и точнее за счёт поиска информации внешних источников перед генерацией ответа. Благодаря данной статье ты узнаешь, как создать собственный RAG.

👉Читать статью

#статьи

Инструменты для работы с графикой

В данной подборке автор рассказывает про шесть лучших инструментов для работы с графикой. Они выделяются от остальных инструментов своими функциями, активностью сообщества и фишками.

👉Читать статью

#статьи

Работа с Selenium: Часть 10

Продолжаем делиться циклом видео, где автор рассказывает про Selenium. В результате ты научишься работать с формами, проходить аутентификацию на различных сайтах и многое другое.

👀Смотреть видео

#видео

Современные реализации бустинга

Хотя sklearn вполне неплох для обучения, в проде чаще используют специализированные библиотеки, заточенные под бустинг.

Например, XGBoost. Он очень быстрый, поддерживает регуляризацию, отложенное построение деревьев, а также раннюю остановку.

LightGBM работает еще быстрее, идеально подходит для очень больших данных. CatBoost же супер дружелюбен к категориальным признакам, даже не нужно кодировать вручную. Присутствует поддержка GPU.

#практика

Симуляция частиц с Pygame

С помощью Pygame можно создать простую, но очень эффектную 2D-игру-симуляцию песка. Игрок будет сыпать песчинки мышкой, а частицы под действием гравитации будут падать вниз.

При желании ты можешь улучшить проект: добавить воду и огонь, реализовать эффекты ветра и многое другое.

#практика

FastAPI: Разработка веб-проекта

Продолжаем делиться циклом видео, благодаря которому ты научишься пользоваться FastAPI библиотекой. В этот раз ты добавишь внешнее оформление для FastAPI-проекта.

👀Смотреть видео

#видео

Go и Python: Что лучше для веб-скрейпинга?

И Go, и Python могут использоваться для веб-скрейпинга, но у каждого свои плюсы и минусы. Благодаря данной статье ты узнаешь о преимуществах каждого из языков, чтобы сделать оптимальный выбор для своего следующего проекта.

👉Читать статью

#статьи