🔥 Фоновые задачи в FastAPI без лишних сложностей 🔥

Ещё раз приветсвую👋 Если вы следите за моим контентом, то знаете, что я уже рассказывал про фоновые задачи в Python с использованием Celery, FastStream и APScheduler. Но что, если хочется чего-то попроще, без брокеров сообщений и дополнительной настройки?

Знакомьтесь: BackgroundTasks в FastAPI! 🚀

Этот инструмент позволяет легко разгружать бэкенд, выполняя задачи в фоне, без сложных зависимостей.

Как это работает?

1️⃣ Создаем функцию, которая будет выполняться в фоне. Она принимает аргументы, которые передадим при вызове.
2️⃣ Определяем эндпоинт, который будет запускать фоновую задачу.

📌 Пример кода:

from fastapi import FastAPI, BackgroundTasks
import asyncio

app = FastAPI()

async def write_log(message: str):
    await asyncio.sleep(5)  # Симуляция длительной операции
    with open("log.txt", "a") as f:
        f.write(f"{message}\n")

@app.post("/start-task/")
async def start_task(background_tasks: BackgroundTasks, msg: str):
    background_tasks.add_task(write_log, msg)
    return {"message": "Задача запущена в фоне!"}

🔥 Почему это круто?

✅ Простота – не нужно поднимать Redis, RabbitMQ и другие брокеры
✅ Легкость – входит в стандартный функционал FastAPI
✅ Удобство – идеально для небольших фоновых задач, таких как логирование, отправка писем, обновление кеша

Но важно помнить:

📍 BackgroundTasks работают в том же процессе, что и FastAPI, поэтому для более нагруженных задач лучше использовать Celery или другие специализированные решения.

Используете ли вы фоновые задачи в своих проектах? Делитесь опытом в комментариях! 👇🚀

✨ Как учитывать просмотры на бэке: быстрый и эффективный способ ✨

Друзья, привет!

Делюсь кейсом, который поможет легко и быстро учитывать количество просмотров ваших постов, товаров и других сущностей на бекенде.

Что нам понадобится:

✅ FastAPI
✅ Любая табличная база данных
✅ Redis

Задача:

Допустим, у нас есть блог, и нам нужно учитывать количество его просмотров. В таблице с блогами есть поле count_views, которое по умолчанию равно 0.

Чтобы не нагружать базу лишними запросами, используем Redis для кэширования информации о том, смотрел ли пользователь этот блог. Ключ формируем так:

redis_key = f"blog_show_{blog_id}_{user_id}"

Логика работы:

1. Проверяем наличие ключа в Redis.
2. Если он есть — пользователь уже смотрел блог, ничего не делаем.
3. Если ключа нет:

- Увеличиваем счётчик просмотров в БД.
- Записываем ключ в Redis с TTL (например, на 1 час).

Код:

@router.post("/edit_blog_show")
async def edit_project_show(
    edit_blog_show: EditProjectShow,
    redis_client: CustomRedis = Depends(get_redis),
):
    redis_key = f"blog_show_{edit_blog_show.blog_id}_{edit_blog_show.user_id}"
    
    exists = await redis_client.exists(redis_key)
    if not exists:
        async with async_session_maker() as session:
            project = await BlogDAO(session).find_one_or_none_by_id(
                edit_blog_show.project_id
            )
            if project:
                project.views_count += 1
                await session.commit()
        await redis_client.set(redis_key, "1", ex=60 * 60)
        logger.info(f"Проект {edit_blog_show.project_id} отмечен как просмотрен!")
        return {"status": "ok", "msg": "Проект отмечен как просмотрен!"}
    else:
        logger.warning(f"Проект {edit_blog_show.project_id} уже был отмечен как просмотрен!")
        return {"status": "warning", "msg": "Проект уже был отмечен как просмотрен!"}

Этот подход позволяет разгрузить базу и исключить повторные просмотры от одного и того же пользователя в течение заданного периода. Используйте микс Redis и SQLAlchemy для оптимального результата!

🔥 Делитесь своим опытом в комментариях!

🔥 Анонс новой статьи на Хабре! 🔥

Друзья, скоро на Хабре выйдет мой новый материал, в котором я разберу, как подключить свою базу данных к LLM-моделям вроде Deepseek или GPT.

На простом примере покажу, как это работает:

✅ Собираем текстовые данные (документацию, книги, корпоративную информацию).
✅ Преобразуем их в векторную базу с помощью Python + ChromaDB.
✅ Подключаемся к базе и учим модель искать в ней нужную информацию.
✅ Интегрируем всё с LLM, чтобы получать точные и контекстные ответы.

Где это применимо? В бизнесе, обучении, автоматизации поддержки и не только.

📌 Подробности — скоро на Хабре! Следите за анонсом. 🚀

Вот наглядная демонстрация интеллектуального поиска без внешних нейросетей.

🔹 Как это работает?

1. Я загрузил в Chroma небольшой набор товаров, а для их преобразования в векторы использовал локальную нейросеть paraphrase-multilingual-MiniLM-L12-v2 (её размер ~450 МБ).
2. На основе этих данных была сформирована векторная база.
3. Подключившись к Chroma, я выполнял запросы и получал релевантные текстовые результаты (пример на скриншотах).

Теперь осталось интегрировать мощную языковую нейросеть для обработки ответов – и можно собирать полноценный сервис.

💡 На самом деле всё проще, чем кажется! 🚀

Друзья, привет! 🚀

Наконец-то готов поделиться с вами проектом, который поможет разобраться с векторными базами данных и их интеграцией с мощными нейросетями, такими как ChatGPT и DeepSeek.

🔹 В первой части, которая выйдет на Хабре через пару дней, мы разберем:
✅ Что такое векторная база данных и зачем она нужна
✅ Как преобразовать информацию в векторный формат
✅ Как реализовать умный поиск по смыслу, а не просто по совпадениям
✅ Как использовать эти данные для работы с нейросетями

Исходный код проекта уже доступен на GitHub 👉 ССЫЛКА

Что там найдете?

📌 Простые примеры работы с векторной базой данных
📌 Запаковку 70 документов крупного сайта в базу и реализацию умного поиска по ним
📌 Интеграцию с ChatGPT и DeepSeek через LangChain – мощнейший инструмент для работы с AI

🔥 Пока всё работает в консоли, но во второй части я покажу, как сделать веб-приложение на FastAPI + VueJS + Centrifugo для удобного общения с AI-ассистентом.

Для тестов нужен API-токен ChatGPT или DeepSeek

Будете ждать статью?

Всем привет. Если все пойдет по плану, то завтра, ближе к обеду, опубликую статью.

Привет, друзья!

На Хабре вышла моя новая статья — «Личный ИИ-ассистент на ваших данных. Часть 1: Векторная база ChromaDB + DeepSeek | GPT».

Это первая часть цикла, в котором я подробно рассказываю, как собрать собственного ИИ-ассистента, способного работать с вашими текстами и знаниями. Если статья получит отклик — в следующей части покажу, как развернуть полноценный веб-сервис на основе описанных инструментов.

В этой статье вы узнаете:

- Что такое векторная база данных и зачем она нужна
- Как превратить любую текстовую информацию в "поиск по смыслу", а не просто по ключевым словам
- Как связать такой смысловой поисковик с ChatGPT, DeepSeek и другими LLM
- Как использовать фреймворк Langchain, чтобы легко интегрировать нейросети в свои Python-проекты

Langchain позволяет в пару строк кода создать свою векторную базу и построить на ней интеллектуальный поисковик, который «понимает» смысл запроса. А дальше — просто подключаем DeepSeek или GPT, и получаем умного ассистента, который отвечает именно на ваши данные.

🔍 В статье много теории, но и практики хватает: я демонстрирую, как на базе 63 объёмных статей собрать свою базу знаний и интегрировать её с ChatGPT и DeepSeek.

📁 Весь код проекта доступен на GitHub: https://github.com/Yakvenalex/ChromaDBGPTDeepSeek

Там есть как примеры из статьи, так и удобный класс для асинхронной работы с ChromaDB.

Буду рад вопросам, комментариям и вашей обратной связи! Если тема интересна — вторая часть не заставит себя ждать 😉

Друзья, доброе утро. Была бы вам интересна информация о локальном взаимодействии с нейросетями?

Друзья, добрый вечер! 😎 Надеюсь, что соскучились? 😏 Я немного увяз в рабочих проектах, но теперь, немного раскидавшись, анонсирую вторую часть из серии «Личный ИИ-ассистент на ваших данных»!

К концу недели опубликую на Хабре продолжение, в рамках которого мы будем разрабатывать полноценный веб-интерфейс для нашего ИИ-ассистента.

Для тех, кто пропустил: в первой части мы создали собственную векторную базу данных, используя личную информацию, и разобрались, как интегрировать её с нейросетями DeepSeek и OpenAI. Пока всё работало в консольной версии, но это уже был важный шаг вперёд!

Теперь мы реализуем веб-интерфейс с поддержкой стриминга ответов, как в чате ChatGPT, используя Centrifugo V6, чтобы ИИ выдавал текст постепенно — плавно и без долгих ожиданий. Также добавим простую систему авторизации для безопасного доступа и возможность выбора между моделями DeepSeek и ChatGPT прямо в интерфейсе.

Сам чат, естественно, будет завязан на векторной базе данных, которую мы уже подготовили в первой части.

Будет, как минимум, интересно так что следите за обновлениями! 🔥

🚀 Как конвертировать XML в JSON на Python. Простой и удобный способ 🔄

Привет, друзья! Недавно столкнулся с задачей трансформации XML-файлов в читаемый JSON — решил поделиться рабочим решением 💡

📦 Установим пару библиотек:

pip install xmltodict chardet

- xmltodict — превращает XML в питоновский словарь (json)
- chardet — автоматически определяет кодировку файла (важно для кириллицы)

🛠 Что умеет скрипт:

✅ Автоматически определяет кодировку XML
✅ Конвертирует структуру XML в JSON
✅ Поддерживает кириллицу и спецсимволы
✅ Генерирует читаемый JSON с отступами

📄 Пример скрипта:

import xmltodict
import json
import os
import chardet

def detect_encoding(file_path):
    with open(file_path, "rb") as file:
        raw_data = file.read()
        result = chardet.detect(raw_data)
        return result["encoding"]

def xml_to_json(xml_file_path):
    try:
        if not os.path.exists(xml_file_path):
            print(f"Ошибка: Файл {xml_file_path} не найден")
            return

        encoding = detect_encoding(xml_file_path)
        print(f"Определена кодировка файла: {encoding}")

        with open(xml_file_path, "r", encoding=encoding) as xml_file:
            xml_content = xml_file.read()

        xml_dict = xmltodict.parse(xml_content)

        json_file_path = os.path.splitext(xml_file_path)[0] + ".json"
        with open(json_file_path, "w", encoding="utf-8") as json_file:
            json.dump(xml_dict, json_file, ensure_ascii=False, indent=4)

        print(f"✅ Файл успешно сохранён как {json_file_path}")

    except Exception as e:
        print(f"❌ Ошибка при преобразовании: {str(e)}")

if __name__ == "__main__":
    xml_file_path = "my_file.xml"
    xml_to_json(xml_file_path)

📎 Подходит как для небольших XML-файлов, так и для массивных выгрузок (сегодня делал тест на файле 200мб + - летает).

Друзья, приветствую! К сожалению, не успеваю с публикацией полноценной статьи на сегодня, но сам проект практически готов.

На приложенной анимации вы можете увидеть, как работает чат на данный момент.

Есть выбор между ChatGPT и Deepseek, ответ подгружается в формате стриминга (чанками).

Сами ответы основаны на контексте, который мы получаем из векторной базы знаний (в прошлой статье я рассказывал, что это такое и как она собирается).

Остается добавить простую авторизацию, и проект будет полностью готов.

Сегодня делюсь с вами кодом проекта.

Материал второй части готов. Постараюсь опубликовать его завтра, если сегодня найду время на вычитку.

🌅 Доброе утро, друзья!

Как и обещал, на Хабре вышло продолжение серии про создание ИИ-ассистента на собственной базе знаний!

В новой статье я подробно рассказываю, как превратить консольного ассистента в полноценное веб-приложение с авторизацией и стримингом ответов от нейросети. Проект изначально задумывался максимально гибким — с возможностью легко масштабировать функциональность, добавлять пользователей и подключать новые модели.

🔐 В этой части я также показал новый подход к реализации системы JWT-авторизации — просто, прозрачно и удобно.

💡 Сейчас в проекте задействованы две нейросети: DeepSeek и ChatGPT. Всё работает через стриминг, интерфейс аккуратный и современный. Думаю, вам понравится.

📖 Читайте статью:
👉 Личный ИИ-ассистент на ваших данных. Часть 2: Веб-интерфейс, авторизация и стриминг ответов от ИИ

💻 Исходники проекта (вся логика из обеих частей):
🔗 GitHub: ChromaDBGPTDeepSeek — article_2

Как всегда, буду рад вашей поддержке, комментариям и обратной связи 🙌

👋 Друзья, привет!

Ловите небольшой лайфхак для тех, кто работает с FastAPI.

Иногда возникает необходимость скрыть отдельные методы из Swagger-документации (автоматически генерируемого интерфейса). Например, если у вас есть служебные эндпоинты, которые не стоит светить наружу.

Вот как это легко сделать 👇

@router.post("/secret/", include_in_schema=False)
async def my_secret():
    # Ваш код здесь
    pass

💡 Ключевой параметр — include_in_schema=False. Он говорит FastAPI не включать метод в OpenAPI-схему, а значит, и в Swagger он не попадёт.

Пользуйтесь! 🚀

Друзья, приветствую! Готовы к рассмотрению новой технологии в связке с FastApi? 😉

🔥 Интеграция Keycloak с FastAPI — просто о безопасности

Друзья, привет!

В честь 1 мая — Дня труда, решил не отдыхать, а поделиться полезной темой: интеграция Keycloak с FastAPI.

Для тех, кто не знаком: Keycloak — это мощная open-source система управления пользователями, авторизацией и SSO. Минимум кода — максимум защиты. Используется даже в банковских продуктах благодаря своей стабильности и гибкости.

📽 В видео, которое прикрепил к посту, вы увидите простой сценарий:

1️⃣ Пользователь с фронта перенаправляется на страницу авторизации Keycloak
2️⃣ Проходит регистрацию или вход
3️⃣ После успешного логина — возвращается в приложение с нужными токенами

🔗 Код из демонстрации доступен тут:
https://github.com/Yakvenalex/KeycloackFastApi

💡 Сейчас думаю собрать небольшой pet-проект — "хранилище мыслей" с авторизацией через Keycloak, и заодно оформить это в статью на Хабр. Если тема вам зайдёт — углубимся в детали: роли, группы, refresh токены, разграничение доступа и многое другое.

📬 Пишите в комментарии, если интересно. Будем разбирать вместе!

P.S. Всех с 1 мая! Хорошего настроения, и пусть труд будет в радость — особенно, если это труд по внедрению безопасных решений 😉