Пайплайн каскадных онлайн-моделей: как не запутаться в модулях и обрести дзен при внедрении многомодульных моделей

Способ достижения дзена в процессе приручения онлайн-каскадов.



Читать далее

#каскады #скоринг #модели #ml #mlops #rest #redis #celery_worker #mlflow #pipelines | @habr_ai

Оркестрация чатов LLM моделей через Redis

🐝 Оркестрация чатов LLM через Redis



При работе с языковыми моделями частым явлением являются галлюцинации - когда модель даёт неверных вывод. Это связано с издержками математической модели, которая пораждает важные нюансы, разобранные в данной статье. Статья описывает, что именно нужно сделать, чтобы эффективно бороться с галлюцинациями LLM на проде

Читать далее

#typescript #javascript #python #искусственный_интеллект #агенты_ии #агенты #redis #highload #оркестрация #микросервисы | @habr_ai

Почему простой парсер не всегда решает задачу: мой опыт интеграции спортивных API

В рамках собственной системы спортивной аналитики я хотел получить real-time доступ к данным о движении коэффициентов — в частности, с платформы pickingodds.com. У сервиса интересная фича — визуализация графика изменения линии по каждому событию. Это потенциально полезный источник вторичных сигналов (например, для обнаружения аномалий, связанных с резкой коррекцией маркет-мейкеров).

Изначальный план был прост: интегрироваться по REST API, выкачивать данные раз в несколько минут, писать в TSDB, использовать далее для анализа и фичей в ML-пайплайнах. На практике же всё быстро ушло в зону нетривиальной оптимизации. Читать далее

#pickingodds #коэффициенты_ставок #асинхронный_парсинг #rate_limiting #aiohttp #redis #kafka #timescaledb #lightgbm #ml_фильтрация_событий | @habr_ai

Векторный кэш: делаем умные ответы еще быстрее

Сегодня чат-боты и интеллектуальные ассистенты широко применяются в различных сферах: поддержка клиентов, корпоративные системы, поисковые сервисы и во многих других.  Для их разработки часто используют архитектуру Retrieval-Augmented Generation (RAG), которая объединяет генерацию ответа с поиском данных во внешних источниках. Такой подход помогает ботам и ассистентам давать более точные и актуальные ответы. Но на практике оказывается, что RAG сталкивается с проблемой повторяющихся запросов, из-за которой система многократно выполняет одни и те же вычисления, повышая нагрузку и время отклика.

Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft, и в этой статье мы разберемся, что такое векторный кэш и как его использовать. Давайте начнем! Читать далее

#rag #ai #redis #cache #оптимизация #поисковая_оптимизация #поисковые_системы | @habr_ai