Достаем двойные листочки Открываем галерею и показываем, как мы провели это лето 🍉

И хотя погода уже шепчет прохладные речи, вы еще успеваете дополнить свое собственное сочинение на тему — освоить новый навык, побыть на природе или просто понаблюдать за облаками.

💝 Еще больше летнего настроения, итогов и идей ловите в каналах наших коллег ecom.tech, MAGNIT TECH, Data Fusion (ВТБ), RWB Тех и Купер.тех!

#LaTech_live

🤩 Как масштабировать LLM-разметку и не перегрузить API?

Наши дата-инженеры задали себе этот вопрос, когда начали масштабировать LLM-разметку на большие объемы данных.

Так появился llm_markup — универсальный Spark-инструмент, который берет на себя батчинг, параллельные запросы к LLM API, контроль нагрузки, повторы и валидацию ответов.

Инженер по работе с большими данными Дима Иванов рассказывает о том, как это устроено — на примере оценки качества поиска и классификации отзывов.

Но llm_markup этим не ограничивается и подходит для разных задач массовой LLM-обработки. Главное, чтобы их можно было описать источником данных, промптом и форматом ответа.

⏏️ Листайте карточки ⏏️ и погружайтесь в подробный разбор архитектуры со всеми нюансами — mapInPandas, rate limiting, JSONL и structured-режимы для стабильной работы в продакшене.

✨ Читать на Хабре

✉️ Lamoda Tech

#LaTech_habr