Как сделать ИИ эффективнее, точнее и дешевле 🤖

К чему стремятся все разработчики корпоративных ИИ-систем:
🔴 качественные ответы моделей;
🔴 дешевый инференс;
🔴 предсказуемость и управляемость.

Но на практике эти цели почти всегда конфликтуют. Чем мощнее модель — тем выше стоимость. Чем дешевле — тем больше компромиссов в качестве. А попытки повысить креативность часто снижают стабильность ответов. 📊

Предлагаем подборку исследований MWS AI, посвященных повышению качества ответов ИИ, эффективным подходам к сжатию моделей, автоматизации их разработки, решению проблем длинного контекста и архитектурным улучшениям для снижения затрат.

🔗 Трудности перевода: почему LLM не умеют писать нормальные докстринги на русском и как это исправить
Представляем StRuCom — специализированный датасет для обучения LLM генерации качественных, технически грамотных и структурированных комментариев к коду на русском языке.

🔗 AutoML для NLU без ручной настройки
Рассказываем, как устроен фреймворк OpenAutoNLU, за счет чего он снимает приличное количество рутины с разработчиков NLU-моделей и чем отличается от привычных AutoML-решений.

🔗 Что не так с оценкой RAG-систем и какое решение предлагает динамический бенчмарк DRAGOn
Разбираем научную статью DRAGOn: Designing RAG On Periodically Updated Corpus — будет полезна всем, кто интересуется RAG-системами и ищет подходы для надежной оценки их качества. 

🔗 Как сжимать языковые модели без дообучения
Раскладываем по полочкам ReplaceMe — новый метод структурного прунинга LLM по глубине, который позволяет сжать модель на 25% без дообучения, сохраняя при этом 92,5% качества.

🔗 Почему «больше токенов ≠ лучше» или Как научить LLM работать с длинным контекстом
Объясняем суть парадокса длинного контекста и рассказываем, какими мерами можно заставить LLM адекватно работать с большим объемом вводных данных.

#TrueTechExpert@truetechcommunity

Нейросети пишут код за секунды, но так ли это упрощает жизнь разработчику? 🧐

Иногда сгенерированный фрагмент требует больше времени на отладку, чем написание с нуля.

Разбираемся в рисках вместе с экспертами MWS Data: Александром Полищуком (руководителем разработки) и Никитой Веселенко (Senior-разработчиком).

Подробнее об этом и других кейсах — по ссылке 🙌

#TrueTechPodcast@truetechcommunity