🙂LLM-аренами сегодня особенно никого не удивишь, но специализированный отбор – это всегда хорошо: именно он позволяет понять, в какой именно сфере ИИ-помощник принесет наибольший профит.

🔵 На Huggingface запустили лидерборд для оценки возможностей разных LLMs в финансовой сфере.

🔷 OpenFinLLM Leaderboard – рейтинг LLM-моделей, способных решать финансовые вопросы. Выдает оценку на основе 40 задач в 7 категориях: поиск информации, анализ текста на естественном языке, генерация текста, восприятие вопросов и полнота ответов на них, советы по управлению рисками, прогнозирование и принятие решений. Смотрят точность, F-меру, ROUGE и коэффициент корреляции Мэтьюза.

🔹Лидируют (кто бы сомневался) GPT-4 и Llama 3.1, показавшие высокую точность в задачах по анализу финансовых ожиданий. В задачах по прогнозам компактные модели Llama-3.1-7b и аналоги превосходят крупные модели.
Не прячьте ваши денежки. Инвестируйте с ИИ!
#AI #FinLLM #Huggingface

🙂 Artificial Intelion