Интересная находка с ICML, фреймворк для параллельного вызова функций с помощью LLM. В процессе решения задачи LLMCompiler разбивает решение на несколько задач, определяет, какие из них могут быть выполнены параллельно и организует многофункциональный вызов. Результаты: 3,7х ускорения, 6,7х экономии на токенах, 9х повышения точности.
Авторы обещают, что будет работать не только с open AI моделями, но и моделями с открытым исходным кодом.

Код фреймворка тоже открытый, забираем и испытываем

#AI #LLM #ICML #fucntioncalling