Mozilla представила первый релиз инструмента llamafile, позволяющего упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе, причём ещё и с поддержкой GPU-ускорения в большинстве случаев. Это упрощает дистрибуцию и запуск моделей на ПК и серверах.
#mozilla #software #opensource #llm #ии #разработка #инференс
#servernews @servernewsru

https://servernews.ru/1096720/?utm_source=nova&utm_medium=tg&utm_campaign=sn

Компания Mozilla анонсировала обновлённую версию инструмента llamafile с индексом 0.8.1. В данном релизе устранены ошибки, из-за которых происходило некорректное распознавание ускорителей AMD на базе GPU. Кроме того, реализованы некоторые другие изменения.
#software #llm #mozilla #opensource #amd #ии #инференс
#servernews @servernewsru

https://servernews.ru/1104042/?utm_source=nova&utm_medium=tg&utm_campaign=sn