🔵 عنوان مقاله
yzma: Perform Local Inference with VLMs and LLMs
🟢 خلاصه مقاله:
yzma راهی سبک برای اجرای محلی VLMs و LLMs درون برنامه‌های Go است. این ابزار با استفاده از purego و ffi مستقیماً به llama متصل می‌شود و سربار اضافی را کاهش می‌دهد، در نتیجه تأخیر پایین‌تر، کنترل بهتر و اجرای آفلاین فراهم می‌شود. تمرکز yzma بر ادغام ساده در سرویس‌ها و ابزارهای Go است تا بتوان هم پردازش متن و هم سناریوهای تصویر-متن را بدون اتکا به سرویس‌های ابری انجام داد.
#Go #LLM #VLM #LocalInference #FFI #purego #llama #OnDeviceAI
🟣لینک مقاله:
https://golangweekly.com/link/175368/web
➖➖➖➖➖➖➖➖
👑 @gopher_academy
yzma: Perform Local Inference with VLMs and LLMs
🟢 خلاصه مقاله:
yzma راهی سبک برای اجرای محلی VLMs و LLMs درون برنامه‌های Go است. این ابزار با استفاده از purego و ffi مستقیماً به llama متصل می‌شود و سربار اضافی را کاهش می‌دهد، در نتیجه تأخیر پایین‌تر، کنترل بهتر و اجرای آفلاین فراهم می‌شود. تمرکز yzma بر ادغام ساده در سرویس‌ها و ابزارهای Go است تا بتوان هم پردازش متن و هم سناریوهای تصویر-متن را بدون اتکا به سرویس‌های ابری انجام داد.
#Go #LLM #VLM #LocalInference #FFI #purego #llama #OnDeviceAI
🟣لینک مقاله:
https://golangweekly.com/link/175368/web
➖➖➖➖➖➖➖➖
👑 @gopher_academy
GitHub
GitHub - hybridgroup/yzma: yzma lets you use Go to perform local inference with Vision Language Models (VLMs) and Large Language…
yzma lets you use Go to perform local inference with Vision Language Models (VLMs) and Large Language Models (LLMs) using llama.cpp without CGo. - hybridgroup/yzma