LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
https://rtfm.co.ua/litellm-metrics-traces-victoriastack/
#AI #LiteLLM #monitoring #observability #VictoriaMetrics #VictoriaTraces
https://rtfm.co.ua/litellm-metrics-traces-victoriastack/
#AI #LiteLLM #monitoring #observability #VictoriaMetrics #VictoriaTraces
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: метрики, traces та інтеграція з VictoriaMetrics Stack
Налаштування збору метрик та traces з LiteLLM до VictoriaMetrics та VictoriaTraces. Важливі параметри LiteLLM, головні метрики та трейси і їхні атрибути.
🔥3
LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana
https://rtfm.co.ua/litellm-victoriastack-alerty-ta-grafana/
#AI #LiteLLM #monitoring #VictoriaMetrics
https://rtfm.co.ua/litellm-victoriastack-alerty-ta-grafana/
#AI #LiteLLM #monitoring #VictoriaMetrics
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: моніторинг з VictoriaMetrics – алерти та Grafana
Налаштування базового моніторингу AI Gateway LiteLLM з VictoriaMetrics - приклади створення алертів та Grafana dashboards.
🔥4
Valkey: запуск в Kubernetes – Helm, monitoring, ACL
https://rtfm.co.ua/draft-redis-mongo/
#Helm #Kubernetes #Redis #Valkey
https://rtfm.co.ua/draft-redis-mongo/
#Helm #Kubernetes #Redis #Valkey
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
Valkey: запуск в Kubernetes – Helm, monitoring, ACL
Приклад деплою Valkey/Redis з master-slave replication в Kubernetes з Helm, моніторинг, створення users та Access Control List
🔥8
MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD
https://rtfm.co.ua/draft-mongodb/
https://rtfm.co.ua/draft-mongodb/
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
MongoDB: запуск в Kubernetes з MongoDB Operator та MongoDBCommunity CRD
Приклад запуску MongoDB Operator Kubernetes та створення MongoDB Community replica set
👍2
LiteLLM: OpenRouter та налаштування Fallbacks
https://rtfm.co.ua/litellm-openrouter-and-fallbacks/
#AI #LiteLLM
https://rtfm.co.ua/litellm-openrouter-and-fallbacks/
#AI #LiteLLM
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: OpenRouter та налаштування Fallbacks
Використання моделей в OpenRouter та налаштування Fallbacks та роутингу для LiteLLM
👍3
NixOS: знайомство, установка пакетів та конфігурація системи
https://rtfm.co.ua/nixos-getting-started/
#Amazon_Linux #Arch_Linux #monitoring #NixOS #SSH
https://rtfm.co.ua/nixos-getting-started/
#Amazon_Linux #Arch_Linux #monitoring #NixOS #SSH
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
NixOS: знайомство, установка пакетів та конфігурація системи
Знайомство з NixOS - установка системи, пакетів, налаштування systemd-сервісів, Node Exporter, статична IP-адреса та remote deployment через Flakes по SSH.
👍1
LiteLLM: метрики, traces та дебаг exception_class=”ValueError”
https://rtfm.co.ua/litellm-valueerror-victoriametrics/
#AI #LiteLLM #monitoring #observability #VictoriaMetrics
https://rtfm.co.ua/litellm-valueerror-victoriametrics/
#AI #LiteLLM #monitoring #observability #VictoriaMetrics
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: метрики, traces та дебаг exception_class=”ValueError”
Пошук причини exception_class="ValueError" в LiteLLM з VictoriaMetrics, VictoriaTraces і VictoriaLogs, та деякі нюанси створення LiteLLM метрик і трейсів
🔥5
llama.cpp: метрики та моніторинг з VictoriaMetrics
https://rtfm.co.ua/llama-cpp-victoriametrics/
#AI #llama_cpp #monitoring #VictoriaMetrics
https://rtfm.co.ua/llama-cpp-victoriametrics/
#AI #llama_cpp #monitoring #VictoriaMetrics
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
llama.cpp: метрики та моніторинг з VictoriaMetrics
Налаштування моніторинг llama.cpp та LLM з VictoriaMetrics - основні метрики та деталі роботи з llama.cpp і /metrics
🔥3
LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
https://rtfm.co.ua/litellm-traffic-mirroring-and-batch-completions/
#AI #LiteLLM #observability #OpenTelemetry #VictoriaTraces
https://rtfm.co.ua/litellm-traffic-mirroring-and-batch-completions/
#AI #LiteLLM #observability #OpenTelemetry #VictoriaTraces
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: Traffic Mirroring та Batch Completions і трафік до двох провайдерів
Практичний тест LiteLLM Traffic Mirroring та Batch Completions - два провайдери, дві відповіді й неочікувана поведінка логів і трейсів
🔥4
LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
https://rtfm.co.ua/litellm-custom-callbacks-victoriatraces/
#AI #LiteLLM #LLM #LLMOps #monitoring #OpenTelemetry #Python #VictoriaTraces
https://rtfm.co.ua/litellm-custom-callbacks-victoriatraces/
#AI #LiteLLM #LLM #LLMOps #monitoring #OpenTelemetry #Python #VictoriaTraces
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: Custom Callback для traffic mirroring та OTel tracing до VictoriaTraces
Написання власного LiteLLM Custom Callback на Python для реалізації traffic mirroring на self-hosted LLM та налаштування OTel tracing з custom span до VictoriaTraces
LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
https://rtfm.co.ua/llm-evaluation-with-judge-llm/
#AI #LiteLLM #LLM #LLMOps #observability #Python #VictoriaMetrics #VictoriaTraces
https://rtfm.co.ua/llm-evaluation-with-judge-llm/
#AI #LiteLLM #LLM #LLMOps #observability #Python #VictoriaMetrics #VictoriaTraces
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: Custom Callback та LLM Evaluations з Judge LLM
Реалізація Traffic mirroring та LLM Evaluations з LiteLLM і Judge LLM - оцінка відповідей self-hosted LLM, метрики у VictoriaMetrics та traces у VictoriaTraces
😎2❤1
LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics
https://rtfm.co.ua/litellm-llm-costs-debugging/
#AI #LiteLLM #LLM #LLMOps #OpenAI #OpenRouter #VictoriaMetrics #VictoriaTraces
https://rtfm.co.ua/litellm-llm-costs-debugging/
#AI #LiteLLM #LLM #LLMOps #OpenAI #OpenRouter #VictoriaMetrics #VictoriaTraces
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
LiteLLM: дебаг AI Cost Monitoring з VictoriaMetrics
Приклад дебагу витрат на OpenAI та OpenRouter з LiteLLM AI Gateway та VictoriaMetrics і VictoriaTraces
AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits
https://rtfm.co.ua/llm-control-litellm-budgets-openai-limits/
#AI #Grafana #LiteLLM #LLM #LLMOps #VictoriaMetrics
https://rtfm.co.ua/llm-control-litellm-budgets-openai-limits/
#AI #Grafana #LiteLLM #LLM #LLMOps #VictoriaMetrics
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
AI: контроль витрат LLM з LiteLLM Budgets та OpenAI Limits
Налаштовання контролю витрат на LLM з LiteLLM Budgets та OpenAI Limits, і їхній моніторинг - VictoriaMetrics, метрики, приклади Grafana dashboards та алертів.
👍2
AI: LLM, агенти, робота і ми – інженери. Особисті думки.
https://rtfm.co.ua/ai-agenty-i-robota-rozdumy-na-temu-korysno/
#AI #personal_reflections #RTFM
https://rtfm.co.ua/ai-agenty-i-robota-rozdumy-na-temu-korysno/
#AI #personal_reflections #RTFM
RTFM: Linux, DevOps та системне адміністрування | DevOps-інжиніринг та системне адміністрування. Випадки з практики.
AI: LLM, агенти, робота і ми – інженери. Особисті думки.
Особисті думки про роботу з AI-агентами - що вони дають, що забирають і як не перестати думати самому.
🔥6👍5
Якось пропустив, що блогу в цьому році виповнилось 15 років 🤯
Ювілей.
Офігєть.
Зазвичай на "День народження" блогу я пишу трохи апдейтів про те, що за останній рік цікавого було - може, трохи пізніше додам і за останній час.
А сьогодні можна поплакати від мого самого першого поста:
Идем на google.com вместо google.com.ua
Ювілей.
Офігєть.
Зазвичай на "День народження" блогу я пишу трохи апдейтів про те, що за останній рік цікавого було - може, трохи пізніше додам і за останній час.
А сьогодні можна поплакати від мого самого першого поста:
Автор: setevoy | 14/08/2011
Идем на google.com вместо google.com.ua
👍16🎉14