Сегодня по миру разлетается новость, что производитель AI чипов SambaNova выпустил инференс LLM моделей со скоростью отдачи 1000 токенов в секунду. Проверила, действительно работает очень быстро, есть готовые тестовые запросы, но я сделала свой на русском…