LLM для кодинга и локальный тест открытых моделей на AMD

LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться.

В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально?

В части туториала:

1. Запустим через docker с помощью llama.cpp.

2. Сделаем замеры скорости генерации.

3. Ускорим за счет спекулятивного декодинга.

4. Подключим в vscode, заставим работать локально и через ssh.

Читать далее

#llm_coder #llm #copilot #coding #llm_inference #qwen2_5_coder #sonnet3_7 | @habr_ai