Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки? Первоначально – да. Но итог моего эксперимента: эту 'улитку' можно заставить работать вдвое быстрее. Читать далее
#deepseek #ai #llm #local_ai #epyc #deepseek_r1 #deepseek_v3 #llama_cpp #huggingface #gguf | @habr_ai
Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки? Первоначально – да. Но итог моего эксперимента: эту 'улитку' можно заставить работать вдвое быстрее. Читать далее
#deepseek #ai #llm #local_ai #epyc #deepseek_r1 #deepseek_v3 #llama_cpp #huggingface #gguf | @habr_ai
Хабр
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
Зачем? У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание...
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
Токены летят быстрее, а результат — медленнее: парадокс квантизации DeepSeek-R1. Замеры 4 версий модели доказали: уменьшение размера ускоряет генерацию отдельных токенов, но что происходит с общим временем ответа? Читать далее
#deepseek #deepseek_r1 #deepseek_r1_0528 #ai #llm #llm_модели #gguf #кодогенерация #local_ai #llama_cpp | @habr_ai
Токены летят быстрее, а результат — медленнее: парадокс квантизации DeepSeek-R1. Замеры 4 версий модели доказали: уменьшение размера ускоряет генерацию отдельных токенов, но что происходит с общим временем ответа? Читать далее
#deepseek #deepseek_r1 #deepseek_r1_0528 #ai #llm #llm_модели #gguf #кодогенерация #local_ai #llama_cpp | @habr_ai
Хабр
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
Введение После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла...