Python с нуля к первым деньгам за коды

🥸Перейти, узнать больше про канал👀📚📃

77 views14:02

#Юмор #Go #Программирование

🥸Перейти, узнать больше про канал👀📚📃

❤2

103 views05:08

Чтобы развернуть DeepSeek R1 на Windows 10 с 12 ГБ ОЗУ для работы офлайн, выполните следующие шаги:

1. Проверьте системные требования

ОС: Windows 10 (64-bit)

RAM: 12 ГБ (минимально, но для комфортной работы лучше 16+ ГБ)

GPU: Необязательно, но если есть NVIDIA (с поддержкой CUDA), это ускорит работу.

Место на диске: 20+ ГБ (для модели и зависимостей).

2. Установите необходимые инструменты

1. Установите Python (3.8+)

Скачайте с официального сайта.

Важно: При установке отметьте "Add Python to PATH".

2. Установите WSL2 (если нужен Linux-интерфейс)

Откройте PowerShell от имени администратора и выполните:

wsl --install

Перезагрузите компьютер.

3. Установите CUDA (если есть NVIDIA GPU)

Скачайте CUDA Toolkit с официального сайта.

3. Скачайте модель DeepSeek R1

Вариант 1: Через Hugging Face (если модель доступна)

Установите библиотеку transformers:

pip install transformers torch

Загрузите модель:

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-r1")
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-r1")
model.save_pretrained("./deepseek-r1") # Сохранит модель локально

Вариант 2: Вручную (если есть файлы модели)

Скачайте файлы модели (обычно .bin или .pt) и поместите в папку, например, C:\deepseek-r1.

4. Запустите модель локально

Скрипт на Python для работы с моделью

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "./deepseek-r1" # Путь к модели
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)

input_text = "Как работает подсознание?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))

Если не хватает памяти (12 ГБ ОЗУ)

Используйте 4-битное квантование (уменьшает потребление памяти):

from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(model_path, quantization_config=bnb_config)

5. Альтернатива: GGUF + llama.cpp (для слабых ПК)

Если модель доступна в формате GGUF (оптимизированная для CPU):

Скачайте llama.cpp и скомпилируйте:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

Запустите модель:

./main -m deepseek-r1.gguf -p "Как работает подсознание?"

Где взять модель?

Официальный релиз: Hugging Face

Альтернативные источники: TheBloke

(квантованные версии).

Вывод

С 12 ГБ ОЗУ можно запустить квантованную версию модели (4-bit).

Без GPU лучше использовать llama.cpp (GGUF).

С GPU (NVIDIA) — CUDA + PyTorch ускорят работу.

Если модель еще не опубликована, следите за обновлениями на Hugging Face.

#DeepSeek #AI #LLM #Windows10 #Python #HuggingFace

GitHub

GitHub - ggml-org/llama.cpp: LLM inference in C/C++

LLM inference in C/C++. Contribute to ggml-org/llama.cpp development by creating an account on GitHub.

56 views14:04