Большинство слышит «дообучение» и сразу думает, что мы обновляем миллиарды весов большой языковой модели.

Но часто это не так.

Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.

Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.

1. LoRA — учим обновление, а не сами веса

Замораживаем W.

Обучаем две небольшие матрицы:

ΔW = BA

То есть:

W' = W + BA

Фактически мы учим небольшую поправку к модели.

2. LoRA-FA — замораживаем ещё больше

Замораживаем W и A.

Обучаем только B.

Идея та же, но обучаемых параметров ещё меньше.

3. VeRA — не обучаем даже сами матрицы

Фиксируем случайные A и B.

Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.

Очень высокая параметрическая эффективность.

4. Delta-LoRA — позволяем базовой модели тоже меняться

В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.

5. LoRA+ — та же LoRA, но с другой оптимизацией

A и B обучаются с разными скоростями обучения.

Обычно:

ηB > ηA

Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.

LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса

Пять подходов к одному и тому же вопросу:

какой минимум нам на самом деле нужно обучать?

Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.

👉 @PythonPortal

OpenResearch в пятницу занял первое место среди самых популярных репозиториев на GitHub.

С OpenResearch можно превратить любого агента для вайбкодинга в ресёрч агента, который изучает литературу, формулирует гипотезы, проводит эксперименты и создаёт исследовательские материалы.

Теперь OpenResearch доступен и на Windows.

https://github.com/alphaXiv/OpenResearch

👉 @PythonPortal

11 принципов разработки ПО, которые я хотел бы понять раньше

1. SOLID — качественное объектно-ориентированное проектирование
2. DRY — не повторяйся
3. KISS — делай проще
4. YAGNI — не создавай то, что пока не нужно
5. SRP — одна ответственность
6. Open/Closed — расширяй, не ломая существующее
7. Dependency Inversion — меньше жёстких связей
8. Composition — собирай систему из гибких компонентов
9. Separation of Concerns — разделяй зоны ответственности
10. Fail Fast — выявляй проблемы как можно раньше
11. Measure First — оптимизируй только то, что действительно имеет значение

👉 @PythonPortal

Вот как сегодня выглядит «фабрика программного обеспечения» OpenAI, где значительная часть работы уже строится вокруг агентов.

👉 @PythonPortal

Изучайте Linux-сети на практике

Новый практический челлендж — потренируйтесь разбираться в сетевой конфигурации Linux-хостов: находить имена интерфейсов, IP- и MAC-адреса, шлюз по умолчанию, а также определять, какие маршруты сервер использует для доступа к разным адресам.

https://labs.iximiuz.com/challenges/linux-inspect-network-interfaces-and-routes

👉 @PythonPortal