DevNotes Live

Что такое "профессионально уметь пользоваться LLM"?

Что спрашивать программистов на собеседованиях, если алгоритмы спрашивать теперь бессмысленно (код пишет LLM)? Короткий список на подумать.

Важно. Это список я написал для себя. Когда-то я был профессиональным Java-бэкендером, но кажется, те времена безвозвратно прошли. Это список не для исследователя, а именно для прикладного инженера. Вот это я хочу видеть в том числе у себя в резюме, и всем рекомендую тоже. Применительно ко мне, пока не все пункты из него выполняются (особенно в разделе "дорого-богато со звездочкой"). Но вероятно, должны выполняться, если хочется проработать в индустрии еще хотя бы лет пять.

1) Понимание, когда LLM не нужна. Мета-навык: увидеть, что правильный ответ здесь - точно подобранная регулярка, классический ML или детерминированный алгоритм, а LLM - выбор дорогой неправильный. Софт-скилл: отговорить коллег использовать LLM, когда она не нужна.

2) Базовый промт-инжиниринг и юзабилити. Как жить, работать и строить продукт поверх вероятностной штуки, которая почти всегда "врёт": human-in-the-loop, показ неуверенности, деградация вместо падения, стриминг, вменяемые фолбэки в интерфейсе.

3) Понимание и построение архитектур продуктов (systems design) с LLM как частью системы, в центральной или малозначимой роли

4) Использование особенностей существующих инструментов без их доработки - MCP/A2A, Claude/Codex/Opencode, Plugins/Skills/MCP для них). LLM tool calling, structured output.

5) Уметь дорабатывать существующие агенты и харнессы (публичный опенсорс, инхаус в компании)

6) Умение писать свои агенты и харнессы (используя как стандартное барахло, так и новые идеи, которые сейчас на повестке). Включая разные технические детали (ретраи с backoff, таймауты, обработка rate limit'ов, конкурентность, роутинг/каскады между моделями (когда дешёвая апгрейдится в дорогую), circuit breaker, семантический кэш, бюджеты и квоты по стоимости. Рантайм-гардрейлы и организация безопасности действий агента, чтобы он не удалил тебе базу на проде.

7) Умение организовать наблюдаемость и LLMOps в проде. Чтобы ты мог понять, что делают твои модели, агенты и харнессы, и оперативно реагировать на это.

8) Умение для разных задач пользоваться разными моделями (в том числе фронтирными и маленькими 32B, локальными, и специализированными - девопс-модель или медицинская модель)

9) Умение запускать их на разных движках инференса (vLLM, SGLang, TGI, TensorRT-LLM) и разном железе (Nvidia, AMD, Huawei)

10) Базовое понимание оптимизации. Квантизация под инференс (GGUF/AWQ/GPTQ/int8/fp8), управление KV-кэшем, батчинг, throughput vs latency, speculative decoding, prompt caching.

11) Умение работать с хранилищами (RAG/retrieval/context. Эмбеддинги, векторные базы, чанкинг, управление контекстным окном, системы памяти.)

12) Уметь использовать классическое машинное обучение и работу с данными вместе с LLM

13) Уметь писать промты и концепции, совместимые со всем вышеперечисленным (Spec-Driven, RLM, etc)

Три раздела "дорого-богато" со звездочкой (требует дорогого железа, выдержки и инвестиций в матчасть)

14*) Уметь дообучать готовые модели. Чтобы избегнуть вопросов "что ты имеешь в виду", разверну. Два основных вопроса: сколько учим (full fine-tuning, lora/qlora/dora, transformer adapters, soft prompts/prefix-tuning/prompt-tuning/P-tuning) и чему учим (дистилляция, continued domain-adaptive pretraining, supervised fine-tuning / instruction tuning, preference alignment/RLHF PPO/DPO/RLAIF, RLVR)

15*) Уметь обучать что-то с нуля принятыми в продакшене способами (любое трансформерное барахло)

16*) Уметь обучать что-то экспериментальное и мультимодальное

17) Умение джейлбрейкать и защищать всё вышеперечисленное (advanced prompting, abliteration, prompt injection, data leaks)

18) Уметь оценивать всё вышеперечисленное (tokenomics, LLM-as-judge, regression testing)

19) Иметь базовое понимание, как всё это работает под капотом, чтобы достичь ощущения "сродства с машиной" (токенизация, сэмплинг, температура/top-p, природа галлюцинаций...)

20) Уметь конструировать новые алгоритмы, архитектуры и руководящие принципы для всего вышеперечисленного

21) Скучное юридическое: персональные данные, региональные регуляции (EU AI Act), лицензирование, способы спрятать использование LLM от посторонних глаз и делать его недоказуемым, и т.п.

22) Умение по-человечески общаться на все эти темы (Обсуждение хотя бы одной идеи, которую никто пока нормально не сделал. Или статья в журнале, или хотя бы в блоге, телеграме)

1 view11:48