#собесы #BaseLLM

За последний год прошел много собеседований и удивился, что на русском языке нет(или почти нет) методичек LLM Q&A собеседований на русском. В каждом из тем(пока планируется 15), я постараюсь понятным языком ответить на вопросы, а затем составить общую методичку LLM собеседований.

В чем разница между предиктивным(Predictive) и генеративным(Generative) ИИ?
В предиктивном мы не создаем новые данные, а делает предсказания или классификации по существующим входным данным. То есть учится границам между классами(LogReg, RF, Catboost).
В генеративном мы генерируем новые данные на основе распределения(LLM, GAN, Stable Diffusion).

Что такое LLM и как она тренируется?
Large Language Model - продвинутая вычислительная модель, способная анализировать и генерировать тексты на любую тематику. Она работает по принципу нейронных сетей и может образовывать сложные шаблоны и взаимосвязи между изученными языковыми данными.

Примеры: GPT, Gemini, Claude

В классическом понимании у LLM есть несколько стадий обучения:
1️⃣ Pre-training, для понимания того, как работает язык
2️⃣ Fine-tuning, для обучения на определенной задаче или домене
3️⃣ Prompt-tuning, использование инструкций и подсказок для лучших ответов модели
4️⃣ Reinforcement learning with human feedback(RLHF), после получения ответов, человек их оценивает и меняет параметры LLM.

Что такое токен в языковой модели?
Токен - минимальная единица текста, с которой работает языковая модель. В LLM это обычно части слов, слова и знаки, зависящие от алгоритма токенизации.

Как рассчитать стоимость пользования готового сервиса LLM(GPT, Deepseek) и open-source решения(LLAMA, Qwen)?
В первом случае все зависит от количества входных и выходных токенов: примерно 0.03 доллара за 1К входных и 0.06 за 1К выходных. При этом стоимость может меняться от сложность модели. Общая формула будет примерно такой:

Общая стоимость = (число prompt токенов * цена за 1K prompt токенов / 1000) + (число completion токенов * цена за 1K completion токенов / 1000)

Все остальные затраты будут на стороне провайдера. В наших реалиях придется платить за прокси, но это буквально 250-300 рублей в месяц.

Для развертывания своей модели придется платить за ресурсы, devops поддержку, хранение информации и энергопотребление. Общая формула:

Общая стоимость = Стоимость GPU (аренда или амортизация) + Стоимость CPU RAM Storage + DevOps зарплата + Сопутствующие расходы (электричество, сеть)

В целом, использование SaaS намного более удобный, чем локальная LLM, использовать второй случай нужно лишь когда нам нужен полный контроль над моделью и данными.

Что такое температура и на что она влияет?
Температура - это гиперпараметр генерации текста, который контролирует степень случайности (креативности) в выборе следующего токена.

Модель вычисляет вероятности токенов p_i. При температуре T:

p_i_new ∝ exp(log(p_i) / T)

- Если T < 1, распределение становится резче (концентрируется на top токенах).
- Если T > 1, распределение становится более равномерным (выбор менее вероятных токенов возрастает)

Нравится ли вам такой формат?) Разбирать ли более сложные вопросы или сначала базу?) Какие еще темы вы хотели бы разобрать?) Обязательно ставьте реакции и пишите комментарии💗