#interview

Спорный контент, но мб кому будет интересно

🚀 Как на собеседовании оценить навыки кандидата в использовании языковых моделей в рабочих процессах? 🧠

С развитием ИИ умение применять языковые модели (LLM) в рабочих процессах — это суперсила. Но как проверить это у кандидата?

Делюсь чек-листом с упором на офисные задачи и кодирование!

Какими навыками должен обладать интервьюер?
1. Понимание прикладных сценариев LLM: Знание, как модели используют для автоматизации рутинных задач, анализа данных, генерации текстов и помощи в разработке.
2. Практика работы с инструментами: Опыт в использовании веб версий GigaChat, ChatGPT, Gemini, Claude или API (например, OpenAI).
3. Критическое мышление: Умение оценить, как кандидат исправляет ошибки в ответах модели или адаптирует её под конкретные задачи.
4. Этика и безопасность: Понимание, как избежать утечек данных и предвзятости в результатах.

Чек-лист для оценки на собеседовании
✅ Базовые знания
- Объясняет, что такое промпт-инжиниринг и как он влияет на результат.
- Знает, как работают контекстные окна, параметры генерации (например, «temperature»), и токенизация текста. Проверьте, понимает ли кандидат, в чем смысл вопросов "сколько букв r в слове "strawberry" или "сколько букв е в слове "длинношеее".

✅ Офисные задачи
- Задача 1: Написать промпт для автоматизации ответов на типовые email-письма (например, обработка жалоб или запросов).
- Задача 2: Создать шаблон отчёта на основе сырых данных (например, превратить таблицу с цифрами в аналитическую сводку).
- Задача 3: Оптимизировать запрос, чтобы модель генерировала краткие тезисы из длинных документов.

✅ Кодирование
- Задача 1: Попросить написать промпт для генерации SQL-запроса или Python-скрипта под конкретную задачу (например, парсинг данных).
- Задача 2: Исправить ошибку в коде, который выдала модель (например, неработающий API-вызов).
- Задача 3: Объяснить, как LLM может помочь в документировании кода или рефакторинге.

✅ Креативность
- Предлагает, как внедрить LLM в текущие процессы компании:
— Автоматизация создания презентаций,
— Анализ обратной связи клиентов из чатов,
— Генерация идей для контента или A/B-тестов.

✅ Этика
- Обсуждает, как избежать использования чувствительных данных в промптах.
- Знает методы проверки результатов модели на достоверность.

💡 Совет: Давайте кандидату реальные кейсы из Вашей компании. Например:
> «Как бы вы использовали LLM, чтобы сократить время подготовки еженедельных отчетов для отдела продаж?»
> «Как интегрировать модель в наш код для автоматического тестирования?»

🔥 Итог: Сильный кандидат не просто знает про ChatGPT, GigaChat или Mistral — он видит, как встроить ИИ в рутину, чтобы команда работала быстрее.
А Ваш интервьюер сможет это проверить?

Делюсь этим чек-листом — сохраняйте себе и внедряйте при найме! 💪

https://t.me/semasci

#sql #interview

#llm #competition

#systemdesign #vizualisation

Diagrams

Нравится мне python, а если с его помощью ещё и архитектурные диаграммы рисовать — вообще красота. Поэтому принес ещё один инструмент, позволяющий кодом на питоне создавать архитектурные схемы. В примерах можно посмотреть как это выглядит: тут и тут.

Затащить в полноценное использование командами такой инструмент у меня, конечно, не получится (да и смысла большого нет), но развернуть локально и потыкать интересно. На практике мы используем Structurizer. А ранее у нас был пост, зачем мы документируем архитектуру.

#tools

#rl #papers

Смотрели на 100 примерах🤦🏼‍♀️

Дамы и господа, выдыхаем: RL всё таки не работает.

Те, кто со мной общаются, знают, что я достаточно скептически отношусь к GRPO и test time scaling прорыву. Когда-то, я прочитал офигенный блогпост с громким названием "There May Not be Aha Moment in R1-Zero-like Training", где авторы попытались критически посмотреть на обучение ризонеров на базе квенов и у них получился неожиданный результат: у квенов aha moment и селф рефлексия возникает на нулевой эпохе обучения — то есть в базовой модели. Сейчас вышла полная статья (правда, как я понял, выложена она в репозитории, а не на архиве или конфе), где более полно раскрываются эти файндинги.

Существующие имплементации GRPO (от HF и от Unsloth — не уверен, что они разные, но вроде разные), используют один и тот же системный промпт от R1 при обучении. Авторы задают вопрос: а точно ли для моделей, на которых хотят воспроизвести aha moment, выбираются правильные промпты? И действительно: оказывается, что если вообще не использовать чат темплейт у базовых моделей (qwen-2.5), то они уже могут работать в чат режиме. Видимо, в претрейн уже подмешивали вопросно-ответные датасеты, например, на математику и модель генерализовалась. При этом, они рисуют ещё более интересную картинку: Qwen-2.5-Math модели без системного промпта работают в полтора раза лучше, чем фью шот на датасетах с математикой. На Deepseek V3 это не воспроизвелось, там темплейт помогает гораздо сильнее.

Затем авторы развернули Deepseek V3 Base самостоятельно (мне бы столько ресурсов), и прогнали через неё вопросы из MATH-500 с использованием промпта от R1. Оказывается, что модель изначально отлично генерировала такие слова как "aha", "wait" и "verify the problem" и показывала примеры селф рефлексии без дообучения.

Потом они решили посмотреть на формулу GRPO и PPO и поняли, что в них есть лишние детали. Во-первых, есть response-level bias, то есть нормировка по длине ответа. Если advantage положительный (ответы верные), наличие нормировки увеличивает апдейты градиента, если отрицательный, то наоборот, ответы становятся длиннее. Это соотносится вот с этим постом, где тоже подтвердили такое поведение моделей. Во-вторых, при подсчёте advantage производится нормировка на std ревардов. Это приводит к тому, что вопросы с меньшим std ревардов больше влияют на веса, что ведёт к менее эффективному обучению. И действительно, если эти два bias убрать, средняя длина ответа довольно быстро выходит на плато, неверные ответы, хоть и длиннее, чем верные, но всё же становятся короче, а качество обученных моделей хуже не становится.

А потом авторы объединили все эти файндинги в единый эксперимент: они взяли qwen-2.5-1.5B с разными системными промптами и проверили, насколько при обучении с GRPO растёт качество на популярных бенчмарках. Результаты напрямую следуют из предыдущих экспериментов: неудобные для модели темплейты её сначала ломают, а потом через RL модель учится отвечать правильно. Это даёт ей офигенный буст в качестве (тот самый +40% on MATH, которым хвастаются в заголовках). Но если не использовать промпт, то модель сразу стартует с удобного начала и отвечает на вопросы очень хорошо — и буст в качестве становится значительно более скромным, в районе 5-6%.

Кроме того, авторы взяли llama-3.2-3b и сравнили, насколько влияет претрейн на высоту плато GRPO. Если не обучать модель на математике, то RL практически не помогает, а вот если сначала обучить на NuminaQA или FineMath, то буст будет достаточно сильным. Модель они учили с R1 промптом, так что предположу, что тут та же история, что и с квеном: скачок в качестве это следствие из нестабильности модели к подающимся в неё промптам, а не из волшебных свойств чисто RL обучения.

Ещё один интересный аблейшн авторы почему-то вынесли в аппендикс: селф рефлексия в R1-Zero больше коррелирует с неправильным ответом, чем с правильным. Конечно, эксперимент проводился всего на 100 примерах, так что может быть это статистически незначимые результаты, но всё равно, клейм интересный.

#llm #gan

Вышел мощный ИИ-агент OWL, который получил удобный веб-интерфейс. Это бесплатный аналог Manus, повторяющий все его функции.

Модель занимает первое место среди open-source фреймворков и имеет высокую производительность в задачах автоматизации.

Небольшой список того, что умеет:
— Решает задачи за вас: пишете, что вам нужно, а ИИ-агенты сами всё за вас делают;
— Генерирует любой тип текста и изображения;
— Обрабатывает документы (PDF, Word, Excel);
— Создаёт графики и отчёты;
— Ищет актуальную информацию в интернете, пользуется поисковиками и изучает веб-страницы, автоматизируя работу браузера;
— Анализирует файлы;
— Пишет и сам же выполняет программный код;
— Поддерживает сторонние ИИ-модели: GPT-4, DeepSeek и т.д.

Например, OWL можно попросить проанализировать акции, дать прогнозы, вести соцсети, написать программу и многое другое. То есть отдать ему свою рутинную работу.

Ссылка на гитхаб тут

r/#LocalLLaMA

#dl #gan