Станут ли дата сайнтисты промпт инженерами?

Актуальный вопрос в сообществе 😐. В решениях все больше LLM. Что, теперь мы получается будем с утра до вечера тюнить промпты? Что это за работа то такая?

Друзья, да, стек технологий меняется. Но это практически не повлияет на характер нашей работы!

Если честно, всегда избегал брать людей, которые в первую очередь хотели делать fit-predict. Суть DS работы в процессе: сделал фичу - померил метрику - подумал - новый цикл.

Делать production решения на основе LLM на самом деле сложно. Только опытный дата сайнтист сможет выстроить систему оценки качества. Только опытный датасайнтист сможет затюнить промпт и то, что будет попадать в контекст, и в итоге получить высокую стабильность выходных метрик.

🐳 Согласен
🌚Не согласен
🗿Свое мнение (welcome в комментарии)

Если вы только пишете промпты, вы уже отстали

🧐 Новая система аспектов работы с AI выглядит так

- Prompt Engineering. Как давать хорошие инструкции. Все еще важно, но только первый навык из четырех

- Context Engineering. Как сделать так, чтобы контекст LLM эффективно использовался. Чтобы была полезная информация и не было бесполезной

- Intent Engineering. Как обеспечить, чтобы модель держала долгосрочные цели, а не только выполняла то, что ее попросили в предыдущем промпте

- Specification Engineering. Про построение системы документов, которые позволят LLM действовать автономно и не потребуют прописывать все детали руками в каждом промпте

Когда услышал про эту концепцию, у меня в голове произошел фазовый переход. Из-за перечисленных аспектов и из-за осознания ключевой цели - увеличить время автономной работы агентов.

В Claude Code context engineering и intent engineering уже решают за нас. А наша задача - настроить спецификации.

Это CLAUDE.md, это skills, это mcp до докуметации. Я собрал себе две конфигурации: для кодинга и для всего остального. Они пока далеко от моего идеала.

Следующий шаг - появление систем спецификации на уровне компаний. 🤔

Пару недель назад я все-таки купил подписку за 100$ на клод 🤑 и с этого момента чувствую себя существенно более счастливым человеком.

У меня сейчас два конфига клода: рабочий и личный. Личный я использую как замену Chat UI и задаю туда вопросы. Также он умеет конфигурировать мою систему и работать с обсидианом.

Рабочий нужен для написания кода и реализации моих DS задумок. Хочу сказать про него пару слов

В Claude Code работает "наследование конфигов". Т.е. если вы запускаете его в ~/work/project-1, то он прочитает CLAUDE.md в папке project-1 и потом поднимется и прочитает CLAUDE.md в папке work.

В базовом CLAUDE.md я написал общие инструкции, а также научил его делать симлинки на общие .claude/settings.json, .claude/skills и .mcp.json при старте проекта. Специфичные инструкции для проекта лежат в локальном CLAUDE.md, а локальные настройки в .claude/settings.local.json

Главная проблема клода - необходимость постоянно выдавать разрешение. Самое главное, что эти разрешения сливаются в одно сплошное "далее-далее-далее" и не очень-то обезапашивают (см пример из Амазон 😄). Я ищу формат, чтобы с одной стороны сохранить хоть какую-то безопасность, а с другой повысить время автономной работы. В целом неплохо работает режим sandbox, но пока он плохо дружит с моим vpn.

Если готовы рассказать про свои сетапы, заходите в комментарии🔽

Вакансия 🚀

Набираю ребят международный ecom стартап, где я отвечаю за DS/AI. Искренне считаю, что это один из лучших проектов на рынке. Будет масштабный запуск, у нас большие планы и взрослые инвестиции. Пусть слово стартап не вводит вас в заблуждение 🙂

Костяк DS команды набран. Сейчас мы доукомплектовываем команду Поиска и Рекомендаций. Тимлид команды Настя Павловская @ah_pavlovskaya, ex-Яндекс, ВК, ШАД

Позиция: middle/senior ML-инженер

Что делаем:

- Строим хорошие контентные вектора для разных языков: очень важная часть системы, так как мы находимся в ситуации очень холодного старта.

- Детально прорабатываем пайплайны поиска и рекомендаций: кайфуем от того, что можно строить весь пайплайн целиком (и влиять на архитектуру), а не тюнить маленькую часть системы.

- Адаптируем поисковые технологии под разные языки: лучше разбираемся в структурах очень разных языков, перекладываем их особенности на наши технологии.

- Работаем над AI в сценарии подачи объявлений. Это нереально крутой стрим, с LLM и обычными DL моделями под капотом на критичном пользовательском сценарии. Не про поиск, но его тоже делает команда Насти.

Кого ищем:

Сейчас больше фокус на ребят с опытом в NLP или RecSys, но если даже у вас нет такого опыта, и хочется поучаствовать в челленджовом проекте, приходите, у нас много разных задач.

Условия

Вилки соответствуют ру бигтех компаниям. Ожидания по скиллам - тоже. Есть российское и международное юрлицо. Зарплата привязана к рублям. Большое предпочтение отдаем ребятам из Москвы, любим встречаться очно. Есть классный офис на метро Новослободская.

Буду благодарен за репосты ❤️

Присылайте резюме Насте @ah_pavlovskaya