Заметки про эффективный RAG.

Основано на курсе и личном опыте. А также навеяно последним обзором ChatQA выше.

1. эмбеддер для поиска подсказок важен, с него апает качество. С ходу можно получить прирост от 5-7%.
Не стоит стесняться тюнить энкодер е2е без тюна LLM (она зафриз, следим ток за конечной е2е метрикой). Так же тюнить соло без е2е тоже, как шаг 2 (после шаг1 бейзлайна взять лучший энкодер по MTEB), а е2е тюн с LLM уже последняя мера.

2. MMR поверх выдачи эмбеддера повышает разнообразие итоговых подсказок и даёт лучший импакт на конечную генерацию. Тут суть в том, что нам нужно получить не топК ближайших парафраз/формулировок подсказок, а топК разнообразных релевантных подсказок, не являющихся парафразами друг-друга. Это и помогает сделать MRR метрика.

3. Промтинг всё ещё также в купе с пп. 1-2 даёт импакт к итоговой генерации. Тут можно урвать +2% процента минимум к качеству ответа.

4. Разбиение документов поиска на чанки. Хитрая разбивка от малого к большому. А именно мы бьём документы не на большие куски, а храним иерархию большой чанк <=> его сабчанки. Далее ищем именно по саб.чанк, а в промт по обратной связи возвращается родительский большой. Такое расширение контекста закрывает проблемы lost in the middle. Тк при слишком крупной нарезке, ретривер может размывать информацию в эмбеддинг представлении текста биг чанка. В купе с этим MMR поможет сделать выдачу на основе малых чанков разнообразней/информативней и залинковать разнообразные родительские чанки, вместо сабчанков одного и того же. Кстати подобное было и в статье про ChatQA.

Список думаю будет еще пополняться, а пока на этом все. Stay tuned!

FLOW STATE 1/2

Все мы слышали про состояние потока, когда твой мозг как спорткар на полной скорости проезжает одну задачу за другой, не сбавляя темп. Кстати, сейчас переслушиваю уже в 3-ий раз книгу «Поток», всегда интересно как по-разному ты смотришь на одну и ту же информацию в разных главах своей жизни.

Ключевой вывод: чем чаще и дольше мы находимся в потоке, тем счастливее наша жизнь и тем, как ни странно, больше целей мы достигаем.

Отсюда встаёт корыстный вопрос, как пребывать в потоке дольше и чаще. Попробую по верхам перечислить несколько не всегда очевидных лайфхаков которые Я подобрал.

1. Слышать себя. Заниматься тем, от чего прёт, и не заниматься тем, от чего не прёт.

2. Цели. Ставить максимально конкретные цели, ведь если твоему мозгу непонятно, что делать, он не сможет подобрать оптимальный паттерн активации. Например популярна техника SMART, хотя и в контексте потока речь больше про краткосрочные задачи (дней-недель).

3. Лекарство от рутины. Если задача/работа слишком простая и скучная, повышай уровень сложности с помощью простого советского… «а давай попробуем сделать это, затратив в 2-3-5 раз быстрее». Похоже с прогрессией нагрузок в качалке. Так добавляется вызов, а это ключевое условие потока.

Так, если Я смотрю на какую-то задачу и Мне лень её делать (например, почистить Inbox) , Я сокращаю исходный эстимейт в 3-4 раза и подключаю на помощь ChatGPT.

4. Тайм Батчинг. В потоке ты занят или одной задачей, или набором однотипных задач. Много мелких задач / созвонов / багов – можно пихать как один непрерывный блок времени.

5. Прогресс. Мне ещё лично помогает в таком случае геймифицировать процесс: например вот у Меня 10 багов на следующие 6 часов и каждые полчаса Я отмечаю в логах тайм-трекера сколько % осталось. Видеть моментальный прогресс, замыкать петлю обратной связи, это важно для вовлечения.

#LifeOps

FLOW STATE 2/2

6. Не отвлекаться. Логировать свои действия (Я это делаю в 25% случае, когда ощущаю потребность) это помогает не только трекать прогресс, но и отлавливать когда отвлекаешься. Отвлекающие факторы это как препятствия для твоего спорткара, которые сбавляют скорость, сбивают ритм, добавляют мусорный контекст в LLM твоего мозга.

7. Разделяй и властвуй. Если решаешь большую непонятную проблему, которая демотивирует и уменьшает боевой дух твоей армии внимания (вообще, фокус внимания - это ключ для потока), декомпозируй, разбивай на понятные подпроблемы и формулируй подзадачи, хватайся за то, что понятнее всего. Даже если твоя картина мира пока примитивна, всяко лучше построить ошибочную модель и на основе неё строить и проверять гипотезы, чем опускать руки от беспомощности.

8. Путь важнее результата. Как советует Эндрю Хуберман, свою дофаминовую систему полезнее направлять на кайф от самой работы, находить в ней удовольствие, нежели думать о цели, которая ещё далеко впереди, – и это скорее приблизит к цели! Например, Я для себя придумал понятие Deep Workout по аналогии с Deep Work: минимизировать телефон и увеличивать концентрацию на каждом повторении (негативной фазе), нежели стараться поскорее сделать все подходы.

9. Отдых. Чтобы иметь много энергии, нужно уметь отдыхать. Что является отдыхом? Например, сон, зал, прогулка. Что не является отдыхом? Сидеть в чатах, в инстаграме, смотреть YouTube, играть в доту. Хороший отдых не содержит быстрых углеводов дешевых источников дофамина. Многие даже когда им нужно расслабиться- бомбардируют свой мозг внешними раздражителями, что явно не ведёт к восстановлению.

10. Скука. Вообще, чтобы увлекаться работой легче, стратегически выгоднее делать всю остальную жизнь вокруг скучнее и однообразнее (режим сна, тренировки, питание в одно и то же время и т.д.). Это занижает ваш dopamine baseline (напоминаю, что дофамин - в первую очередь гормон предвкушения), что на контрасте делает работу (где вообще говоря, что-то происходит) – увлекательнее.

Поделитесь, какие лайфхаки выработали для себя вы?

#LifeOps

Что общего у знакомств с девушками и предпринимательства?
– быстро привыкаешь к отказам.

Просили делиться фейлами? Короткие новости последних 2 дней:

1. Чтобы выйти на зарубежный рынок, нужно завести юрлицо в стране, которая работает с платёжками Stripe, AppStore; которой будут доверять инвесторы и фонды.

Рассматривали инкорпорироваться в Сингапуре, товарищи сказали, что завести-то заведут, но там с русским паспортом с вероятностью 99% счёт не откроют (+ налоги большие). Окей, изучаем другие варианты, Дубай, USA и т.д., взвешиваем риски и вложения.

Кстати если вы фаундер и есть рекомендации по стране, буду рад советам в комментариях.

2. Хотели разместить рекламу в боте Дайвинчика, ведь там наша ЦА: одинокие мужчины и женщины в (полу-)активном поиске. А там 200К просмотров на пост в канале и ещё больший онлайн в самом боте, можно покупать желаемое число показов. Кстати, вот с таким постом: https://t.me/adamdate/200. Вроде 3 дня обсуждаем, в последний момент (благо до оплаты) без объяснений пишут "не сможем с вами работать". Комментариев не дают.

Гипотеза №1: беспокоятся что мы перегоним трафик и в какой-то момент превратимся в СЗ-конкурент (что вообще не наша бизнес-модель и становиться платформой в планах не было);

Гипотеза №2: беспокоятся что мы про автоматизацию аля CupidBotAI и аналоги, которых сейчас наплодилось и от которых сайты знакомств по типу отмахиваются как от мух (хотя это опять же противоречит нашим *высоким моральным принципам* и *миссии*).

Но ладно, shit happens. В конце концов, 1) это не единственный путь к СНГ аудитории, да и 2) у нас не стоит цели сильно долго задерживаться на СНГ, хотя и если бы получилось договориться, были бы рады.

Работаем дальше! 😈

#VIBE #dating

На полчасика созвонились с другом, который в арбитраже трафика съел 10 собак. Вот пара его советов и идей:

1. Welcome-сообщение (онбординг) должно быть не о высоком (хотя по-началу он сам ровно также делал), а sexy, так чтобы вызывало сразу желание купить – показывал ключевые фичи продукта, вводил в более приземлённую боль пользователя [у приложений-конкурентов вариации на тему: "get more dates"]

2. Trial нужно давать не за красивые глазки, а после введения карты в платежку с возможностью отменить за 3 дня, с автоматическим списанием – тем более, так будет эффект «ну ладно я уже заплатил, так и быть, попользуюсь» – желание отбить вложения. Это проверяет вообще говоря "серьёзность намерений пользователя" и отсеивает тех, кто "я просто посмотреть" (не целевую аудиторию)

3. Перед этим клево работает штука, когда пользователь уже что-то делает (например отправил скриншот), а ты ему на финишной «ой погоди, родной, вот подпишись чтоб узнать, или активируй trial». Действие как предварительное вложение. [прим. и пункт 2, и пункт 3 могут сработать, а могут не сработать – здесь без экспериментов не обойтись. No Free Lunch Theorem]

4. Продления подписки тоже должны быть автоматом, иначе лишние фрикции, следовательно, лишние поводы не расстаться с деньгами, что для нас неприятно. Нулевая гипотеза: "пользователю все нравится, он хочет продлить".

5. То что Дайвинчик отказал – вообще рядовая ситуация. Забить и даже не нужно думать, почему. У них может быть тысяча своих стереотипов, например что «это все какой-то пикап, а пикап = скам». Это абсолютно нормально, так было у всех и так будет ещё много раз, надо привыкать.

6. Вообще, нужно тестировать разные каналы рекламы и посмотреть отклик. Телеграм каналы лучше чем телеграм чаты [прим., а у нас сейчас львиная доля заходов с телеграм-чатов]. В чатах сообщение может быстро теряться.

7. По-началу лучше всего разлить бюджет по разным каналам и по цифрам, на глаз и по ощущениям смотреть, какой лучше конвертит, возможно куда-то лить повторно.

8. Телеграм API поддерживает меченные ссылки, поэтому можно и нужно через них организовывать рефералки, аффилейтов, рекламу и остальные конфеты.

9. Считать юнит-экономику (LTV, CAC) не overall, а в разрезе отдельных каналов привлечения и по каждому каналу отдельно смотреть конверсии, паттерны поведения, долю и длину подписок.

10. Смотреть на воронку, в каждый отдельный момент времени фокусироваться на узких горлышках. Посоветовал посмотреть выступление Германа Гаврилова (CEO Roistat) https://youtu.be/jnarCmVJx60?si=8wle2kpZJLvR3cfi&t=300 [в выступлении увидел ссылку на книжку "Цель", которую читал года 2 назад, самое время перечитать; вообще, последние месяцы полезнее всего лично для Меня было перечитывать прочитанные книги, а не читать новые]

Супер, будем экспериментировать.

#VIBE #Books

"Люди охотно верят тому, во что желают верить."
– Юлий Цезарь

"Если что-то существует, ещё не значит, что оно имеет на это право."
– Фридрих Ницше

Одна из киллер-фичей адама (которой, к слову, пока нет ни у одного из 40 кандидатов-в-конкуренты, которых Я нашёл в AppStore) – это разбор переписок.

https://t.me/adamdate/202?single

Даже страшно представить, сколько за последние 3-5-8 лет мы на эти разборы переписок потратили времени – чужих и своих. Как хорошо, что теперь это можно делегировать машине.

#VIBE #dating

REASONING

Важный мета-навык, на который Я обращаю внимание на собеседованиях, это "здравый смысл" или "умение рассуждать". Мне нравится метафора Игоря.

У каждой позиции, на которую нанимаешь, есть несколько ключевых навыков, которые сотрудник будет использовать в работе. Цель собеседования:

1. как можно точнее оценить, на каком уровне кандидат находится по каждому из направлений;

2. понять, какой у кандидата потенциал роста (за какое время сможет наверстать отстающие?).

По этой причине вы сильно облегчите жизнь – и себе, и интервьюеру, – если заранее будете знать ответ на вопрос "какие твои самые сильные (слабые) навыки?". О том, как трекать/оценивать навыки, у нас был пост: https://t.me/bogdanisssimo/175

Пункт №1 – это то, что кандидат уже знает и умеет, с чем он уже работал. Но в работе далеко не всегда делаешь то, что уже делалал, одними и теми же инструментами, поэтому надеяться, что нам повезёт и задачи, которые нужно решить, попадут в эту категорию – не приходится.

Пункт №2 ещё важнее и интереснее. Мы живём в период, когда ландшафт технологий меняется на глазах, поэтому нужно быть очень адаптивным и уметь в короткие сроки осваивать новые инструменты (да и вообще говоря, работать с непривычным уровнем абстракций).

Метафора: Каждый навык это как отдельная вертикаль на шахматной доске, допустим их 8 и у каждого 8 уровней. За 60 минут интервью тебе нужно методом тыка (буквально, binary search), найти, где походит граница между тем, что кандидат знает и умеет, и тем, что не знает.

Далее, хотим понять, а на сколько клеток вперёд кандидат может осмысленно рассуждать? Лучше всего давать кейс. Как он принимает решения в условиях неопределённости? Какие он делает допущения? Как экстраполирует, что знает, на то, что не знает? Проговаривает ли логику? Оценивает ли уверенность в своих гипотезах? Когда делает ошибки, находит ли их сам?

Чем выше ваш грейд, тем шире должны быть обе зоны. Если вы ещё стажёр, вам тем более стоит делать ставку на reasoning, ведь как таковой зоны "с чем уже работали" у вас пока нет.

Тут я очень согласен — я даже кандидатам иногда (когда вижу неуверенность/волнение выше нормы, или когда они чего-то не знают, и стесняются этого) на собесах говорю прямым текстом, что мы так или иначе дойдем до границы, где кончаются твои знания, и будем смотреть, как ты в realtime движешься вперёд, какие можешь делать предположения, как твой опыт позволяет тебе отсекать неправильные идеи и выделять перспективные. Кто-то на собеседованиях по NLP «изобретал» на ходу реальные технологии и фичи, о которых в своё время были написаны целые статьи — потому что человек смог сделать правильные допущения с высоты своего опыта.

Разместили адама в Telegram Apps Center (@tapps_bot)

https://www.rungalileo.io/blog/mastering-rag-how-to-architect-an-enterprise-rag-system

Подробный гайд на каждый чих при заведении RAG:

• В какого рода продуктах это вообще нужно?
• Как базово выглядит пайплайн?
• Какие 7 мест где что-то может пойти не так?
• Какие есть косты и трейд-оффы?
• Как бить базу знаний на чанки?
• Как это оценивать и собирать фидбек?
• Что насчёт секьюрности и этики?

За ссылочку спасибо Игорю

#LLMOps