К моему удивлению ещё не все знают, что такое OpenRouter.

OpenRouter это единый API через который вы можете обращаться к моделям разных провайдеров посредством единого интерфейса и легко переключаться между ними. Оставаться vendor-agnostic (не быть привязанным к конкретному вендору) это сейчас критично важно☝️

Кстати, там дают бесплатные кредиты 🤫 а пополнять можно даже криптой.

Также, отвечая на вопрос, «а как держать руку на пульсе в столь динамичной индустрии?», open router статистика это отличный способ узнать какая модель сейчас популярна у разработчиков в категории программирование, у академиков или у маркетологов.

В следующий раз когда будете думать какую модель использовать в конкретном домене, то этот сайт можно использовать как стартовую точку.

Зайдите, потыкайтеу, уверен, кому-то будет полезно 🙌

#ai

@makebugger

​​На днях получаю копеечку за недавний экзит стартапа где я провёл прекрасные 2 года своей жизни, и самое время разобрать ещё один бэтч стартаповых словечек связанных с компенсацией, пока еще свежо в памяти 😂

Stock Options - право купить акции компании по фиксированной цене (strike price). Ключевое слово “право” - можешь купить, а можешь и не покупать.

Vesting - это период за который ты “зарабатываешь” свои опционы. У меня было 4 года с 1 годом cliff. То есть первый год вообще ничего не получаешь (чтобы те кто в компании не задержится не получили свой кусок пирога), зато после года сразу 25%, дальше каждый месяц по чуть-чуть.

Exercise shares - когда ты реально покупаешь акции по strike price. Я не exercised ни одного опциона, потому что ждал экзита (и правильно сделал), после того как нас купили все наши стоки exercised (даже у тех кто пришёл в компанию месяц назад и получил больше опционов чем те, кто работал несколько лет).

Важный нюанс про типы акций:

Preferred stocks - привилегированные акции, их получают инвесторы и высший менеджмент. При продаже компании их выплачивают в первую очередь.

Common stocks - обычные акции, их получают сотрудники через опционы. Выплачивают после preferred.

На практике это означает что сначала карманы набивают инвесторы и топ-менеджмент, а крошки доедают обычные работяги. Но если экзит удачный, то и крошки тоже могут быть весьма сочными.

Очень важно чтобы у стартапа было американское LLC (аналог нашего ООО). В Америке законы касательно акций очень понятные и прозрачные. Если у компании только EU entity - с опционами вас скорее всего наебут, европейское право в этом плане гораздо менее employee-friendly.

Полезная штука - приложение Carta:

Показывает сколько у тебя vested/exercised опционов, текущую стоимость, всю историю. Очень удобно трекать свой потенциальный пейдей. Скрин своей Carta оставлю в комментах 👇

Главное правило:

Equity это лотерейный билет. Может выстрелить, а может оказаться туалетной бумагой. Никогда не идите в стартап только ради опционов - базовая зарплата должна вас устраивать.

#startup #money

@makebugger

Кофе, горы, два хычина

Эти выходные мы с друзьями провели в горах Кавказа, интернета там и так не было, так что получился так называемый детокс.

Это мой первый хайк в России и с уверенностью могу сказать, что местные пейзажи ничем не уступают Альпам, ни по цене ни по красоте 😁 думаю, неплохо бы было предпринять следующие шаги: ослабить (убрать) местную мафию, после этого сюда потечёт больше разнородных инвестиций, как следствие появится конкуренция и мб упадут цены.. задать единый стиль архитектуры и всё, Архыз превращается в Гриндевальд.

УАЗик, коровьи кизяки, жёлтые крокусы, озеро рыбка и сахарные пики кавказских гор. Примерно так выглядел наш уикенд, желаю всем проводить побольше качественного времени со своими близкими людьми, если вы ещё не заметили, то лейт мотив моего канала — всё «это» про людей 🍆

ИСКРЕННЕ посылаю вам лучи позитивной энергии и желаю хорошей рабочей недели!

#travel #life

@makebugger

Как я не взял оффер от создателя word2vec

В марте месяце этого года когда я активно ходил по собесам с желанием выцепить самый жирный оффер на рынке появился «чешский Mistral» под названием Bottle Cap AI с амбицией сделать LLMs cheap and fast again.

Я тут же законнектился с их CEO и по совместительству главным инвестором который по его же словам готов инвестировать 10😖зелени в незакрытые гештальты Томаша Миколова (создатель word2vec), после того как я имплементировал multi-token prediction (это было их тестовое) и рассказал какой я замотивированный и как со мной резонирует миссия Bottle Cap AI 🌚ушёл на следующие собесы.

Через неделю после нашей встречи и вкусного обеда в ресторане Losteria, который конечно же оплатил интервьюер 😁 мне дали оффер:

• Junior ML Researcher тайтл
• 5000€
• хардкорный рисёрч языковых моделей «на низком уровне», тюнинг параметров и имплементация безумных идей Томаша
• работа только из офиса
• и самое вкусное – 10 миллионов чешских крон «когда мы станем unicornом» (это примерно 250к $)

Придя домой и посчитав на сколько сильно меня пытаются обуть я, конечно, долго улыбался. Давайте посчитаем: 10 млн крон = ~250к долларов. Если компания достигнет оценки в миллиард (в этом случае компания считается unicornом), то 250к от миллиарда = 0.025%.
Для сравнения: обычные founding engineers получают 0.5-2% equity. То есть мне предлагали в 20-80 раз меньше стандартной доли при том же уровне риска и загруженности.

Долго я не думал и написал вежливый отказ, порекомендовав бывшего коллегу которому бы это могло быть интересно.

Почему я отказался?

• идти в рисёрч по моему мнению это почти всегда карьерный тупик, рынок таких специалистов крошечный, в основном никто кроме гигантов за рисерч платить не будет (я был в рисёрче, я общался с этими людьми, им не интересно ничего кроме их PhD тезиса)
• математика equity просто смехотворная
• работа с Томашем хоть и может звучать крутой в теории но на практике он показался мне выгоревшим гениальным рисёрчером которому наплевать на бизнес и продукт, а в эту авантюру он залез только для того, чтобы показать всем европейским регулятором которые годами не давали ему гранты, что он ещё может.

Несмотря на то, что я отказался я продолжил следить за ребятами но к сожалению за все эти месяцы
они не запостили ничего кроме одного PM графика (график для пиэмов и инвесторов которым всё равно, что значит X и Y оси и где не понятно откуда взялись данные).

После этого я сторговался с моим нынешним работодателем на оффер почти в 2 раза превышающий предложение от Bottle Cap AI.

А вы бы пошли работать к известному челику за зп ниже рынка ради опыта? 😏

#ai #startup #money

@makebugger

​​Про плохие стартапы ч. 1.

ч. 2

Два года назад после очередного ревью без значительного повышения зп и потухающими глазами я решаюсь найти вторую работу.

Собеситься пару раз в месяц было и остаётся для меня привычкой, так что первых лидов отхватить было не слишком сложно. Мой главный критерий – начать сотрудничать на парт тайм и со временем перекатиться на полную.

И вот на моём экране я вижу двух покемонов – Радек и Томаш, два визионерных не технических кофаундера, получившие деньги от инвестора который слышал, что эй ай это новый блокчейн, собрались вместе ради одной благородной цели – клонировать людей с помощью технологий искусственного интеллекта.

Как любые уважающие себя фаундеры аргументировали они это благородной целью – пенсионерам бывает грустно и одиноко и каждый из них мечтал бы поговорить со знаменитостью, Томашем Гариком Масариком, чешским боксёром или онлифанщицей (которая в последствии окажется девушкой одного из кофаундеров 😨, ссылочку в комменты скину кому надо😊).

«Какой же пиз*ец» - думаю я во время разговора с ними, как им могли дать деньги… но за спинами этих бизнесменов уже есть малоприбыльный проект по 3д сканированию помещений во Флориде. К тому, же про них написало уважаемое в Чехии техническое издание CzechCrunch и даже BusinessInfo.

«Ок», - говорю я, мы бьём по рукам и я начинаю работать на пол ставки. У ребят всё схвачено, стендапы 2 раза в неделю, куча микроскрвис, СТО без доли в компании и дискорд канал.

Сначала они не были уверены на какой из проектов меня кинуть потому что проектов и идей у ребят было как у Илона Маска, в итоге я присоединяюсь делать чешского конкурента character.ai – hitchat.ai/en

Почему хит чат спросите вы? Это название для проекта ребятам подсказала чат гпт, 2 слога, звучит прикольно, мне так объяснили.

Когда я присоединился к «команде», то первым делом решил выяснить, кем же являются мои коллеги которые работают на столь перспективном проекте уже не первый месяц.

Главный дев – ПеПе (чешское сокращение от имени Йозеф). У ПеПе 2 ипотеки, 2 открытых суда с девелоперами по ним же, избыточный вес и статус maintainerа в open source проекте Pydantic. Пока обе его квартиры купленные в ипотеку не предусмотрены для жилья (это и есть та причина по которой он судиться) ПеПе живёт на чердаке, прямо над офисом компании.

Да, ПеПе живёт и работает в офисе, кушает данисимо на камеру и смеётся над сходством моей фамилии с названием птицы. Позже он будет оставлять пасхалки в коде где будет называть нашу дружную семью hitchat – black company и просить о помощи, говоря, что Радек и Томаш его эксплуатируют и шантажируют.

СТО – приятный челик с заниженной самооценкой которому пообещали долю в перспективном европейском стартапе (в последствии окажется, что зп у него была меньше чем у меня и работал он в основном за долю). Работает безумно много, мало думает о бизнесе, много думает о качестве кода и микросервисах.

В первый месяц я менял текстовые промпты, описывающие характеристики различных чешских знаменитостей типа «Ты чешский президент Вацлав Гавел, отвечай как он…» и делал клонирование их голоса через eleven labs, получая за это 250$ в день, работал я от силы 1-2 часа.

…

Надо продолжать такой лонгрид или у вас внимания не хватает, чтобы такое полотно дочитывать?

#life #startup

@makebugger

Как коллективная экономика вдруг оказалась эффективной (вроде)

В 2025 дата центры жрут ~1.5-2% всей электроэнергии мира. Из них примерно 15-24% уходят на ответы на наши глупые вопросы о том сколько R в слове strawberry 🍓

Так как датацентры по планете размазаны неравномерно, то цифры потребления по регионам следующие:

• США – 50% потребления всей энергии для дата центров
• Китай – 25%
• ЕС – 15%
• Остальные – 10%

У США в свою очередь всего лишь 15% запаса мощности, что означает, что на данный момент их энергосистема может выдать на 15% больше энергии, чем требуется в пиковые нагрузки.

У Китая 80-100%, пространство для масштабирования несоизмеримо больше.

Почему так произошло?

1. В США - всеми нами любимый капитализм, что означает, что окупаемость у коммерческих проектов должна быть 3-5 лет, иначе инвесторы просто не зайдут. Зачем строить сейчас если спроса на рынке тупо нет?
Разумный партия Китай в свою очередь планирует всё по пятилеткам, деньги на инфраструктуру не жалеют, даже если она никому не нужна, людям же работать надо!

2. США начали строить их сеть гораздо раньше китайцев, технологии старше, материалы уже не те, поэтому всё постепенно приходит в негодность.
(похожая ситуация была когда в РФ адопшн ApplePay был гораздо быстрее чем в Америке в связи с более навороченными терминалами оплаты и банкоматами).

Прибавьте к тому то, что разными участками сети владеют разные компании в разных штатах, что усложняет процесс договоров и согласований. Китай начал попозже и все решения принимать великий Си, удар!

3. США слишком хорошо оптимизировали существующую систему вместо того, чтобы строить больше. Все готовились к стабильному постепенному росту.
Тем временем в кулуарах РФ затевается многоходовочная диверсия, просыпается спящий агент Илья Сутскевер, чтобы нанести сокрушительный удар по американской энергосистеме (эдакий план Даллеса наоборот) и 30 ноября 2022 без предупреждения релизится ChatGPT, ну а дальше вы сами знаете, рост перестал быть линейный.
_

Получается парадоксальная ситуация: коллективная плановая экономика Китая оказалась эффективнее децентрализованного рынка США в подготовке к ИИ-буму. Не потому что у них лучше технологии или больше денег, а потому что они годами строили скучный фундамент без давления быстрой окупаемости, as simple as that.

Если экстраполировать это на нас с вами, то давайте и мы концентрироваться на базовых вещах - не гнаться за мимолётной прибылью, спорт 3 раза в неделю, проводить время с близкими, любить и не ругаться матом 😊 окупится не через квартал, но зато через 10 лет будем с вами с запасом прочности 80%

(кстати, там новый sonnet выпустили)

источники:
омерика не готова!

как повысится потребление датацентров

+100 social credit
中国最好的国家！удар

#ai

@makebugger

Как я через Верхний Ларс в Россию ездил зубы лечить

Стоматология в Чехии – удовольствие исключительно для богатых. Клиника куда я ходил на первоначальный рентген (100€) насчитала мне 5 проблематичных зубов + чистку. 1 зуб за 1 год пропуска обследования у стоматолога, да, последний раз у зубного я был 5 лет назад – ну а чо, ничего не болело 😏

В общем, прикинул я 𓂺
к носу и посчитал, что в лучшем случае заплачу 850€ (5 зубов и чистка). Билет Прага -> Кутаиси стоит ~50€, с бонусными баллами от моего банка вышло около 40€ с маленьким чемоданом. Обратно билет я заранее не беру, так как Родина всегда может преподать сюрпризы😊

Не долго думая я покупаю билеты, заодно к другу на свадьбу схожу, поем домашнего борщика и проведу прекрасное время с моими любыми кубанскими друзьями (видеоотчёт тут). Одна загвоздка – удобной пересадки до мин вод нет, или стоит она как бизнес класс Прага -> Дубай. Решил купить билет на автобус прямиком из Тбилиси на Кубань за 5000₽.

«Автобус» — это, конечно, громко сказано: скорее, это была маршрутка, или как у нас её называют – скотовозка. Расписание у неё чёткое, как у немецких поездов, отъезд из Тбилиси, по словам водителя, в 18-20 часов.

Свой трансфер я ждал на трассе возле ресторана быстрого питания Wendy’s, хлопнул бургер за здоровье саакашвили, погладил барбоса с тбилисским пирсингом, и вот уже моя скотовозка приехала, и я присел на переднее сидение.

Комфорт длился не долго – ровно до тех пор, пока ко мне не подсел дед у которого изо рта пахло как возле мясокомбината в жаркий летний день. Ехали мы так 4 часа, справа от меня вонючий дед, а слева водитель, по кд курящий сигареты ява и дрОчащий коробку передач прямо в радиусе моей мошонки.

До границы мы доехали без приключений, резина на серпантине скрипела всего 10-14 раз. Прямо около того места где вереница машин стоит в очереди на грузинском КПП, мой армянский извозчикъ делает невиданный мне ранее манёвр – выезжает на встречную полосу и на яйцах едет так до тех пор пока мы не встретили фуру. Втулились обратно в ряд. Но потом к нам начали подходить раздосадованные люди, которые восприняли столь дерзкое дорожное поведение моего водителя как за неуважение к очереди. На что мой армянский брат (к этому времени мы уже вышли на новый уровень отношений) отреагировал очень сдержано и лаконично: «А я не знал, что это встречка 😏»

Долго могу ещё рассказывать про эту увлекательнейшую дорогу, но полного погружения без моей миниатюры нам с вами всё равно не достичь. Добавлю лишь одно – вся дорога с прохождением границы заняла примерно 12 часов, 2 из которых я спал в позе жирафа. Утренний рабочий стендап я, также, тактически пропустил.

«Так сколько же стоили зубы в России?» – спросите вы. Один зуб нам пришлось умертвить, так как риск пульпита уже был огромный так что всё заняло намного больше времени и денег чем я ожидал. Если быть точным то:

- 3 визита к стоматологу, сессия по 2-3.5 часа
- 29000₽ (300€)

Если бы я делал то же самое в Чехии с удалением нервов одного зуба (3 канала), то это бы обошлось в 1300€ (в не самой дешёвой клинике, правды ради, но цена ± похожая). Прайслист чешской стоматологии кину в комменты.

Итого:
- сэкономлено: 1000€
- хычинов съедено: 2
- зубов вылечено: 5 🦷

Родина – это там, куда мы едем лечить зубы.

#life #travel #money

@makebugger

Тестовое задание на позицию ИИ Инженер – оффер 8000$

Сегодня мне дали очередной оффер и я решил бесплатно поделиться с вами тем, что люди обычно продают в приватках.

Многие из вас подписались за чем-то полезным, поэтому вот:

пример типового тестового задания которое получает кандидат на позицию AI Engineer, стоит отметить, что при получании оффера оцениваются не только технические навыки, но и способность продавать себя и нравиться людям. Так что если взглянув на задачу она покажется вам слишком тривиальной и вы скажите "Пф.. та каждый это может сделать", то не забывайте, что платят не только за код, но и за то насколько широко вы улыбаетесь 😁

Я коллекционирую интересные технические задачи и их решения со всех последних интервью так как это является отличным источником вдохнования для моих менти. Делая технические задачи можно научиться многим интересным фреймворкам или методикам на которые бы у вас никогда не нашлось времени в обычной жизни.

Если у кого-то из вас будет запал и желание поделиться своим решением, то скидывайте в комменты, вполне вероятно намучу какой-нибудь приз за самое классное решение, если будут такие смельчаки (понимаю, для кого-то это может быть не достаточно мотивирующим).

Когда пробьём планку 1500 я поделюсь исходным кодом своего решения и даже сделаю презентацию или мини-стрим ❤️

А пока что можете поставить 🔥 и переслать другу которому бы это могло быть интересно и полезно.

#ai

@makebugger

Про плохие стартапы ч. 2

ч. 1 ч. 3

Первый релиз приложения hitchat ai был не за горами, чувствовалось, что инвестор пушит, чтобы мы уже хоть что-то зарелизили и доказали жизнеспособность гениальной идеи Томаша и Радека (про идею в первой части).

Сразу после релиза всё пошло по строго заготовленному плану, повесели кучу билбордов по Праге, похвалили всех за хорошую работу, одним днём уволили СТО.

Ретроспективно стало понятно, что наши темщики с миллионом долларов инвестиций готовились слить челика сразу же после запуска. Заранее начали назначать 1-1 и спрашивать: «а ты знаешь, как работает Х? сможешь ли ты, если что, сам сделать Y, если вдруг СТО будет в отпуске?»

Его не просто слили, а не выплатили зп за последние 2 месяца (10к€), никакую долю в столь перспективном стартапе он так и не увидел, а как только он сказал, что будет судиться, то темщики пригрозили тем, что тоже будут с ним судиться, так как он испортил продукт тем, что заделиверил некачественный код, из-за чего релиз произошел позже, чем планировалось.

В этом бутерброде я был посередине, с одной стороны СТО, которому я, из человеческой и пролетарской солидарности, «намекал» на внутренние процессы (*не сливая ни капли конфиденциальной информации и не нарушая условия моего договора с hitchat.ai), с другой стороны фаундеры, которые боялись, что кто-то «намекает» кинутому СТО о внутряке и постоянно спрашивали: «а не общаетесь ли вы с ним?»

Началась масштабная спецоперация «Сталинская ретушь по-чешски» по удалению следа СТО из всех микросервис, к которым притронулась рука предателя (ко всем микросервисам), и тактическая перепись всего бэка.

После этой ситуации я каждый месяц был готов. Готов к тому, что зп мне не выплатят, ещё и в суд подадут за некачественные промпты, так что тапочки, полотенце, зубную щётку и тёплые носки всегда держал наготове.

Несмотря на то, что я был обеими ногами за стороне бывшего СТО, я не понимал, кто в ментальном здравии поверит в перспективность этой идеи и будет судиться ради доли в компании hitchat.

На фоне всего этого Чехию усыпали билборды, плакаты в метро и другая реклама продукта💩, фаундеры пошли на подкасты, начали давать интервью каждой газете, чешское эй ай сообщество получило своих героев.

Как же я кринжевал каждый раз, когда видел рекламу хитчата… (фотки оставлю в комментах). Уровень кринжа возрастал ещё больше, когда я вспоминал про все те процессы, которые происходят за кулисами.

В итоге реклама дала свои плоды, в пике наша микросервисная архитектура пережила нагрузку в 105 пользователей. Платную версию купили 6 человек (радек, томаш, инвестор и их друзья). На AppStore появился первый отзыв (но к сожалению, с одной звездой, оставлю в комментах). Главная претензия оставившего отзыв пользователя заключалась в том, что Генри Форд, с которым вы можете пообщаться на нашей платформе, не поддерживает антисемитов. Неудивительно, ведь хитчат был обычной оболочкой над ChatGPT, фамилии создателей которого: Альтман, Брокман, Шульман и Суцкевер.

В общем, темщики негодовали, почему их гениальная идея не откликается у обычного потребителя?! Похоже, никто не хочет общаться с Вацлавом Гавлом за 12 евро в месяц… в команде поддерживался боевой дух.

Фаундеры не пальцем деланы и решили действовать, используя data driven approach (чат гпт определение вам: Data-Driven Approach — это подход к управлению бизнесом, при котором все ключевые решения принимаются на основе данных, а не интуиции, личного опыта или мнений руководства).

После анализа пользовательского поведения выяснилось, что 80% трафика приходится на общение с онлифанщицей. (it says a lot about our society) бывший президент далеко не пользовался такой же популярностью как она. Фаундерами было принято решение делать pivoting (резкое, но осознанное изменение направления развития стартапа, когда команда сохраняет свои ресурсы, технологии и команду, но меняет бизнес-модель, продукт, целевую аудиторию или рынок, чтобы найти более жизнеспособное решение).

Меня позвали на созвон.

Была поставлена амбициозная задача.

Надо сделать эй ай онлифанс.

#life #ai

@makebugger

Самый полезный пост про кастомные MCP в вашей жизни

Если вы последний год не жили под камнем, то вы точно слышали заморскую аббревиатуру MCP (эм си пи). Это такой протокол, который позволяет языковым моделям взаимодействовать с внешними функциями и сервисами.
Он работает по принципу Remote Procedure Call, то есть модель может вызвать функцию, которая исполняется на другом сервере или в другом приложении.

Короче, чтобы каждый не писал кастомные tools для взаимодействия с внешними ресурсами и сервисами, ребята из Anthropic решили стандартизировать всё это мракобесие и теперь вы можете без забот подключить к вашему кодинг агенту кучу MCP tools (о самом полезном MCP я писал 👉 тут) с помощью которых он может взаимодействовать с различными системами во время выполнения поставленной задачи.

Но если с использованием MCP всё понятно, то как нам написать свой кастомный MCP server? В интернете есть куча стартапов и SaaS (пример) которые сгенерируют вам готовый MCP сервер по вашей OpenAPI спецификации, но проблема в том, что это жёсткий антипаттерн, который, к сожалению, в индустрии встречается крайне часто.

Ну а чо, просто обернуть готовые REST эндпоинты в MCP tools и готово, теперь агент может взаимодействовать с нашим приложением, бюджет освоен, стейкхолдеры с довольным лицом и покрасневшими щёчками добавляют плашку «эй ай копайлот» к своему продукту.

Почему это плохо и так делать не надо?

Давайте представим ситуацию у нас есть проект где есть users и teams.
Есть следующие эндпоинты:

• GET /user/:id – получить конкретного пользователя по айдишнику
• PUT /user/:id – изменить информацию о пользователе
• GET /teams – получить все команды
• GET /teams/:id – получить конкретную команду по айдишнику

Вы заворачиваете эти эндпоинты в MCP tools один в один. Дело сделано.

Теперь представьте, что юзер просит агента: «Добавь Сашу из команды маркетинга в команду разработки».
Простой запрос, в UI вы бы просто выбрали человека из дропдауна и нажали кнопочку. Но агент с вашими REST-обёртками начинает танцевать балет из пяти актов:

 1. Вызывает GET /users чтобы найти всех Саш
 2. Парсит ответ в поисках нужного Саши
 3. Вызывает GET /teams чтобы найти команду маркетинга (проверить что Саша там)
 4. Вызывает GET /teams снова чтобы найти команду разработки
 5. Наконец вызывает PUT /user/:id с UUID Саши

Пять вызовов вместо одного. И это я ещё упростил, в реальности там может быть проверка прав доступа, валидация, логирование и всякая другая хрень.

Но это ещё не всё, дальше веселее. Проблема номер два – UUID это кошмар для LLM. Языковые модели галлюцинируют UUID-ы как проклятые. Они могут решить что
a1b2c3d4-e5f6-7890-abcd-ef1234567890
это валидный айдишник пользователя просто потому что он похож на UUID который вы передали в контексте.

И вот ваш агент пытается обновить пользователя который не существует, получает 404, начинает ретраиться, жрёт токены и в итоге сдаётся, а юзер сидит и думает «ну и хрень это вашэ эй-ай».

К тому же, UUID токенизируется крайне неэффективно. Один UUID это примерно 23 токена в зависимости от модели, а если у вас в ответе приходит массив из сотни пользователей с их UUIDs, то сами можете представить качество такого context engineering’а.

Что делать с UUID почитайте 👉 тут.


Итак, наш запрос: «Добавь Сашу из маркетинга в команду разработки»

Это конкретное действие с понятной бизнес-логикой. Но ваш REST API думает ресурсами: юзер, команда, их свойства.

Агент хочет выполнить действие 
moveUserToTeam(user: "Саша из маркетинга", targetTeam: "разработка")

а получает набор CRUD операций которые надо самому оркестрировать.
И вот агент начинает дирижировать этим оркестром: проверить, получить, обновить, проверить ещё раз… А если где-то в середине что-то упало? У REST API нет транзакционности. Через несколько запросов вы останетесь с Сашей, который наполовину в маркетинге и наполовину в разработке…

А как же правильно?

Ответ в комментах (место закончилось)
👇

#dev_help #ai

@makebugger

В некоторых небольших продуктовых компаниях, работающих на B2B основе есть такая штука как «бесконечный отпуск» (unlimited Payable Time Off). Судя по опросу мало людей находят это привлекательным.

Не без причины… Из всей инфы в интернете может сложиться впечатление, что это наеб*лово и в среднем отдыхать ты будешь даже меньше, чем классический работник на фул тайм контракте.

И статистика вроде бы подтверждает:
• Исследование показало: люди с unlimited PTO берут в среднем 13 дней в год против 15 дней с обычным контрактом (статистика по USA)
• А тут ребята обнаружили: компании с unlimited PTO имеют на 3.24% более низкие рейтинги work-life balance

Однако, в моём случае на прошлой работе в стартапе я словил джекпот, в среднем отдыхая 2.5 месяца в году. Что нужно, чтобы использовать этот читкод успешно:

1. Отсутствие совести и сопереживания к коллегам.
2. Быть хоть чуточку важным (можете написать какую-нибудь сервису без документации, чтобы единственным источником информации о том как она работает были вы).
3. Уважительные причины (политкорректный намек на то, что ты вот щас выгоришь и уволишься).
4. Менеджер-эмпат

В прошлой компании все эти звёзды сошлись и о моём PTO не знал даже CEO компании. Амеры не совсем понимают как можно брать отпуск дольше чем на 1 неделю, если из тебя не вылез ребёнок (в таком случае можно на 2), и поэтому мы с моим менеджером приняли тактическое решение – не беспокоить его этой лишней для него информацией, да и он к тому же был занят тем, что втихаря разъезжал по островам, думая кому бы продать компанию и залутать на гоях 3кк зелёных в свой акуло-капиталистический кармашек.

Причины всегда были разные:
• Устал
• Хочу увидеться с семьёй
• Друг позвал в путешествие — у него др, не могу отказать
• Нужно «перезагрузиться» (код для «я на грани выгорания»)

Таким образом каждая моя вылазка в Албанию, Турцию, Марокко (список можно продолжать очень долго) была оплачена из кармана наших прекрасных инвесторов.

Знаете, такой уровень отношений с менеджментом был одной из причин почему мне не очень то и хотелось уходить.. но нормальный финансовый рост (>50%) без перехода на другую работу был просто невозможен 😞

В общем, unlimited PTO это не всегда обман, чтобы играть на вашем чувстве вины, иногда, это отличная возможность поездить по миру за деньги VC. Вот ещё интеренсный факт: вакансии с упоминанием unlimited PTO закрываются на 7 дней дольше обычных, многие чуют подвох и не спешат подаваться 😅

#life #money

@makebugger

Самый кандидатский рынок в АйТи сейчас – AI engineering

У меня в среднем 1.5 сообщения от эйчаров в день, приходится выбирать с кем созваниваться, а кого скипать и говорить, что «вилка маловата».

Отвечать эйчарам надо всегда, даже если не ищите работу. Хотя бы скажите, что вилка маловата или условия не устраивают, хочется верить, что так мы меняем рынок к лучшему. Представьте, если эйчар услышит такое три-четыре раза подряд, семечко будет посажено и, возможно, эйчар пойдет к менеджеру и скажет, что что-то не так и надо повышать вилки.

Рынок кандидатский, но местами совсем не понятный… давайте разбираться!

AI engineering рынок сейчас разделён на две части, примерно 40/60. Почему? Так как рынок очень молодой ещё нет консенсуса касательно зоны ответственности эй ай инженера, также, не очень понятно, что всё такой человек должен уметь.

Я выделяю две основные категории:

1️⃣AI/ML Engineer – человек, знающий как нейронки работают под капотом, он тренировал, тюнил и чистил датасеты, а сейчас это мало кому надо, все хотят быстро и через API задеплоить какого-нибудь агента (не говорю, что это хорошо, но это пользуется спросом). Он пришел из ML/DS мира, ему пришлось учиться тому как строить продукт и как должен выглядить поддерживаемый код, он отвыкает писать всё в джупитор ноутбуке и всё чаще соприкасается с бэкендом и инфраструктурой. Он тот человек который лучше всех шарил за ML/DS, а теперь учится быть классическим инженером. Глубоко знает комплексные вещи, которые, к сожалению, в большинстве кейсов – оверкил, иногда, его это подводит и он всё глубже закапывается в кроличью нору.

2️⃣LLM Developer / AI Engineer – человек не трогавший pytorch (ему это и не надо). Скорее всего пришёл из другой области инженерии, чаще всего – Python Backend Developer, реже – фронтендер. Он знает как планировать работу по спринтам, привык к нарезанным тикетам и свыкается с тем, что всё, что построено над LLMs не может быть 100% надёжно. Он выучил основные концепты: RAG, векторки, OpenAI API, потрогал llm фреймворки (LangChain, LLamaIndex, LangGraph), прочитал 👉мой пост про то как надо выбирать когда нужен RAG, когда тюнинг. Он идёт немного с другой стороны, изучая те ML концепты которые помогают ему строить юзабельный продукт. Он не идёт слишком глубоко в дата сайенс, не уверен как чистить датасет и не знает, что такое validation loss. Как инженер он лучше чем (1), но в AI инжиниринге иногда это может мешать, всё очень хлипко, не понятно, не стандартизировано, но очень интересно.

Если вы ассоциируете себя с первый вариантом – поздравляю, вы покрываете весь спектр того, что сейчас должен уметь AI инженер, пул вакансий на которые вы можете засматриваться огромен, ценник который вы можете ломить 👉например, тут.

Если же вы больше второй вариант – тоже поздравляю! Вакансий всё так же до жопы, ты не покрываешь весь пул, но у тебя есть свои преимущества. Подавайся на все ваки, с большой вероятностью PyTorch там будет только в описании, а по факту будет structured AI Jsonы перекладывать.

Эти два типа в какой-то момент встречаются в одной точке, думаю, эта точка и определяет ту экспертизу которую будут требовать от всех AI Engineerов, когда рынок стабилизируется.

Также, есть новый, зарождающийся тип – AI Typescript Engineer. Об этом феномене писал 👉тут, лично я думаю, что популярность такого направления будет только расти.

Лично я был первым типом, а сейчас идентифицирую себя как «хороший баланс между глубоким пониманием нейронок и инженерским подходом к их интегрированию в реальные продукты».

Пока что AI Engineering безумно популярен в ЕС, так что английский для русскоговорящих это одно из основных узких горлышек. Английский нужен очень хороший, софты тут безумно важны, если метите на зп > 5-6к€.

Если хотите подтянуть английский, то preply.com неплохой ресурс где можно купить несколько уроков и попробовать разных учителей, нашёл там прекрасного учителя китайского.

#ai

@makebugger

Про плохие стартапы ч. 3

ч. 2

братишка, я тебе торт с логотипом хит чата покушать принёс 😘

Осень пережёвывает остатки лета, выплёвывая его жёлтыми листьями на улицы чешских городов усыпанных билбордами hitchat.ai, идёт октябрь 2024…

Рабочее название нового 🔞проекта – honeybunny.ai

Техническая спецификация поставленной передо мной задачи выглядела следующим образом:

• флиртовать с пользователями и заниматься секстингом (в свободное от работы время 😅)
• отправлять нюдсы и видео разного уровня откровенности на основании контекста диалога (если диалог идёт про 🍑, то нужно найти именно такую картинку или видео)
• запоминать факты о пользователе и использовать их для активных сообщений (например пользователь сказал, что завтра у него важны экзамен, нам это надо запомнить и проактивно поинтересоваться как прошёл экзамен)
• использовать факты о себе в контексте разговора (каждая модель будет заполнять анкету о своих онлифанщичиских интересах)
• кивать на каждую гениальную идею фаундеров и продолжать сосать бабос

в общем, ваш покорный слуга должен был сделать шлюхобота на стероидах

минутка образовательного контента:

Те, кто читал 👉мой пост о RAG и fine-tuning уже учуяли, что этот кейс пахнет тем сценарием когда обычного RAG не хватит, и модель придётся тюнить

чтобы натюнить модель нужны данные, где их брать?
благо, что у одного из наших кофаундеров женщина работает криэйтором на ОФ ❤️(слева на фото)

этих данных не хватало и пришлось купить ещё несколько сотен мегабайт текста, отборная коллекция эротичэских сообщений (и не только) прямиком из филлипин, именно там находятся мужики которые переписываются с подписчиками большинства моделей на онлике.

как вы уже догадались эротичэский контент попал на мой жёсткий диск и начался не менее жёсткий и неумолимый тюнинг модели Llama 3 70B 24/7. Если честно, то первые текстовые результаты меня радовали (см. скриншот в комментах), модель забыла про свои safety guardrails и начала генерировать контент на уровне онлифанса, проблема в том, что модели онлифанса (а точнее филиппинцы отвечающие за них) были не очень многословны, отвечали сухо и односложно, как пациенты после лоботомии, добавляя 😈 в конце каждого предложения.

Ну ладно с ним с этим текстом, нужно было прикрутить к модели send_media_tool() с помощью которого она бы смогла посылать контекстуальные фото и видео, а вот тут уже нужен размеченный и очищенный датасет…

(про tool который назывался dickpick_rating(), я, с позволением, промолчу 🫥)

Для этой непыльной работёнки мы наняли Карла, Карел это очень добрый и похотливый несостоявшийся джавист 🥺 – единственный из пяти кандидатов кого не смутило то, что его работа будет заключаться в просмотре дикпиков, нюдсов и читке сотен диалогов про попы и писи (скорее всего это была работа его мечты). Думаю, что после того как Томаш и Радек кинули этого добряка на 400$ ему пришлось учиться жить эту жизнь заново… возможно, он стал помощником католического священника

Итак, без лишних разглагольствований:

• разрешения от гугл и эпл и платежных систем это приложение, кончено же, не получило, об этом боссы-барбосы узнали, когда деньги за разработку уже были заплочены (мне)
• ПеПе случайно удалил все натюненые модели с клауда -10000$ (бэкапа не было)
• я получил деньги и бесценный опыт тюнинга таких больших моделей


ну а Радек и Томаш решили, что не время вешать нос и такие мелкие неудачи как «разрабатывать продукт который невозможно продавать из-за политики платёжных систем касательно распространения цп» это мелочи жизни и hit chat заслуживает ещё один проект в экосистеме – hitchat HR module 😎

вы же хотели их заменить?

#life #startup

@makebugger

Важное о ЭМ СИ ПИ – да, опять
_
Антропики опубликовали действительно важную статью о проблемах MCP серверов. О некоторых косяках я уже писал 👉тут, сейчас на работе мы разрабатываем проект, где эти проблемы раскрылись во всей красе и разрушили изначальные планы по срокам.

Что не так с текущим подходом

У нас есть supervisor агент, делегирующий работу на reAct субагентов, которые напрямую взаимодействуют с MCP тулами. Всё ломается, когда агент должен оркестрировать что-то сложнее чем "добавь нового пользователя". Например: "измени команду пользователя X на команду с названием Z".

Допустим, что наш MCP сервер это просто обёртка над RESTом с классическими CRUDами:

get_user(), update_user(), create_user(), delete_user(), get_team(), update_team()...

см. прикреплённую картинку для наглядности.

Проблема 1️⃣
Декларация ВСЕХ тулов включается в контекст при каждом вызове модели, даже если тебе нужно использовать 10% из них. В контекст летит куча мусора, который никак не помогает модели выполнить задачу. Единственные кто в выигрыше – провайдеры моделей, которые получают больше денег за токены из-за MCP серверов, которые ты накатил в своё IDE и забываешь их выключать когда они тебе не особо нужны 😏

Проблема 2️⃣
Промежуточные результаты жрут контекст. Чтобы изменить команду юзера X, нужно 3 вызова MCP тулов — каждый постепенно наполняет окно своим выводом и ошибками. О context management писал 👉тут.

Почему лучше дать модели писать код

На рабочих созвонах с другими AI-чадами мы пришли к выводу: надо дать модели возможность просто писать и исполнять код. Код модели пишут куда лучше, чем вызывают тулы, и это логично. До 2023 года парадигмы tool calling вообще не существовало – провайдеры тренируют модели вызывать тулы на синтетических данных, которых никогда не было на GitHub. Заставлять LLM работать через tool calling это как отправить Прелепина на месячные курсы китайского, а потом попросить написать роман на этом языке. Мб получится... но партия не будет довольна (ни та, ни та)! 😏

Решение от Anthropic

Вместо прямого вызова тулов представить MCP серверы как код-библиотеки. Агент взаимодействует с ними через написание и исполнение кода.
MCP серверы представляются как файловая структура с TypeScript функциями:

servers/
├── user_management/
│   ├── getUser.ts
│   ├── updateUser.ts
│   ├── createUser.ts
│   └── index.ts
├── team_management/
│   ├── getTeam.ts
│   ├── updateTeam.ts
│   ├── createTeam.ts
│   └── index.ts

Агент загружает в контекст только те тулы, которые нужны для задачи, исследуя файловую систему.

Что это даёт на практике?

• Progressive disclosure: Модель навигирует по файлам и читает определения по требованию, а не все сразу. В примере Anthropic это сокращает использование токенов со 150,000 до 2,000 – экономия 98.7%.

• Фильтрация данных: Агент обрабатывает большие датасеты в среде исполнения. Вместо загрузки 10,000 строк из таблицы, можно отфильтровать нужные в коде и вернуть только 5.

• Эффективный control flow: Циклы, условия и обработка ошибок через привычные паттерны кода вместо цепочки отдельных tool calls.

• Privacy: Промежуточные результаты остаются в среде исполнения и не попадают в контекст модели. Можно даже автоматически токенизировать PII — модель видит [EMAIL_1], а реальные данные текут напрямую между системами.

• State persistence: Агент может сохранять промежуточные результаты в файлы и создавать переиспользуемые функции. Это завязывается с концепцией Skills с которой я ещё не до конца разобрался и мнения на этот счёт не имею, но идея в том, что со временем агент САМ наращивает свой тулбокс высокоуровневых возможностей.


AI инжиниринг сейчас — это как web development до 2010. Всё пишется в сыром HTML/CSS + JS, ещё непонятно, что мы будем использовать через 3-5 лет. Однозначных best practices просто нет, все учатся на ходу.
Экспертов с 15+ годами опыта в этой сфере не существует, а интервью на AI Engineer часто проводят люди, которые сами перекатились в ИИ-тусовку буквально вчера. И, лично для меня, в этом и кайф этой ниши 🚀

[источник]

#dev_help #ai

@makebugger

Про здоровье

Я как и вы провожу перед компом значительную часть дня, помимо денег, славы, тусовок в стиле великого гэтсби и похвалы от стейкхолдеров я, также, приобрёл посаженное зрение, больную спину и отсиженную жёпу.

Делая регулярные чекапы и занимаясь спортом вы не просто заботитесь о себе любимом. Если ты разваливаешься, страдают и твои близкие, потому что на тебя нельзя опереться.

Топ покупки

• стол с регулирующейся высотой – лучшая инвестиция. Я никогда не провожу созвоны сидя на кресле, это сжимает диафрагму, я скудно жестикулирую, хуже говорю, а на созвонах где надо слушать я засыпаю. Стоять во время созвонов – имба.

• эпл вочи – тренировки, трекинг качества сна и интервальный будильник с вибрацией мне нравится куда больше противных звуков. Уверен, что есть wearable получше яблочных часов, но я гой, тут тим кок меня прогрел.

• солнцезащитные очки и качественные санскрины для лица и тела + панамка. Защиту солнца я игнорировал бОльшую часть жизни, как многие мужыки я предпочитал обгорать и сдирать с себя кожу. Но потом мне продырявили ухо и я начал пользоваться косметикой и носить очки от солнца.

• хороший матрас, тут понятно, вы треть своей жизни спите, логично что сюда надо нормально заинвестировать. Лично мне нравятся из пены и чтобы потвёрже. Многие С-level буржуи которых имею честь знать спят на этом.

Топ привычки

• йога, наверное, лучшее что я вынес со времён covidа, когда весь спорт перенёсся домой. Вот самый классный канал по йоге для мужыков, там немало силовых, занимаюсь по утрам 3-5 раза в неделю, хотелось бы каждый день… там есть и короткие тренировки на 10-15 минут для тех кто busy и только начинает.

• спортзал, хожу с 16 лет, с перерывом в студенчество. Сначала делал классические тренировки по типу «день ног», «день груди» и тд, но постепенно понял, что такой план тренирвок больше подходит профессиональным бодибилдерам, а мне как обычному кривозубому крестьянину больше всего понравилась двухдневная программа от Matt D’Avella. 50 огоньков и скину программу в коменты, она у меня куплена. Тут моя основная цель – удержание силовых показателей, тренировка сердца и чтобы мне было приятно смотреть на себя в зеркало.

___

есть такой человек на омериканском ютубе – Брайен Джонсон, чел немного мемный в первую очередь из-за того, что переливал в себя кровь своего сына, но в целом подход у него достаточно научный.

Его проект называется “Don’t die” или “Blue print”. Брайен хочет быть вечно молодым и делает эксперименты над своим телом, носит кепочку с инфракрасной подсветкой и пьёт >100 таблеток каждый день. Никакие денег я ему никогда не давал, ко многому отношусь скептически, но недавний видос про сауну мне зашёл, сам обожаю сухую сауну после тренировок в зале. Посидеть возле печки 15 минут, а потом остывать, закрыв глаза – поистине наркотический эффект который очищает голову и заряжает. По Брайену мужчинам нужно обязательно носить трусы с охлаждением, если знаете где такие купить, то буду очень благодарен. Проект заслуживает внимания как минимум потому, что аналогов этому нет.

Я не фанат этого культа молодости, но понял одно:
если ты чахнешь – плохо всем, кто рядом, поэтому заниматься телом и здоровьем это база.

Буду рад, если поделитесь своими топ покупочками для здоровья 🙏

#life

@makebugger