Багодельня Соколовского 👾
1.41K subscribers
19 photos
5 videos
38 links
Про AI, стартапы, путешествия и всё, что меня вдохновляет.

сотрудничество, ИИ менторство - @vladislove_sos
Download Telegram
Главный капитал – люди

В 2022 году я пол года жил и учился в Сингапуре, у меня есть куча историй оттуда, но сегодня хочу рассказать как я вообще туда попал.

Я просто нормально учился в университете и написал один имейл профессору со связями. Всё. (письмо скину в комменты)

До переезда в Чехию я никогда в жизни я никуда из РФ не выезжал, поэтому гештальт «ездить по миру» у меня был совсем не закрыт. Написал я как-то самому заряженному профессору факультета который больше всего кайфовал от процесса преподавания, что мол давай меня куда-нибудь заграницу отправим, диплом писать, кайфовать и курить бамбук.

Он мне ответил полотном текста и предложил, Швейцарию, Испанию, Германию, Израиль, Китай, Сингапур… мне.. челику из Армавира. Поехал я в итоге в банановый Сингапур, это был первый и последний раз в жизни когда мне пригодился мой красный аттестат за 10-11 классы, он нужен был для получения стипендии (в месяц сингапурцы платили 1500 S$, а от Чехии я достал единовременную выплату 4000 €) писал диплом, катался по юго восточной азии и жил.

Мораль простая: успешные в своём деле люди очень охотно подтягивают тех, кто показывает интерес. Нужно только проявить минимальную инициативу и иметь огонь в глазах. Такие люди заряжаются от молодых и кайфуют от того, что могут им помочь. Через этого же профа, кстати, познакомился с фаундером стартапа, где проработал больше двух лет.

Если вы ещё учитесь и у вас есть возможность, то обязательно скатайтесь куда-нибудь по обмену, когда вам 20-25 лет такой опыт бесценен и останется в вами навсегда. Не нужно боятся растянуть учёбу и потерять время, всех денег мира вы всё равно не заработаете, а такие поездки это как маленькая жизнь внутри вашей обычно жизни.

#life #university

@makebugger
🔥2210👍8🤩2
Стартапы это очень крутой опыт прокачаться как инженер, понять как устроен айти бизнес, разобраться с инвестиционными терминами и обзавестись кучей связей с заряженными людьми.

Если вы в начале своей карьеры, то однозначно рекомендую стартап (желательно с американским юр лицом) по нескольким причинам:

1. Ты станешь швейцарским ножом который сегодня пишет код, завтра принимает участие в общении с клиентом на user interview, а послезавтра общается с PMом о том какие фичи стоит добавить в следующий релиз. Ты будешь понимать как устроен весь цикл разработки продукта.

2. Ты понимаешь как устроены стартапы и венчурные инвестиции, что такое pre-seed, seed, series A, как работают stock options и почему важно знать vesting period. (ниже будет словарик терминов)

3. Связи, пожалуй самая важная причина присоединиться к стартапу, окружи себя крутыми инженерами с бизнес майндсетом и забудь про то, что работу надо искать на linkedin или hh, самые жирные вакансии заполняются через сарафан и обычно не доходят до размещения на этих платформах.

Моё предположение, что на моей нынешней работе мне накинули ~1k $ только из-за того, что в стартапе где я работал до этого у меня была хорошая репутация 🤫, а в Чехии/Словакии все фаундеры друг друга знают и все +- друг про друга слышали, так и накинули косарик по блату.

Небольшой словарик терминов, как обещал:

• pre-seed – самый первый раунд инвестиций, обычно выдаётся тупо на то, чтобы вы проверили идею и попробовали найти клиента, самое главное набрать крутую команду, от этого зависит успех нормального pre-seedа

pre-seed не выдаётся на продукт, можете иметь какую угодно идею, если VC/angel investor вас не знает, стартаповского опыта у вас нет, а команда состоит из ноу неймов, то получить деньги на первый рывок будет сложновато.

обычно 500k-1kk$

звучит как будто это много денег, но это тратится на зарплаты, разработку и первые маркетинговые потуги, runway обычно на год-два.

• VC - venture capital или венчурный капиталист – инвестиционный фонд, вкладывающий деньги в стартапы, обычно в 30-50 штук, надеясь, что чтото да выстрелит, один из самый популярных фондов это YC. Вы прямо сейчас можете подать туда заявку :)

• angel investor - частное лицо, вкладывающее свои собственные деньги. Обычно это те, кто уже успешно экзитли (exit) из своих стартапов и теперь хотят поиграть в инвесторов или просто очень богатые люди которым интересен айти рынок.

• runway - это важный показатель который должны сообщать всем совладельцам компании на каждом all hands🙌🏿 созвоне. Означает этот показатель сколько месяцев ваш стартап протянет на текущих деньгах до банкротства.

runway = кол-ва денег в банке / на месячный money burn rate


Фууф, что-то я разогнался.. продолжать или утомил вас этими амерскими словечками..? Интересна вообще эта тема🔥?

#startup

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2412👍7
К моему удивлению ещё не все знают, что такое OpenRouter.

OpenRouter это единый API через который вы можете обращаться к моделям разных провайдеров посредством единого интерфейса и легко переключаться между ними. Оставаться vendor-agnostic (не быть привязанным к конкретному вендору) это сейчас критично важно☝️

Кстати, там дают бесплатные кредиты 🤫 а пополнять можно даже криптой.

Также, отвечая на вопрос, «а как держать руку на пульсе в столь динамичной индустрии?», open router статистика это отличный способ узнать какая модель сейчас популярна у разработчиков в категории программирование, у академиков или у маркетологов.

В следующий раз когда будете думать какую модель использовать в конкретном домене, то этот сайт можно использовать как стартовую точку.

Зайдите, потыкайтеу, уверен, кому-то будет полезно 🙌

#ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1572
META Superintelligence Lab совместно с National University of Singapore под шумок зарелизили Rethinking RAG based Decoding (REFRAG).

Для начала кратко напомню как выглядит базовый RAG-pipeline:
1. Берём пользовательский INPUT и получаем из него эмбеддинг
2. Используем этот эмбеддинг как query для того, чтобы достать релевантные знания из векторной базы данных которые мы предварительно заэмбедели
3. Включаем эти данные в промпт вместе с оригинальным пользовательским INPUTом
4. Посылаем промпт в LLM и получаем ответ основанный на контексте из релевантных данных

Проблема в том, что когда ты достаёшь из базы 10-20-50 чанков контекста (а в энтерпрайзе это норма), твой промпт превращается в войну и мир. LLM должна обработать всю эту простыню через attention механизм, который имеет квадратичную сложность O(n²). То есть если контекст увеличился в 2 раза, вычисления растут в 4 раза, а память под KV-cache вообще улетает в космос.

И тут в игру вступает REFRAG.

Ребята посмотрели на attention patterns в RAG и увидели интересную штуку - большинство чанков между собой вообще не взаимодействуют (логично, кстати)! Attention между разными документами почти нулевой, получается блочно-диагональная матрица. Зачем тогда платить полную цену?

Их решение: сжимать каждый чанк из 16-32 токенов в один dense embedding через lightweight encoder (RoBERTa). Вместо 10к токенов в декодер летит всего 300-600 chunk embeddings.

Для тех кому сложно представить, я тут создал простенькую визуализацию с помощью Anthropic Artifacts.

Но самое умное - они обучили RL-policy, которая понимает какие чанки критичные. Если в документе есть точные цифры, даты, формулы, то система их не сжимает, а оставляет как raw tokens. Гениально же!

Что в итоге получилось:

• 30.85× ускорение time-to-first-token (у предыдущего SOTA было всего 8×)
• Контекст можно расширить в 16 раз без потери производительности
• На weak retriever сценариях (когда половина документов - мусор) REFRAG даже обгоняет baseline, потому что может обработать больше контекста за то же время

Код обещают выложить тут. Жду не дождусь потыкать на своих проектах.

#ai #news

@makebugger
🔥184
​​На днях получаю копеечку за недавний экзит стартапа где я провёл прекрасные 2 года своей жизни, и самое время разобрать ещё один бэтч стартаповых словечек связанных с компенсацией, пока еще свежо в памяти 😂

Stock Options - право купить акции компании по фиксированной цене (strike price). Ключевое слово “право” - можешь купить, а можешь и не покупать.

Vesting - это период за который ты “зарабатываешь” свои опционы. У меня было 4 года с 1 годом cliff. То есть первый год вообще ничего не получаешь (чтобы те кто в компании не задержится не получили свой кусок пирога), зато после года сразу 25%, дальше каждый месяц по чуть-чуть.

Exercise shares - когда ты реально покупаешь акции по strike price. Я не exercised ни одного опциона, потому что ждал экзита (и правильно сделал), после того как нас купили все наши стоки exercised (даже у тех кто пришёл в компанию месяц назад и получил больше опционов чем те, кто работал несколько лет).

Важный нюанс про типы акций:

Preferred stocks - привилегированные акции, их получают инвесторы и высший менеджмент. При продаже компании их выплачивают в первую очередь.

Common stocks - обычные акции, их получают сотрудники через опционы. Выплачивают после preferred.

На практике это означает что сначала карманы набивают инвесторы и топ-менеджмент, а крошки доедают обычные работяги. Но если экзит удачный, то и крошки тоже могут быть весьма сочными.

Очень важно чтобы у стартапа было американское LLC (аналог нашего ООО). В Америке законы касательно акций очень понятные и прозрачные. Если у компании только EU entity - с опционами вас скорее всего наебут, европейское право в этом плане гораздо менее employee-friendly.

Полезная штука - приложение Carta:

Показывает сколько у тебя vested/exercised опционов, текущую стоимость, всю историю. Очень удобно трекать свой потенциальный пейдей. Скрин своей Carta оставлю в комментах 👇

Главное правило:

Equity это лотерейный билет. Может выстрелить, а может оказаться туалетной бумагой. Никогда не идите в стартап только ради опционов - базовая зарплата должна вас устраивать.

#startup #money

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥163
Media is too big
VIEW IN TELEGRAM
Кофе, горы, два хычина

Эти выходные мы с друзьями провели в горах Кавказа, интернета там и так не было, так что получился так называемый детокс.

Это мой первый хайк в России и с уверенностью могу сказать, что местные пейзажи ничем не уступают Альпам, ни по цене ни по красоте 😁 думаю, неплохо бы было предпринять следующие шаги: ослабить (убрать) местную мафию, после этого сюда потечёт больше разнородных инвестиций, как следствие появится конкуренция и мб упадут цены.. задать единый стиль архитектуры и всё, Архыз превращается в Гриндевальд.

УАЗик, коровьи кизяки, жёлтые крокусы, озеро рыбка и сахарные пики кавказских гор. Примерно так выглядел наш уикенд, желаю всем проводить побольше качественного времени со своими близкими людьми, если вы ещё не заметили, то лейт мотив моего канала — всё «это» про людей 🍆

ИСКРЕННЕ посылаю вам лучи позитивной энергии и желаю хорошей рабочей недели!

#travel #life

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
👍125🔥3
Когда все результаты выдачи с первой страницы гугла окрашиваются в фиолетовый я прибегаю к EXA.ai

Это очень мощный гибридный поисковой движок который совмещает в себе классический гугл и семантический поиск.

Например, вы хотите постучаться во все финтех стартапы которые недавно получили инвестиции и расширяют команду (см. скриншот)

В exa.ai это один текстовый запрос и вы получаете ссылки прямо на лендинги этих компаний где во вкладке Careers красуются интересующие вас позиции.

Попробуйте хоть раз и вы удивитесь как легко можно сделать комплексный рисёрч и какие спрятанные сокровища появляются в выдаче.

Единственный минус это достаточно агрессивные лимиты и высокий прайсинг, но на пару глубоких рисёрчев в месяц хватит, можете выгрузить результаты в CSV и использовать для чего угодно.

Пользуйтесь 🥰

#ai #dev_help

@makebugger
🤩14🔥4👍2
Как я не взял оффер от создателя word2vec

В марте месяце этого года когда я активно ходил по собесам с желанием выцепить самый жирный оффер на рынке появился «чешский Mistral» под названием Bottle Cap AI с амбицией сделать LLMs cheap and fast again.

Я тут же законнектился с их CEO и по совместительству главным инвестором который по его же словам готов инвестировать 10😖зелени в незакрытые гештальты Томаша Миколова (создатель word2vec), после того как я имплементировал multi-token prediction (это было их тестовое) и рассказал какой я замотивированный и как со мной резонирует миссия Bottle Cap AI 🌚ушёл на следующие собесы.

Через неделю после нашей встречи и вкусного обеда в ресторане Losteria, который конечно же оплатил интервьюер 😁 мне дали оффер:

• Junior ML Researcher тайтл
• 5000€
• хардкорный рисёрч языковых моделей «на низком уровне», тюнинг параметров и имплементация безумных идей Томаша
• работа только из офиса
• и самое вкусное – 10 миллионов чешских крон «когда мы станем unicornом» (это примерно 250к $)

Придя домой и посчитав на сколько сильно меня пытаются обуть я, конечно, долго улыбался. Давайте посчитаем: 10 млн крон = ~250к долларов. Если компания достигнет оценки в миллиард (в этом случае компания считается unicornом), то 250к от миллиарда = 0.025%.
Для сравнения: обычные founding engineers получают 0.5-2% equity. То есть мне предлагали в 20-80 раз меньше стандартной доли при том же уровне риска и загруженности.

Долго я не думал и написал вежливый отказ, порекомендовав бывшего коллегу которому бы это могло быть интересно.

Почему я отказался?

• идти в рисёрч по моему мнению это почти всегда карьерный тупик, рынок таких специалистов крошечный, в основном никто кроме гигантов за рисерч платить не будет (я был в рисёрче, я общался с этими людьми, им не интересно ничего кроме их PhD тезиса)
• математика equity просто смехотворная
• работа с Томашем хоть и может звучать крутой в теории но на практике он показался мне выгоревшим гениальным рисёрчером которому наплевать на бизнес и продукт, а в эту авантюру он залез только для того, чтобы показать всем европейским регулятором которые годами не давали ему гранты, что он ещё может.

Несмотря на то, что я отказался я продолжил следить за ребятами но к сожалению за все эти месяцы
они не запостили ничего кроме одного PM графика (график для пиэмов и инвесторов которым всё равно, что значит X и Y оси и где не понятно откуда взялись данные).

После этого я сторговался с моим нынешним работодателем на оффер почти в 2 раза превышающий предложение от Bottle Cap AI.

А вы бы пошли работать к известному челику за зп ниже рынка ради опыта? 😏

#ai #startup #money

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
125🔥4
​​Про плохие стартапы ч. 1.

ч. 2

Два года назад после очередного ревью без значительного повышения зп и потухающими глазами я решаюсь найти вторую работу.

Собеситься пару раз в месяц было и остаётся для меня привычкой, так что первых лидов отхватить было не слишком сложно. Мой главный критерий – начать сотрудничать на парт тайм и со временем перекатиться на полную.

И вот на моём экране я вижу двух покемонов – Радек и Томаш, два визионерных не технических кофаундера, получившие деньги от инвестора который слышал, что эй ай это новый блокчейн, собрались вместе ради одной благородной цели – клонировать людей с помощью технологий искусственного интеллекта.

Как любые уважающие себя фаундеры аргументировали они это благородной целью – пенсионерам бывает грустно и одиноко и каждый из них мечтал бы поговорить со знаменитостью, Томашем Гариком Масариком, чешским боксёром или онлифанщицей (которая в последствии окажется девушкой одного из кофаундеров 😨, ссылочку в комменты скину кому надо😊).

«Какой же пиз*ец» - думаю я во время разговора с ними, как им могли дать деньги… но за спинами этих бизнесменов уже есть малоприбыльный проект по 3д сканированию помещений во Флориде. К тому, же про них написало уважаемое в Чехии техническое издание CzechCrunch и даже BusinessInfo.

«Ок», - говорю я, мы бьём по рукам и я начинаю работать на пол ставки. У ребят всё схвачено, стендапы 2 раза в неделю, куча микроскрвис, СТО без доли в компании и дискорд канал.

Сначала они не были уверены на какой из проектов меня кинуть потому что проектов и идей у ребят было как у Илона Маска, в итоге я присоединяюсь делать чешского конкурента character.aihitchat.ai/en

Почему хит чат спросите вы? Это название для проекта ребятам подсказала чат гпт, 2 слога, звучит прикольно, мне так объяснили.

Когда я присоединился к «команде», то первым делом решил выяснить, кем же являются мои коллеги которые работают на столь перспективном проекте уже не первый месяц.

Главный дев – ПеПе (чешское сокращение от имени Йозеф). У ПеПе 2 ипотеки, 2 открытых суда с девелоперами по ним же, избыточный вес и статус maintainerа в open source проекте Pydantic. Пока обе его квартиры купленные в ипотеку не предусмотрены для жилья (это и есть та причина по которой он судиться) ПеПе живёт на чердаке, прямо над офисом компании.

Да, ПеПе живёт и работает в офисе, кушает данисимо на камеру и смеётся над сходством моей фамилии с названием птицы. Позже он будет оставлять пасхалки в коде где будет называть нашу дружную семью hitchat – black company и просить о помощи, говоря, что Радек и Томаш его эксплуатируют и шантажируют.

СТО – приятный челик с заниженной самооценкой которому пообещали долю в перспективном европейском стартапе (в последствии окажется, что зп у него была меньше чем у меня и работал он в основном за долю). Работает безумно много, мало думает о бизнесе, много думает о качестве кода и микросервисах.

В первый месяц я менял текстовые промпты, описывающие характеристики различных чешских знаменитостей типа «Ты чешский президент Вацлав Гавел, отвечай как он…» и делал клонирование их голоса через eleven labs, получая за это 250$ в день, работал я от силы 1-2 часа.



Надо продолжать такой лонгрид или у вас внимания не хватает, чтобы такое полотно дочитывать?

#life #startup

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
62👍208🔥2🤩1
Как коллективная экономика вдруг оказалась эффективной (вроде)

В 2025 дата центры жрут ~1.5-2% всей электроэнергии мира. Из них примерно 15-24% уходят на ответы на наши глупые вопросы о том сколько R в слове strawberry 🍓

Так как датацентры по планете размазаны неравномерно, то цифры потребления по регионам следующие:

• США – 50% потребления всей энергии для дата центров
• Китай – 25%
• ЕС – 15%
• Остальные – 10%

У США в свою очередь всего лишь 15% запаса мощности, что означает, что на данный момент их энергосистема может выдать на 15% больше энергии, чем требуется в пиковые нагрузки.

У Китая 80-100%, пространство для масштабирования несоизмеримо больше.

Почему так произошло?

1. В США - всеми нами любимый капитализм, что означает, что окупаемость у коммерческих проектов должна быть 3-5 лет, иначе инвесторы просто не зайдут. Зачем строить сейчас если спроса на рынке тупо нет?
Разумный партия Китай в свою очередь планирует всё по пятилеткам, деньги на инфраструктуру не жалеют, даже если она никому не нужна, людям же работать надо!

2. США начали строить их сеть гораздо раньше китайцев, технологии старше, материалы уже не те, поэтому всё постепенно приходит в негодность.
(похожая ситуация была когда в РФ адопшн ApplePay был гораздо быстрее чем в Америке в связи с более навороченными терминалами оплаты и банкоматами).

Прибавьте к тому то, что разными участками сети владеют разные компании в разных штатах, что усложняет процесс договоров и согласований. Китай начал попозже и все решения принимать великий Си, удар!

3. США слишком хорошо оптимизировали существующую систему вместо того, чтобы строить больше. Все готовились к стабильному постепенному росту.
Тем временем в кулуарах РФ затевается многоходовочная диверсия, просыпается спящий агент Илья Сутскевер, чтобы нанести сокрушительный удар по американской энергосистеме (эдакий план Даллеса наоборот) и 30 ноября 2022 без предупреждения релизится ChatGPT, ну а дальше вы сами знаете, рост перестал быть линейный.
_

Получается парадоксальная ситуация: коллективная плановая экономика Китая оказалась эффективнее децентрализованного рынка США в подготовке к ИИ-буму. Не потому что у них лучше технологии или больше денег, а потому что они годами строили скучный фундамент без давления быстрой окупаемости, as simple as that.

Если экстраполировать это на нас с вами, то давайте и мы концентрироваться на базовых вещах - не гнаться за мимолётной прибылью, спорт 3 раза в неделю, проводить время с близкими, любить и не ругаться матом 😊 окупится не через квартал, но зато через 10 лет будем с вами с запасом прочности 80%

(кстати, там новый sonnet выпустили)

источники:
омерика не готова!

как повысится потребление датацентров

+100 social credit
中国最好的国家!удар

#ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🔥42🤩1
Как я через Верхний Ларс в Россию ездил зубы лечить

Стоматология в Чехии – удовольствие исключительно для богатых. Клиника куда я ходил на первоначальный рентген (100€) насчитала мне 5 проблематичных зубов + чистку. 1 зуб за 1 год пропуска обследования у стоматолога, да, последний раз у зубного я был 5 лет назад – ну а чо, ничего не болело 😏

В общем, прикинул я 𓂺
к носу и посчитал, что в лучшем случае заплачу 850€ (5 зубов и чистка). Билет Прага -> Кутаиси стоит ~50€, с бонусными баллами от моего банка вышло около 40€ с маленьким чемоданом. Обратно билет я заранее не беру, так как Родина всегда может преподать сюрпризы😊

Не долго думая я покупаю билеты, заодно к другу на свадьбу схожу, поем домашнего борщика и проведу прекрасное время с моими любыми кубанскими друзьями (видеоотчёт тут). Одна загвоздка – удобной пересадки до мин вод нет, или стоит она как бизнес класс Прага -> Дубай. Решил купить билет на автобус прямиком из Тбилиси на Кубань за 5000₽.

«Автобус» — это, конечно, громко сказано: скорее, это была маршрутка, или как у нас её называют – скотовозка. Расписание у неё чёткое, как у немецких поездов, отъезд из Тбилиси, по словам водителя, в 18-20 часов.

Свой трансфер я ждал на трассе возле ресторана быстрого питания Wendy’s, хлопнул бургер за здоровье саакашвили, погладил барбоса с тбилисским пирсингом, и вот уже моя скотовозка приехала, и я присел на переднее сидение.

Комфорт длился не долго – ровно до тех пор, пока ко мне не подсел дед у которого изо рта пахло как возле мясокомбината в жаркий летний день. Ехали мы так 4 часа, справа от меня вонючий дед, а слева водитель, по кд курящий сигареты ява и дрОчащий коробку передач прямо в радиусе моей мошонки.

До границы мы доехали без приключений, резина на серпантине скрипела всего 10-14 раз. Прямо около того места где вереница машин стоит в очереди на грузинском КПП, мой армянский извозчикъ делает невиданный мне ранее манёвр – выезжает на встречную полосу и на яйцах едет так до тех пор пока мы не встретили фуру. Втулились обратно в ряд. Но потом к нам начали подходить раздосадованные люди, которые восприняли столь дерзкое дорожное поведение моего водителя как за неуважение к очереди. На что мой армянский брат (к этому времени мы уже вышли на новый уровень отношений) отреагировал очень сдержано и лаконично: «А я не знал, что это встречка 😏»

Долго могу ещё рассказывать про эту увлекательнейшую дорогу, но полного погружения без моей миниатюры нам с вами всё равно не достичь. Добавлю лишь одно – вся дорога с прохождением границы заняла примерно 12 часов, 2 из которых я спал в позе жирафа. Утренний рабочий стендап я, также, тактически пропустил.

«Так сколько же стоили зубы в России?» – спросите вы. Один зуб нам пришлось умертвить, так как риск пульпита уже был огромный так что всё заняло намного больше времени и денег чем я ожидал. Если быть точным то:

- 3 визита к стоматологу, сессия по 2-3.5 часа
- 29000₽ (300€)

Если бы я делал то же самое в Чехии с удалением нервов одного зуба (3 канала), то это бы обошлось в 1300€ (в не самой дешёвой клинике, правды ради, но цена ± похожая). Прайслист чешской стоматологии кину в комменты.

Итого:
- сэкономлено: 1000€
- хычинов съедено: 2
- зубов вылечено: 5 🦷

Родина – это там, куда мы едем лечить зубы.

#life #travel #money

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
13🔥95🤩2👍1
​​Куда делись промпт инженеры?

На рассвете ИИ бума, который мы сейчас с вами переживаем, были такие люди, которые только то и делали, что промпты писали.

Сам помню это время, когда я рассказал проджект менеджеру, что он сам может писать промпты через генератор промптов от Anthropic, на меня тогда смотрели так, будто я открыл четвёртое измерение.

Так вот, Prompt Engineering постепенно эволюционировал в Context Engineering, который в свою очередь является неотъемлемой частью обязанностей ИИ инженера. Сейчас объясню что это такое и как это произошло.

Сначала языковые модели умели только отвечать на наши тривиальные и не совсем вопросы. Потом к этому добавился структурированный вывод (structured output), чтобы модель возвращала JSON'ы, которые мы с вами можем легко перекладывать. На базе этого появился вызов функций (function calling), который дал модели то, что сейчас называют «агентность» — взаимодействие с внешним кодом, запуск функций и принятие решений на основе их вывода. Потом у модели появилась возможность запускать собственно сгенерированный код в изолированном окружении (code interpreter tool). Следующий логичный шаг – MCP протокол, который позволяет ЛЛМ вызывать функции внешних микросервисов и стандартизирует коммуникацию между агентами и тулами. По сути, сейчас ЛЛМ является эдакой операционной системой, а MCP тулы — это драйверы (для браузера, для базы данных и т.д).

Prompt Engineering был релевантен, когда у модели не было такого количества разных вещей, которые нужно включать в контекст. Тогда было достаточно написать системную инструкцию и получить ответ от модели.

Сейчас, когда у модели есть tools, память (long term memory), чанки информации из RAG'а и инструкции, возникает необходимость правильно это сложить. «Чо тут сложного, всё запихнул в контекст и погнали», — скажете вы, но не так всё просто. Есть такое понятие как «гниение контекста» (context rot): это когда количество токенов в контекстном окне увеличивается, способность модели правильно строить связи между понятиями и источниками деградирует. Anthropic это называет «dilution effect» — чем больше нерелевантной информации в контексте, тем хуже модель справляется с задачей. В общем, на данный момент контекст должен восприниматься как что-то конечное, так как у ЛЛМ есть «бюджет внимания», и нам нельзя бросаться им во все стороны.

Главная цель context engineering'а – найти максимально компактный контекст, который максимизирует точность вывода модели. Теперь это не только написание инструкций, но и управление тем, какие данные попадают в контекст, когда и в каком объёме.

В следующей части расскажу практические советы о том, как организовывать контекст, где проходит баланс между слишком подробной и слишком расплывчатой инструкцией, и какие паттерны использую я в продакшн системах.

[источник]

Stay tuned.

#ai

@makebugger
👍26🔥1643
Тестовое задание на позицию ИИ Инженероффер 8000$

Сегодня мне дали очередной оффер и я решил бесплатно поделиться с вами тем, что люди обычно продают в приватках.

Многие из вас подписались за чем-то полезным, поэтому вот:

пример типового тестового задания которое получает кандидат на позицию AI Engineer, стоит отметить, что при получании оффера оцениваются не только технические навыки, но и способность продавать себя и нравиться людям. Так что если взглянув на задачу она покажется вам слишком тривиальной и вы скажите "Пф.. та каждый это может сделать", то не забывайте, что платят не только за код, но и за то насколько широко вы улыбаетесь 😁

Я коллекционирую интересные технические задачи и их решения со всех последних интервью так как это является отличным источником вдохнования для моих менти. Делая технические задачи можно научиться многим интересным фреймворкам или методикам на которые бы у вас никогда не нашлось времени в обычной жизни.

Если у кого-то из вас будет запал и желание поделиться своим решением, то скидывайте в комменты, вполне вероятно намучу какой-нибудь приз за самое классное решение, если будут такие смельчаки (понимаю, для кого-то это может быть не достаточно мотивирующим).

Когда пробьём планку 1500 я поделюсь исходным кодом своего решения и даже сделаю презентацию или мини-стрим ❤️

А пока что можете поставить 🔥 и переслать другу которому бы это могло быть интересно и полезно.

#ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1065
Про плохие стартапы ч. 2

ч. 1 ч. 3

Первый релиз приложения hitchat ai был не за горами, чувствовалось, что инвестор пушит, чтобы мы уже хоть что-то зарелизили и доказали жизнеспособность гениальной идеи Томаша и Радека (про идею в первой части).

Сразу после релиза всё пошло по строго заготовленному плану, повесели кучу билбордов по Праге, похвалили всех за хорошую работу, одним днём уволили СТО.

Ретроспективно стало понятно, что наши темщики с миллионом долларов инвестиций готовились слить челика сразу же после запуска. Заранее начали назначать 1-1 и спрашивать: «а ты знаешь, как работает Х? сможешь ли ты, если что, сам сделать Y, если вдруг СТО будет в отпуске?»

Его не просто слили, а не выплатили зп за последние 2 месяца (10к€), никакую долю в столь перспективном стартапе он так и не увидел, а как только он сказал, что будет судиться, то темщики пригрозили тем, что тоже будут с ним судиться, так как он испортил продукт тем, что заделиверил некачественный код, из-за чего релиз произошел позже, чем планировалось.

В этом бутерброде я был посередине, с одной стороны СТО, которому я, из человеческой и пролетарской солидарности, «намекал» на внутренние процессы (*не сливая ни капли конфиденциальной информации и не нарушая условия моего договора с hitchat.ai), с другой стороны фаундеры, которые боялись, что кто-то «намекает» кинутому СТО о внутряке и постоянно спрашивали: «а не общаетесь ли вы с ним?»

Началась масштабная спецоперация «Сталинская ретушь по-чешски» по удалению следа СТО из всех микросервис, к которым притронулась рука предателя (ко всем микросервисам), и тактическая перепись всего бэка.

После этой ситуации я каждый месяц был готов. Готов к тому, что зп мне не выплатят, ещё и в суд подадут за некачественные промпты, так что тапочки, полотенце, зубную щётку и тёплые носки всегда держал наготове.

Несмотря на то, что я был обеими ногами за стороне бывшего СТО, я не понимал, кто в ментальном здравии поверит в перспективность этой идеи и будет судиться ради доли в компании hitchat.

На фоне всего этого Чехию усыпали билборды, плакаты в метро и другая реклама продукта💩, фаундеры пошли на подкасты, начали давать интервью каждой газете, чешское эй ай сообщество получило своих героев.

Как же я кринжевал каждый раз, когда видел рекламу хитчата… (фотки оставлю в комментах). Уровень кринжа возрастал ещё больше, когда я вспоминал про все те процессы, которые происходят за кулисами.

В итоге реклама дала свои плоды, в пике наша микросервисная архитектура пережила нагрузку в 105 пользователей. Платную версию купили 6 человек (радек, томаш, инвестор и их друзья). На AppStore появился первый отзыв (но к сожалению, с одной звездой, оставлю в комментах). Главная претензия оставившего отзыв пользователя заключалась в том, что Генри Форд, с которым вы можете пообщаться на нашей платформе, не поддерживает антисемитов. Неудивительно, ведь хитчат был обычной оболочкой над ChatGPT, фамилии создателей которого: Альтман, Брокман, Шульман и Суцкевер.

В общем, темщики негодовали, почему их гениальная идея не откликается у обычного потребителя?! Похоже, никто не хочет общаться с Вацлавом Гавлом за 12 евро в месяц… в команде поддерживался боевой дух.

Фаундеры не пальцем деланы и решили действовать, используя data driven approach (чат гпт определение вам: Data-Driven Approach — это подход к управлению бизнесом, при котором все ключевые решения принимаются на основе данных, а не интуиции, личного опыта или мнений руководства).

После анализа пользовательского поведения выяснилось, что 80% трафика приходится на общение с онлифанщицей. (it says a lot about our society) бывший президент далеко не пользовался такой же популярностью как она. Фаундерами было принято решение делать pivoting (резкое, но осознанное изменение направления развития стартапа, когда команда сохраняет свои ресурсы, технологии и команду, но меняет бизнес-модель, продукт, целевую аудиторию или рынок, чтобы найти более жизнеспособное решение).

Меня позвали на созвон.

Была поставлена амбициозная задача.

Надо сделать эй ай онлифанс.

#life #ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
657🔥5
Багодельня Соколовского 👾 pinned «Тестовое задание на позицию ИИ Инженер – оффер 8000$ Сегодня мне дали очередной оффер и я решил бесплатно поделиться с вами тем, что люди обычно продают в приватках. Многие из вас подписались за чем-то полезным, поэтому вот: пример типового тестового задания…»
Самый полезный пост про кастомные MCP в вашей жизни

Если вы последний год не жили под камнем, то вы точно слышали заморскую аббревиатуру MCP (эм си пи). Это такой протокол, который позволяет языковым моделям взаимодействовать с внешними функциями и сервисами.
Он работает по принципу Remote Procedure Call, то есть модель может вызвать функцию, которая исполняется на другом сервере или в другом приложении.

Короче, чтобы каждый не писал кастомные tools для взаимодействия с внешними ресурсами и сервисами, ребята из Anthropic решили стандартизировать всё это мракобесие и теперь вы можете без забот подключить к вашему кодинг агенту кучу MCP tools (о самом полезном MCP я писал 👉 тут) с помощью которых он может взаимодействовать с различными системами во время выполнения поставленной задачи.

Но если с использованием MCP всё понятно, то как нам написать свой кастомный MCP server? В интернете есть куча стартапов и SaaS (пример) которые сгенерируют вам готовый MCP сервер по вашей OpenAPI спецификации, но проблема в том, что это жёсткий антипаттерн, который, к сожалению, в индустрии встречается крайне часто.

Ну а чо, просто обернуть готовые REST эндпоинты в MCP tools и готово, теперь агент может взаимодействовать с нашим приложением, бюджет освоен, стейкхолдеры с довольным лицом и покрасневшими щёчками добавляют плашку «эй ай копайлот» к своему продукту.

Почему это плохо и так делать не надо?

Давайте представим ситуацию у нас есть проект где есть users и teams.
Есть следующие эндпоинты:


• GET /user/:id – получить конкретного пользователя по айдишнику
• PUT /user/:id – изменить информацию о пользователе
• GET /teams – получить все команды
• GET /teams/:id – получить конкретную команду по айдишнику


Вы заворачиваете эти эндпоинты в MCP tools один в один. Дело сделано.

Теперь представьте, что юзер просит агента: «Добавь Сашу из команды маркетинга в команду разработки».
Простой запрос, в UI вы бы просто выбрали человека из дропдауна и нажали кнопочку. Но агент с вашими REST-обёртками начинает танцевать балет из пяти актов:


1. Вызывает GET /users чтобы найти всех Саш
2. Парсит ответ в поисках нужного Саши
3. Вызывает GET /teams чтобы найти команду маркетинга (проверить что Саша там)
4. Вызывает GET /teams снова чтобы найти команду разработки
5. Наконец вызывает PUT /user/:id с UUID Саши


Пять вызовов вместо одного. И это я ещё упростил, в реальности там может быть проверка прав доступа, валидация, логирование и всякая другая хрень.

Но это ещё не всё, дальше веселее. Проблема номер два – UUID это кошмар для LLM. Языковые модели галлюцинируют UUID-ы как проклятые. Они могут решить что
a1b2c3d4-e5f6-7890-abcd-ef1234567890
это валидный айдишник пользователя просто потому что он похож на UUID который вы передали в контексте.

И вот ваш агент пытается обновить пользователя который не существует, получает 404, начинает ретраиться, жрёт токены и в итоге сдаётся, а юзер сидит и думает «ну и хрень это вашэ эй-ай».

К тому же, UUID токенизируется крайне неэффективно. Один UUID это примерно 23 токена в зависимости от модели, а если у вас в ответе приходит массив из сотни пользователей с их UUIDs, то сами можете представить качество такого context engineering’а.

Что делать с UUID почитайте 👉 тут.


Итак, наш запрос: «Добавь Сашу из маркетинга в команду разработки»

Это конкретное действие с понятной бизнес-логикой. Но ваш REST API думает ресурсами: юзер, команда, их свойства.

Агент хочет выполнить действие 
moveUserToTeam(user: "Саша из маркетинга", targetTeam: "разработка")

а получает набор CRUD операций которые надо самому оркестрировать.
И вот агент начинает дирижировать этим оркестром: проверить, получить, обновить, проверить ещё раз… А если где-то в середине что-то упало? У REST API нет транзакционности. Через несколько запросов вы останетесь с Сашей, который наполовину в маркетинге и наполовину в разработке…

А как же правильно?

Ответ в комментах (место закончилось)
👇

#dev_help #ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4111👍5
В некоторых небольших продуктовых компаниях, работающих на B2B основе есть такая штука как «бесконечный отпуск» (unlimited Payable Time Off). Судя по опросу мало людей находят это привлекательным.

Не без причины… Из всей инфы в интернете может сложиться впечатление, что это наеб*лово и в среднем отдыхать ты будешь даже меньше, чем классический работник на фул тайм контракте.

И статистика вроде бы подтверждает:
Исследование показало: люди с unlimited PTO берут в среднем 13 дней в год против 15 дней с обычным контрактом (статистика по USA)
А тут ребята обнаружили: компании с unlimited PTO имеют на 3.24% более низкие рейтинги work-life balance

Однако, в моём случае на прошлой работе в стартапе я словил джекпот, в среднем отдыхая 2.5 месяца в году. Что нужно, чтобы использовать этот читкод успешно:

1. Отсутствие совести и сопереживания к коллегам.
2. Быть хоть чуточку важным (можете написать какую-нибудь сервису без документации, чтобы единственным источником информации о том как она работает были вы).
3. Уважительные причины (политкорректный намек на то, что ты вот щас выгоришь и уволишься).
4. Менеджер-эмпат

В прошлой компании все эти звёзды сошлись и о моём PTO не знал даже CEO компании. Амеры не совсем понимают как можно брать отпуск дольше чем на 1 неделю, если из тебя не вылез ребёнок (в таком случае можно на 2), и поэтому мы с моим менеджером приняли тактическое решение – не беспокоить его этой лишней для него информацией, да и он к тому же был занят тем, что втихаря разъезжал по островам, думая кому бы продать компанию и залутать на гоях 3кк зелёных в свой акуло-капиталистический кармашек.

Причины всегда были разные:
• Устал
• Хочу увидеться с семьёй
• Друг позвал в путешествие — у него др, не могу отказать
• Нужно «перезагрузиться» (код для «я на грани выгорания»)

Таким образом каждая моя вылазка в Албанию, Турцию, Марокко (список можно продолжать очень долго) была оплачена из кармана наших прекрасных инвесторов.

Знаете, такой уровень отношений с менеджментом был одной из причин почему мне не очень то и хотелось уходить.. но нормальный финансовый рост (>50%) без перехода на другую работу был просто невозможен 😞

В общем, unlimited PTO это не всегда обман, чтобы играть на вашем чувстве вины, иногда, это отличная возможность поездить по миру за деньги VC. Вот ещё интеренсный факт: вакансии с упоминанием unlimited PTO закрываются на 7 дней дольше обычных, многие чуют подвох и не спешат подаваться 😅

#life #money

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥114👎1
Самый кандидатский рынок в АйТи сейчас – AI engineering

У меня в среднем 1.5 сообщения от эйчаров в день, приходится выбирать с кем созваниваться, а кого скипать и говорить, что «вилка маловата».

Отвечать эйчарам надо всегда, даже если не ищите работу. Хотя бы скажите, что вилка маловата или условия не устраивают, хочется верить, что так мы меняем рынок к лучшему. Представьте, если эйчар услышит такое три-четыре раза подряд, семечко будет посажено и, возможно, эйчар пойдет к менеджеру и скажет, что что-то не так и надо повышать вилки.

Рынок кандидатский, но местами совсем не понятный… давайте разбираться!

AI engineering рынок сейчас разделён на две части, примерно 40/60. Почему? Так как рынок очень молодой ещё нет консенсуса касательно зоны ответственности эй ай инженера, также, не очень понятно, что всё такой человек должен уметь.

Я выделяю две основные категории:

1️⃣AI/ML Engineer – человек, знающий как нейронки работают под капотом, он тренировал, тюнил и чистил датасеты, а сейчас это мало кому надо, все хотят быстро и через API задеплоить какого-нибудь агента (не говорю, что это хорошо, но это пользуется спросом). Он пришел из ML/DS мира, ему пришлось учиться тому как строить продукт и как должен выглядить поддерживаемый код, он отвыкает писать всё в джупитор ноутбуке и всё чаще соприкасается с бэкендом и инфраструктурой. Он тот человек который лучше всех шарил за ML/DS, а теперь учится быть классическим инженером. Глубоко знает комплексные вещи, которые, к сожалению, в большинстве кейсов – оверкил, иногда, его это подводит и он всё глубже закапывается в кроличью нору.

2️⃣LLM Developer / AI Engineer – человек не трогавший pytorch (ему это и не надо). Скорее всего пришёл из другой области инженерии, чаще всего – Python Backend Developer, реже – фронтендер. Он знает как планировать работу по спринтам, привык к нарезанным тикетам и свыкается с тем, что всё, что построено над LLMs не может быть 100% надёжно. Он выучил основные концепты: RAG, векторки, OpenAI API, потрогал llm фреймворки (LangChain, LLamaIndex, LangGraph), прочитал 👉мой пост про то как надо выбирать когда нужен RAG, когда тюнинг. Он идёт немного с другой стороны, изучая те ML концепты которые помогают ему строить юзабельный продукт. Он не идёт слишком глубоко в дата сайенс, не уверен как чистить датасет и не знает, что такое validation loss. Как инженер он лучше чем (1), но в AI инжиниринге иногда это может мешать, всё очень хлипко, не понятно, не стандартизировано, но очень интересно.

Если вы ассоциируете себя с первый вариантом – поздравляю, вы покрываете весь спектр того, что сейчас должен уметь AI инженер, пул вакансий на которые вы можете засматриваться огромен, ценник который вы можете ломить 👉например, тут.

Если же вы больше второй вариант – тоже поздравляю! Вакансий всё так же до жопы, ты не покрываешь весь пул, но у тебя есть свои преимущества. Подавайся на все ваки, с большой вероятностью PyTorch там будет только в описании, а по факту будет structured AI Jsonы перекладывать.

Эти два типа в какой-то момент встречаются в одной точке, думаю, эта точка и определяет ту экспертизу которую будут требовать от всех AI Engineerов, когда рынок стабилизируется.

Также, есть новый, зарождающийся тип – AI Typescript Engineer. Об этом феномене писал 👉тут, лично я думаю, что популярность такого направления будет только расти.

Лично я был первым типом, а сейчас идентифицирую себя как «хороший баланс между глубоким пониманием нейронок и инженерским подходом к их интегрированию в реальные продукты».

Пока что AI Engineering безумно популярен в ЕС, так что английский для русскоговорящих это одно из основных узких горлышек. Английский нужен очень хороший, софты тут безумно важны, если метите на зп > 5-6к€.

Если хотите подтянуть английский, то preply.com неплохой ресурс где можно купить несколько уроков и попробовать разных учителей, нашёл там прекрасного учителя китайского.

#ai

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
24🔥9👍8
Про плохие стартапы ч. 3

ч. 2

братишка, я тебе торт с логотипом хит чата покушать принёс 😘

Осень пережёвывает остатки лета, выплёвывая его жёлтыми листьями на улицы чешских городов усыпанных билбордами hitchat.ai, идёт октябрь 2024…

Рабочее название нового 🔞проекта – honeybunny.ai

Техническая спецификация поставленной передо мной задачи выглядела следующим образом:

• флиртовать с пользователями и заниматься секстингом (в свободное от работы время 😅)
• отправлять нюдсы и видео разного уровня откровенности на основании контекста диалога (если диалог идёт про 🍑, то нужно найти именно такую картинку или видео)
• запоминать факты о пользователе и использовать их для активных сообщений (например пользователь сказал, что завтра у него важны экзамен, нам это надо запомнить и проактивно поинтересоваться как прошёл экзамен)
• использовать факты о себе в контексте разговора (каждая модель будет заполнять анкету о своих онлифанщичиских интересах)
• кивать на каждую гениальную идею фаундеров и продолжать сосать бабос

в общем, ваш покорный слуга должен был сделать шлюхобота на стероидах

минутка образовательного контента:

Те, кто читал 👉мой пост о RAG и fine-tuning уже учуяли, что этот кейс пахнет тем сценарием когда обычного RAG не хватит, и модель придётся тюнить

чтобы натюнить модель нужны данные, где их брать?
благо, что у одного из наших кофаундеров женщина работает криэйтором на ОФ ❤️(слева на фото)

этих данных не хватало и пришлось купить ещё несколько сотен мегабайт текста, отборная коллекция эротичэских сообщений (и не только) прямиком из филлипин, именно там находятся мужики которые переписываются с подписчиками большинства моделей на онлике.

как вы уже догадались эротичэский контент попал на мой жёсткий диск и начался не менее жёсткий и неумолимый тюнинг модели Llama 3 70B 24/7. Если честно, то первые текстовые результаты меня радовали (см. скриншот в комментах), модель забыла про свои safety guardrails и начала генерировать контент на уровне онлифанса, проблема в том, что модели онлифанса (а точнее филиппинцы отвечающие за них) были не очень многословны, отвечали сухо и односложно, как пациенты после лоботомии, добавляя 😈 в конце каждого предложения.

Ну ладно с ним с этим текстом, нужно было прикрутить к модели send_media_tool() с помощью которого она бы смогла посылать контекстуальные фото и видео, а вот тут уже нужен размеченный и очищенный датасет…

(про tool который назывался dickpick_rating(), я, с позволением, промолчу 🫥)

Для этой непыльной работёнки мы наняли Карла, Карел это очень добрый и похотливый несостоявшийся джавист 🥺 – единственный из пяти кандидатов кого не смутило то, что его работа будет заключаться в просмотре дикпиков, нюдсов и читке сотен диалогов про попы и писи (скорее всего это была работа его мечты). Думаю, что после того как Томаш и Радек кинули этого добряка на 400$ ему пришлось учиться жить эту жизнь заново… возможно, он стал помощником католического священника

Итак, без лишних разглагольствований:

• разрешения от гугл и эпл и платежных систем это приложение, кончено же, не получило, об этом боссы-барбосы узнали, когда деньги за разработку уже были заплочены (мне)
• ПеПе случайно удалил все натюненые модели с клауда -10000$ (бэкапа не было)
• я получил деньги и бесценный опыт тюнинга таких больших моделей


ну а Радек и Томаш решили, что не время вешать нос и такие мелкие неудачи как «разрабатывать продукт который невозможно продавать из-за политики платёжных систем касательно распространения цп» это мелочи жизни и hit chat заслуживает ещё один проект в экосистеме – hitchat HR module 😎

вы же хотели их заменить?

#life #startup

@makebugger
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41