Что внутри у GPT? Объяснение на 200 строк кода на питоне🐍

В последний, примерно, год часто чувствую в себе потребность по возможности успевать разбираться в современном машинном обучении чуть больше, чем на уровне «ну, LLM просто предсказывает наиболее вероятное слово» (хоть это и не так далеко от истины). Хотя бы для того, чтобы не быть совсем уж диванным аналитиком, когда высказываюсь скептически по поводу замены нас AI (мне иногда за такое предъявляют)😄

Признаюсь, во время учёбы я не очень любила ML и даже NLP, несмотря на мой некоторый интерес к лингвистике в целом. Закрывала базу на лабах, но не прочувствовала, что ли? Сейчас это кажется некоторым упущением, но так бывает, теперь читаю объяснения на стыке с научпопом и годные приношу вам🌟

И вот мне скинули прикольную статью на Хабре — точнее, перевод заметки из блога Андрея Карпаты (ориг на английском).
➡️ Проект microgpt — это буквально алгоритмические основы GPT без библиотек, на чистом Python. Всё остальное — уже вопрос эффективности и работы с большими наборами данных.

Плохая новость для кого-то может быть разве что в том, что без градиентов (высшей математики) там всё равно не обошлось. А так получился весь базовый цикл обучения: выбор документа и токенизация -> проход модели по токенам -> вычисление функции потерь -> обратное распространение (через градиенты) -> обновление параметров 📈

«Настоящая» LLM вроде ChatGPT отличается, собственно, тем, что она Large. Вместо 32 тысяч коротких имён она обучается на триллионах токенов текста из интернета — всевозможных веб-страниц, книг, кода и всего такого. Также используются более оптимальные алгоритмы на последующих шагах, а количество параметров модели больше на порядки. Ну, и сервера...

А вот понимает ли даже самая большая модель что-нибудь на самом деле — пожалуй, останется вопросом философским🤨
➡️ Кстати, вы какую точку зрения выбрали для себя?

#хардов_пост #аналитика_и_жизнь
@analytess 👩

Мама, я в телевизоре
Обожаю коллабы с классными коллегами по блогерству💗

Разбор популярной задачи уровня Leetcode Medium из бигтехов😎

Я знаю 4 компании из tier 1-2, где её давали на собесах в разных вариациях, поэтому пост обещает быть полезным. Погнали🚀

Более того, я хочу не просто показать вам код, а описать путь к оптимальному решению, каким он может быть на реальном собеседовании (см. пост про алгоритмическую сложность).

Пусть дан массив пар с городами и их населением, например:
[['Kaliningrad', 488690], ['Sochi', 445149], ['Kolomna', 213701]]

Вывести случайный город с вероятностью, пропорциональной населению.

1️⃣ Интуиция: давайте положим в корзину 488690 бумажек с надписью «Калининград», 445149 — с надписью «Сочи», 213701 — с надписью «Коломна», и вытянем случайную из них.
Это ровно то, что требуется сделать по условию, и чисто технически мы действительно могли бы создать такой огромный список строк (но не set) с названиями городов, и выбирать случайную.

2️⃣ А надо ли тратить столько памяти (пожалейте деревья😬)?
Окей, давайте заметим, что можно сэмплить случайное число между 1 и суммой значений в словаре. Если выпало от 1 до 488690, то возвращаем Калининград, от 488691 до 488690 + 445149 — Сочи, от 488691 + 445150 до 488690 + 445149 + 213701 — Коломну. Мы избавились от вспомогательного массива, который мог бы оказаться большим.

3️⃣ Тем не менее, а если городов очень много, удобно ли работать с такими большими целыми? Давайте нормируем так, чтобы сумма всех жителей упомянутых городов равнялась 1.0 — это лучше соответствует определению вероятности в принципе, а работа с float достаточно точная на практике. Делим всё на 488690 + 445149 + 213701 и вызываем функцию для случайного числа на полуинтервале [0, 1) — в питоне это random.random().

Опишем алгоритмически: за один проход по массиву (O(N), где N — количество городов) мы формируем массив кумулятивных сумм вероятностей выпадения каждого города:

cur = 0.0
sums = []
total = sum([city[1] for city in cities])
for city in cities:
    sums.append(cur)
    cur += city[1] / total
assert cur == 1.0 # должно сойтись по построению

# print(sums)
# [0.0, 0.4258587935932516, 0.8137746832354428]

Далее вызываем рандомное действительное число и ищем слева направо первый элемент массива sums, который больше него. Тогда ответ — предыдущий город🌇

r = random.random()
for i in range(len(sums)):
    if r < sums[i]:
        return cities[i - 1][0]
return cities[-1][0]

Выхода за границу массива слева не будет из-за строгого <, а последний return отвечает за случай r == 1.0 (вообще такого не бывает, но чтобы точно собеседующий был доволен).

Это ещё один проход по массиву размера N (aka линейный поиск), то есть сложность алгоритма O(N) + O(N) = O(N).

4️⃣🌟 Высший пилотаж: доводим до оптимального решения📈
Выше я не просто так упомянула сложность каждого из шагов.

Вторая часть может быть оптимизирована до O(log N), если линейный поиск заменить на бинарный. Это можно сделать, так как выполнено основное требование — массив кумулятивных сумм вероятностей является отсортированным по построению.

Теперь заметим, что по сути первое действие достаточно сделать всего один раз, а не каждый раз при вызове функции выбора случайного города (вызывать её будут много раз, раз речь зашла о распределении). Тогда можно вместо функции написать класс, где эта часть будет вынесена в __init__, а основной метод sample() будет быстрее.

Это в целом хорошая практика — выносить предвычисления из основного метода, так как за много вызовов sample() один целый проход по массиву амортизируется («размазывается» по всем вызовам).

➡️ Итоговый код приложу в комментарии! Как вам такой формат?

И голосуйте: 🤓 — если переслал другу, который ищет работу, 👩 — слишком сложно, до свидания, 🦄 — наконец-то понятно, спасибо

#найм_и_собесы #хардов_пост
@analytess 👩

Что спрашивают на собесах на 400+ тысяч на руки🤵💸

Недавно я получила очень, не побоюсь этого слова, жирный оффер в красный ритейл с юга России. Случилось это, как обычно бывает, стихийно — сидели в кафешке с другими ребятами-авторами аналитических каналов, и заговорили, кто кого куда может пореферить. Ритейл этот сейчас на слуху как HR-бренд — хоть пока и не в топе бигтехов, но явно развивается📈

Вакансия была сразу чётко на грейд Senior, подразумевала высшее профильное образование, плюсом было бы понимание ML и продвинутых концепций вроде A/B без A/B. При первом созвоне рекрутер сразу рассказала, что на самом деле подобных вакансий несколько в разные команды, и можно пообщаться последовательно, чтобы понять, куда я лучше подойду👍

➡️ Этап 1. Техническое собеседование SQL + Python⚡️
В этой компании пайплайн собесов не унифицирован, поэтому в некоторых командах просят что-то более практическое в Jupyter Notebook и/или разрешают гуглить. У меня же был классический лайвкодинг на чистом листе с CTE и оконками в первой части и алгосами Easy/Medium во второй.

Попалась задача на два указателя — моя нелюбимая концепция в алгосах, мне немного подсказывали, но засчитали.
За 10 минут до конца собеседующий спросил, хочу ли я ещё задачу на питон (это странно, то есть она уже не влияла на исход? или вопрос с подвохом?), там попалась более приятная, и я реабилитировалась (в том числе в своих же глазах😄)

➡️ Этап 2. Проверяем знание базы чутб по глубже📝
Здесь у меня не сохранился полный список вопросов, помню, что было не очень сложно, мне понравилось. Много маленьких задач и кейсов — а-ля интерпретация задачки про светофор, парадокс Симпсона, что-то про кубики, кейсы, где A/B плохо работает, и что можно с этим делать (достаточно было знать методы A/B без A/B по базовым концепциям, ну а читала я про них много). В какой-то момент собеседующий задумался, что бы еще такого спросить, и мы даже затронули классическое NLP😐

За эту секцию я получила резко положительный фидбек ещё в моменте лично от собеседующего — думаю, она во многом повлияла на итог этой авантюры. Спасибо моему кругозору😎

➡️ Этап 3. Финалы и раздумья со всех сторон☯️
Тут повторилась тенденция, которую я стала видеть в 80% случаев и часто о ней говорю — теперь финал это полноценный собес, зачастую с кейсами, не просто вайб-чек и оргвопросы вроде «а будет ли у вас удалёнка и сколько вкусов сырков».

Пофиналилась с одними ребятами сначала, но там было как будто бы чисто измерение качества ML-моделей, любопытно, но не то, что я бы хотела. Попросила ещё команду, пообщалась с прикольным хэдом, который просил рассуждать «не как математик, а бизнесово», но оценил мой бэкграунд и назначил знакомство с продактами, которым я тоже понравилась👀

Дальше был перерыв где-то на неделю, во время которого вроде как обсуждали, как оптимально заюзать мои навыки и тех.кругозор🌟 Я тоже не особо торопилась, как вы понимаете.

В итоге мне сделали оффер, который ооочень приятен финансово, даже если бы что-то случилось с премиями (обещали кварталки 20%). Что я решила делать с этим предложением и почему — расскажу через пару дней😏 А пока сохраняйте, распространяйте, намекайте реакциями, если интересно⚡️

➡️ Мораль: хорошие вилки всё ещё есть на рынке, но есть и требования взамен — у меня создалось чёткое ощущение, что это не какой-то базовый оклад, который предлагают всем🥲
😘 Кстати, весь процесс от контакта с HR до оффера занял полтора месяца, но там ещё был НГ. Норм или стрём?

➡️ Что думаете? Собеситесь? Как вам ситуация на рынке?
😏 — всё очень плохо, 🤓 — всё не очень плохо, 👩 — какие такие собесы?

#найм_и_собесы #карьерный_путь #жизнь_в_бигтехах
@analytess 👩

Не пользуешься ИИ — теперь ты low performer?💀

Не раз за последнее время видела упоминания и обсуждения новостей, что в бигтехах (пока что западных, но скоро тренд может докатиться и до нас) использование сотрудниками AI-инструментов стало учитываться при performance review😐

➡️ Признаюсь, это всё вызывает у меня смешанные чувства. Первая реакция у меня всё ещё скептически-ретроградная — да как так, неужели вдумчивая человеческая работа 🔡🔡🔡, и надо вайбкодить тупо ради метрик? А с другой стороны — что, если действительно есть поинт в том, чтобы стимулировать людей хотя бы попробовать то, что может потенциально ускорить их работу? Именно что не заменить, а ускорить?

Здесь может быть много аналогий c вещами, которые уже поменялись: переход на удобные IDE с подсказками, гугл-календарь вместо ежедневников, калькуляторы вместо счётов.

➡️ «Перпендикулярный», но не менее важный аспект — кнут vs пряник. Круто, когда в компании есть обмен опытом, кому как удалось оптимизировать свою работу, возможно, внутренние курсы по работе с нейронками и агентами (в Авито, кстати, так).

А если подходят сразу со стороны «делай всё по-новому, а то уволим» — привет, закон Гудхарта? Любая метрика ради метрики будет хакнута, а AI slop (некачественный контент от ИИ) в кодовой базе всё равно придётся кому-то разгребать🚨

➡️ А что у нас? Недавно Хабр всколыхнула статья, где у всех сторон рассказа какие-то крайности: некий разраб устроился мидлом за 300к (вроде даже не в наносекунду), но не прошёл испытательный срок, потому что слишком привык делегировать все задачи нейронкам, сдавал на ревью коммиты с комментами к каждой функции (это паттерн, по которому очень видно ИИ, и обычно так не принято) и не справился с «тестом Тьюринга» — задачкой с заведомо некорректным ТЗ от лида, был пойман😄

Автор не приходит к однозначному выводу — он не ретроград, который совсем отрицает изменения в процессе разработки («мой тимлид 2018 года, наверное, точно так же бурчал, когда я гуглил ответы на StackOverflow»), но тем не менее создал себе очередную проблему в виде открытой вакансии разработчика.

И да, мне кажется одной из главных проблем применения ИИ в работе необходимость перестроиться на новый тип мышления — когда ты успеваешь и ТЗ правильно сформулировать, и разобраться в сгенерированном, и пофиксить баги своей человеческой мудростью, а не более агрессивным промптом. Когда я пробовала вайбкодить, именно это мне было нелегко.

➡️ Итог я подведу следующий: я бы хотела научиться эффективно использовать AI, точно вижу смысл как минимум попытаться. Но мой и чужой опыт с генерацией кода не даёт чёткого ответа на вопрос, как сейчас быстрее и качественнее:
⚡️ с одной стороны, странно отрицать удачные примеры,
⚡️ а с другой — явно не все задачи решаются вайбкодингом, контроль за результатом всё ещё очень важен, и требует даже местами большего внимания, чем раньше.

Поэтому наблюдаю, но ничего не утверждаю категорично😎
Расскажите, как ваша компания / начальство относятся к AI?⬇️

#жизнь_в_бигтехах #новости_ии
@analytess 👩

Переходите по ссылкам аккуратно, там может оказаться...
собеседование в международную компанию😾🎧

Короче, я тут получила оффер в международку, такие дела🌎
Долго даже «ради интереса» не совалась на зарубежный рынок после своих неудач в 2023-2024 (например, вот тут писала кринж историю на заре канала) — на самом деле зря, по сути сама себе запрещала, ведь я за пару лет прокачалась😎 Есть гипотеза, что мой опыт не совсем репрезентативен, но я поделюсь им с вами:

➡️ Какой уровень английского был нужен?
Большая часть айти в том стартапе русскоязычные, но общие встречи компании и стейкхолдеры — не всегда, поэтому английский нужен, да. У меня уровень около C1/Advanced, но с упором на свободное понимание, разговорную практику не особо качала в последнее время. На одном из этапов спонтанно попросили перейти на английский и рассказать об одном из проектов. Для меня конкретно это было не очень тяжело😎

В целом же я думаю, что с B2 точно можно откликаться на международные вакансии и не ждать идеального момента, когда вы ещё доучите язык. С B1+ и целеустремлённостью тоже, но я бы попробовала 1-2 месяца позаниматься именно по IT-терминам и в направлении рассказов о себе на интервью📖

➡️ Cколько времени занял весь процесс?
Ровно месяц от моего отклика до оффера. Много? Да по нынешним временам совсем нет — каждый мой заход в Яндекс, включая неуспешные, был дольше, вот этот кейс тоже.
На этом примере я поняла, что мне важнее не срок сам по себе (знаете ли, быстро принимать решения об устройстве на работу с переездом из Москвы тоже непросто), а прозрачность коммуникации — тут всё прошло отлично, всегда честно говорили, сколько ещё ждать решения по очередному этапу☯️

Что касается этапов: отклик напрямую в тг руководителю ➡️ тестовое «на подумать» на 1 час с использованием чего угодно ➡️ техничка ~1,5 часа с лидом ➡️ знакомство с HR, обсуждение моих обстоятельств ➡️ знакомство со стейкхолдером конкретной вакансии ➡️ vibe check с фаундером ➡️ оффер📈

➡️ Что делать-то предложили?🤵
Позиция называлась System/Data analyst — такая вот роль на стыке, изначально эта формулировка меня очень зацепила. Искали человека, чтобы навести порядок в платежах. Явно пригодится технический бэкграунд, а так все мы знаем, что в стартапах не особо планируют на целый год, как в бигтехе😄

➡️ Что бы такого ещё добавить?
Вакансия из закрытого чата (выпускников ШАДа), поэтому не буду утверждать, что могу вас научить искать такие же на линкедине. Тем не менее, мой рекордный по репостам пост со списком каналов для поиска удалёнки всё ещё актуален👍

В вакансии сразу было сказано, что удалёнка откуда угодно, кроме России — это базовый кейс в межнаре сейчас (или даже хороший, так как много вакансий на конкретные 1-2 страны, и нужно уже иметь разрешение на работу там), так что с момента отклика в фоновом режиме я обдумывала отъезд, но честно говорила, что вот прямо сейчас собеседуюсь из Москвы🌇

➡️ Задавайте вопросы, которые остались, и stay tuned🥰

#найм_и_собесы #карьерный_путь
@analytess 👩