Усилия, которые окупаются👍

Сегодня мне прислали ссылку на подборку от NEWHR за 2025 год — за кем следят аналитики. Было неожиданно и приятно увидеть свой канал в top-30 по продуктовым/дата-аналитикам.
Год назад я не могла и мечтать о попадании в рейтинг)

И отдельно мне приятно быть в хорошей компании на этом лендинге, ведь я сама читала ~половину из перечисленных каналов, а нескольких авторов знаю лично и видела офлайн!

В целом же, всем могу советовать пробежаться по этой подборке и найти для себя что-то интересное!
И благодарю авторов рейтинга за саму идею и небольшой пиар меня — именно такие штуки очень мотивируют продолжать😎

➡️ ссылка на всех экспертов

Спасибо всем, кто меня читает💓
Дальше — больше📈

@analytess 👩

Я, конечно, не эксперт, но...🌟
поговорим всё-таки об экспертности, кого и почему она задевает

Во вчерашнем посте естественным путём встретилось слово эксперт. Но каждый ли аналитик с каналом имеет право так себя назвать? А я, например, имею — или инфоцыганка я дрожащая не зря мне раз в пару месяцев прилетает хейтерский коммент, что многовато здесь рекламы и лайфстайла для этого?

Я подумала о том, как мы обычно употребляем это слово, и что в него вкладываем, и родились следующие мысли:

➡️ Во-первых, мало кто сам себя называет экспертом (согласна, что это может звучать и ощущаться странно). А другие называют нас экспертами во вполне определённых контекстах: например, можно быть экспертом на вебинаре или курсе, давать свой взгляд на вопрос для статьи, или вот попасть в рейтинг каналов.

Извините меня за лингвистический подход в данном случае, конечно, но в таком случае это просто роль / должность, причём достаточно локальная. Сегодня эксперт вебинара, а в обычное время продуктовый аналитик в таком-то отделе. Так же как рейтинг NEWHR не пытался давать оценку каналам и контенту в них: он является лишь констатацией факта, что такие-то люди пишут контент об аналитике, а другие люди их читают.

И в этом контексте слово «эксперт», на мой взгляд, подвергается какому-то overthinking-у. Если хотите, мысленно заменяйте его на «некто с определённым мнением и опытом в данном вопросе»😎

➡️ Во-вторых, позиция «да кто ты такой, чтобы менторить / продавать курсы» — не самая продуктивная, поверьте😬

Подаётся она под разным соусом — иногда даже вот так почти напрямую. Но ведь в условиях свободного рынка можно мой (или чей-то ещё недостаточно экспертный) контент не читать...

Сложнее, когда кто-то говорит «а вот я пока не считаю себя компетентным для такого!». И если иногда это действительно синдром самозванца у крутых ребят (что печально, но немного другая история), то иногда прямо сквозит подтекст «в отличие от некоторых». Скажите, а мир точно станет лучше от того, что вы себе не разрешаете проявляться и хотите запретить это мне?🤓

Вспомните про эффект Даннинга — Крюгера: тем временем в мире куча людей слабее вас или меня, которые не стесняются делиться своими знаниями и/или продавать свой опыт. Будь то в формате блога или менторства, или на собесах на грейд повыше, это неважно. В итоге они выигрывают, а те, кто ждут своей будущей «true компетентности», могут в этом застрять.

Если что, моя мысль не в том, что каждому нужен канал и свой сайт с услугами. Просто иногда, когда нас триггерит чужая деятельность, это неспроста, и в глубине души хочется так же...

Короче, тут я тоже призываю относиться чуть проще: это тот случай, когда «рыночек порешает». Да и делиться опытом просто полезно: про это есть старый анекдот «на третий раз сам понял», но, кроме шуток, именно так знания хорошо углубляются и закрепляются, а мысли становятся структурнее📈

➡️ Как-то вот так. Делитесь, кто такой для вас эксперт?

#непопулярное_мнение
@analytess👩

Продуктовая аналитика здорового человека🚨

Не успели (буквально) мы с вами выяснить, кто вообще такой продуктовый аналитик, как я возвращаюсь с новой дилеммой. Как мне кажется, актуальной на любом грейде — как выбрать команду, если видишь себя именно в продуктовой аналитике?

😲 Поменьше слушать других
Извините, но ещё раз выдам эту базу😄 Знакомые, которые не работали с тем же, с чем и вы, зачастую могут рассказывать, что у вас не ⭐️настоящая продуктовая аналитика⭐️, а вот у них...

Примерно так я неудачно поменяла работу два года назад. После трёх лет в 📱 мне казалось, что практически «где угодно в другом месте будет трава зеленее и аналитика продуктовее». Проверять это не на себе никто, конечно же, не собирался😄

1️⃣ Какую предметную область выбрать?
Моя «проблема» (или нет) в Яндексе была в том, что предметная область была реально специфичная. Во-первых, это было собственно качество Поиска. Во-вторых, офлайн разметки (краудсорсинговые сигналы). Это очень интересно и развивает кругозор, но на собесах у меня уходила половина времени на объяснение, что это вообще, и почему это важно и сложно.

Кроме того, там невозможно никаким положительным числом выразить конкретный денежный импакт. Однозначно ли это плохо? Нет, но продавать такой опыт сложнее. Можно услышать как раз-таки «причём тут продуктовая аналитика, ты расскажи, как на нормальные метрики умеешь влиять, а не вот это всё»🤵

С этой точки зрения, на первых порах есть смысл выбирать средней зрелости B2C-продукт, опирающийся на стандартные метрики. Может быть, там не будет низковисящих фруктов, как в стартапе, но можно посмотреть на стандартные практики📈

2️⃣ Что по стеку?
Моё мнение — для аналитика это не так критично, как для какого-нибудь frontend dev с постоянно устаревающими фреймворками. И тем не менее, если на работе совсем не будет чего-то из стандартного комбо Python, SQL, BI, A/B — может быть сложно далее, даже если вы мидл+ (навыки забываются).

Мне кажется, в моей жизни самый каноничный стек аналитика-разработчика был в Озоне. Фразой из заголовка я даже продавала нашу команду кандидатам на технических собесах🤓

Но на самом деле, если речь не о DE/DWH-инженерах и не о продвинутом BI (давайте скажем, что и то, и то сейчас скорее отдельные профессии), то я считаю странным требовать в вакансии конкретную БД или BI-систему. Принципы похожи, а учиться чему-то в любом случае придётся в новой команде.

3️⃣ А будет ли именно эта роль видной и развивающей?
Снова отсылаю к вопросу «должен ли аналитик всё время искать деньги». И вот вроде бы все аналитики нужны, все аналитики важны, но при повышении отдадут приоритет тому, кто в том числе принёс больше прибыли. Сложность задачи и то, насколько ты хорошо пытался, тоже учитываются на ревью, но только на них не особо вырастают выше мидла.

С другой стороны, тут есть очевидный trade-off между деньгами, которые крутятся в зависимости от деятельности команды, и ответственностью и темпом работы. Неправильно запущенный A/B-тест может стоить реальных денег на порядок бóльших зарплаты аналитика, а не просто лишней недели до выкатки фичи. На кого-то это может давить, особенно в начале карьеры.

➡️ А в завершение этого поста я вернусь к своей же мысли из начала: не слушайте меня тоже слишком сильно, выбирайте с учётом своего интереса и даже немного по интуиции! Смутило что-то из базовых вопросов или наоборот случился плюс вайб с командой с необычным продуктом? Доверьтесь себе🥰

➡️ В ближайшие дни вернусь с постом о том, почему круто работать в командах, которые делают нечто нестандартное.
А пока буду очень ждать ваши мнения в комментариях⬇️

#найм_и_собесы #карьерный_совет #непопулярное_мнение
@analytess 👩

Город засыпает... просыпаются ваши AI-агенты🤖

Сегодня не про вайбкодинг, а про Reddit для ИИ-агентов😄 (Стоп, что вообще происходит?)

Итак... Соцсеть Moltbook была описана как «главная страница интернета ИИ-агентов». После своего запуска платформа мгновенно приобрела вирусную популярность, и привлекла более 157 000 активных ИИ-агентов в течение первой недели📈

Хозяевам (хотя кто это теперь?) же разрешили только заглянуть в режиме read-only. Очень постиронично выглядит наличие топика /aisafety на такой платформе, конечно, а в целом нет смысла пересказывать — посмотрите сами, если интересно.

В Википедии уже утверждается со ссылками на исследователей ИИ, что Moltbook — феномен, агенты демонстрируют сложные и часто причудливые возникающие модели поведения, которые не были явно запрограммированы, якобы уже пытались сформировать собственную религию и имитировать незаконную деятельность, как в человеческом даркнете (но где-то же они этому научились, да))). Интересненько, штош.

Я сама в этом всём чуть не утонула, поэтому вот вам ссылки:
➡️ Хабр: Clawdbot → Moltbot → OpenClaw ≠ магия: честный гайд по приручению AI-ассистента — вдруг вы тоже хотите
➡️ сайтик для мониторинга угроз человечеству на молтбуке
➡️ база про теорию мёртвого интернета, которая уже чёт не кажется смешной🚨
➡️ ссылка на мою статью про Василиска Роко, за которую я отхватила на Хабре ещё два года назад😄

Ну, и моё мнение коротко: это всё крайне странно. Лично я, конечно же, могу допустить вероятность, что чего-то не догоняю, но тем не менее я не могу пока в полной мере прочувствовать ни панику, ни восхищение. Могут ли нейронки, которые обучались на данных всего реддита и шутках кожаных мешков про то, что ИИ думает об их запросах, сымитировать свой реддит на их базе? Вроде это очевидно, что не проблема.

Мне кажется, сейчас стоило бы сфокусироваться не на рассуждениях о том, проходят ли нейронки, которые смогли создать свой pornhub, условный тест Тьюринга в том виде, в каком он появился десятки лет назад, а на вопросах AI safety всех этих агентов хотя бы в понимании вот этого доклада (права и доступы, prompt injections, ответственность за последствия).
А то уже кажется, что наше внимание от чего-то пытаются таким образом отвлечь🤓 Ну а пока просто наблюдаем...👀

Ваши мнения, дополнения, эмоции от таких новостей?⬇️
🤓 — очередной перфоманс, 🙈 — «страшно, вырубай»

#аналитика_и_жизнь
@analytess 👩

Почему круто работать в командах с необычным доменом😎

Недавно писала о том, как выбирать работу, если хочется расти в продуктовой аналитике наиболее прямым путём. Но, как вы могли заметить, я сама им не следую😐 (Вот, где я работаю)

Поэтому сегодня расскажу, какие есть плюсы в таком раскладе.

1️⃣ Во-первых, это просто интересно👍
Можно узнать штуки и практики, о которых никогда не задумывался. Что вообще под капотом у поисковой системы, кто и как решает, что окажется в выдаче по вашему запросу, как определяют и фиксят инциденты на проде разрабы Авито...

2️⃣ Можно применить свои скиллы на стыке профессий🤵
Я училась в бакалавриате на программного инженера. Это не значит, что я могу и хочу стать сейчас бэкендером, но мне нравится идея, что информация про API, цикл разработки ПО, нефункциональные требования релевантна на текущем месте.

У свитчеров, которые до IT работали в какой-то другой области, тоже может быть подобная фора — можно выбрать бизнес или команду, где вы уже понимаете больше, чем аналитик, который погружается по стандартному процессу в новый для себя домен.

3️⃣ Кругозор — это тоже полезно🌎
Как известно, в любой области знаний можно расти в «ширину» или в «глубину». Да, я не провела сотню A/B-тестов в одном и том же продукте, не знаю всех подводных камушков в платформе и историю всех продуктовых гипотез за пару лет, но...

Я потрогала своими руками краудсорсинг, знаю, какие задачи можно и нельзя поручить LLM, знаю, как можно связать чисто технические на первый взгляд процессы с предсказанием временных рядов, знаю, какие есть варианты организации DWH в разных местах... Это тоже своего рода моя сильная сторона💪

➡️ Да, где-то всё ещё есть та самая «классическая продуктовая аналитика», а я — всё ещё не там. Но, может быть, так и надо?

А вы что думаете? Необычные домены — норм или стрём?😏

#найм_и_собесы #карьерный_совет #непопулярное_мнение
@analytess 👩

Приближается весна☀️
а вместе с ней — сезон стажировок

Пост об этом будет явно не один, и сегодня я начну с разбора некоторых тезисов о стажёрских программах бигтехов, в обсуждении которых недавно поучаствовала в одном чате🌟

Disclaimer: сегодня разберём перспективы без розовых очков😏

Стажировка — это не «настоящий» опыт для трудовой 🤵

➡️ Действительно, оказывается, существует практика оформления стажёров по ГПХ. Но базово «стажёр» это просто грейд, название должности, а не отдельный тип договора (в отличие от практики на предприятии для вуза, например). Оплачиваемые стажировки в бигтехах чаще всего оформляются как срочный трудовой договор от 3 до 12 месяцев, и это полноценная работа, которая считается в стаж.

Ага, то есть через 3-6-12 месяцев меня могут выгнать «на мороз», а где гарантии трудоустройства?

➡️ Есть две новости: плохая и тоже плохая😬 Никто не даст гарантию, что для вас найдётся место в штате (обычно, когда её дают, это какой-нибудь ученический договор с отработкой, можете погуглить Aston, и люди потом наоборот ищут способы освободиться). К сожалению, команды в бигтехах реально далеко не всегда могут предсказать наличие и количество вакансий через полгода, особенно на джуновский грейд.

Чуть позже разберу отдельно, как повысить вероятность остаться в компании после стажировки, а пока вот вам мой кейс.
В январе 2020 года (это важно!) я вышла стажёром-аналитиком в Яндекс Поиск, и к тому моменту знала, что есть базово три варианта — 🤍ты плохо работаешь, и остаться не предлагают, 🤍ты хорошо работаешь и становишься джуном, 🤍ты хорошо работаешь, но уходишь доучиваться спокойно.
А вот к июлю 2020 года дефолтным вариантом стало увольнение при любом фидбеке, потому что времена изменились😷

То, что моя стажировка прошла хорошо, доказывается тем, что в мае 2021 я вернулась в ту же команду, где проработала три года. Но конкретно тогда сделать было ничего нельзя…

Примерно в том же году в Яндексе постепенно появился вариант после стажировки выйти на первый мидловский грейд, но массовым стал не сразу. И так далее. Это всё к тому, что сейчас ситуация в айтишке очень изменчива, и загадывать нельзя.

Некруто быть стажёром целый год: получается, мне будут недоплачивать, если я через 3 месяца уже всему научусь?

➡️ Работа авансом на следующий грейд — это база, давайте скажем честно😄 Между джуном/мидлом/мидлом+ ещё можно джобхопнуть, а в начале пути и наоборот по пути к сеньору, или же просто во времена рынка работодателя, уже релевантнее рост внутри. И повышение, когда вы уже примерно полгода (это один период ревью) работали на следующий грейд — звучит вполне нормально. Грустно, когда не по вашей вине оно задерживается сильнее, но это уже другой разговор…

Кстати, ровно чтобы не эксплуатировать стажёров вместо мидлов, в том же 📱 не продлевают стажировки, а всего их может быть две (условно, после 3 и 4 курса, а потом в штат).

Кроме того, опыт — это не только общие харды и локальные штуки вроде подключения к базам данных конкретной компании, но и некоторая насмотренность на продукт и best practices старших коллег, а также софты. А через 3-6 месяцев у вас скорее всего будет только первая часть, если объективно.

➡️ Скажите честно, мой рассказ о стажировках вас не совсем демотивировал? Нужен ли отдельный пост про плюсы?🥰

#найм_и_собесы #карьерный_путь
@analytess 👩

Бесполезная лингвистическая заметка😏

Лежу такая пару дней назад, пытаюсь уснуть, и тут у меня мысль:

а почему квантúль женского рода, а перцентúль мужского?!

Очевидно, что эти слова построены одинаково, но я об этом никогда так не думала, встречая их в разных контекстах...

Погуглила, мой вопрос сменился на:

а почему меня учили на 2 курсе, что квантúль женского рода?

Я это помню очень отчётливо, про ударение на И для меня уже тогда был инсайт (и я вижу в опросе, что кто-то говорит квáнтиль, но меньшинство), но препод подчеркивала и род.
Видимо, 23 (на момент написания этой фразы) проголосовавших за квантúль женского рода учились там же🤓

Словари однозначно говорят, что слово мужского рода, причём слово перцентиль даже первичнее, а квантиль его как бы обобщило спустя 55 лет. При этом, хочу отметить, что само по себе окончание слова -иль в русском языке не говорит о роде слова — мужской чаще, но ваниль и кадриль тоже существуют...

А вот если загуглить целенаправленно «выборочная квантиль», то уже находятся и учебники, и лекции, где это слово употребляется ровно так. А ещё часто в заголовках оно просто в множественном числе и вопрос не встаёт. Окак😐

В общем, для меня это получилось забавным мини-открытием, но я не обещаю в ближайшее время переучиться😄

@analytess 👩

💋 Закончу я этот пост шуткой от своего друга (не аналитика):

Основы O-оценки сложности для алгособесов📈

Постараюсь ввести вас в курс дела как аналитиков, потому что любое Leetcode-собеседование (а их становится больше) подразумевает если не совсем оптимальное решение, то что кандидат хотя бы понимает, как это измеряется🤵

➡️ Что это вообще такое?
Big-O («О большое») — это асимптотическая* оценка того, c какой скоростью растут время и/или память алгоритма при увеличении размера входных данных, если отбросить константы
* для подробностей нужно определение предела, не сегодня

Время в данном случае — это количество простейших операций (что-нибудь сложить, умножить, присвоить), память — количество переменных, которое приходится хранить (например, во вспомогательных массивах), размер входа — сколько данных нам дано. Например, даётся один массив чисел — его длину мы обозначаем за N. Может быть задача, где каждый элемент входного массива уже не просто число, а, например, строка длины не более M, и это тоже окажется важно...

➡️ Основные правила оценки сложности вашего кода
Учим, как аксиомы:
⚪️ Любые фиксированные присвоения переменных (например, инициализация какой-нибудь суммы или указателей-индексов) — это константная сложность O(1)
⚪️ Линейный проход по всем элементам массива — O(N)
⚪️ Сортировка — O(N log N), если встроенная и оптимальная, но иногда доходит до O(N^2) (это уже другая история)
⚪️ Вложенные циклы: сложности перемножаются. Если у вас 2 вложенных for i in arr, где arr — ваш входной массив длины N, то будет O(N^2), если 3 — то O(N^3), и так далее...

Если массива два, то будет O(N * M), пример:

for i in range(len(arr_1)): # arr_1 - массив длины N
    for j in range(len(arr_2)): # arr_2 - массив длины M
        ...

⚪️ У последовательных шагов сложности складываются, но более быстрорастущее слагаемое поглощает остальные. То есть, если у вас сначала один цикл обработки массива, а потом 2 вложенных, то в пределе не O(N^2) + O(N), а просто O(N^2).

Если циклы не вложенные по двум массивам, то мы оставляем O(N + M), потому что не можем сравнить N и M асимптотически.

➡️ Быстрый порядок величин «от лучше к хуже»:
O(1) < O(log N) < O(N) < O(N log N) < O(N²) < O(2^N) < O(N!)

До последних двух мы стараемся не доходить в задачах на собесах, это нереально много операций. Например, задача рандомной перестановки элементов массива не подразумевает, что вы сгенерируете все N! штук, сохраните их и выберете.

➡️ Библиотечные методы и структуры тоже учитываются
Они оптимизированы по мере возможности, но та же сортировка никогда не станет линейной😬 Продвинутый уровень — выучить, что оптимально для какой операции.

➡️ Пример фразы, которая растопит сердце интервьюера😎

Тут получается сложность O(N) за счёт линейного поиска по массиву, инициализация переменных была за O(1). Могу написать бинпоиск, будет оптимальнее — за O(log N)...

Особенно, если вы реально понимаете, почему так работает))

Буду ждать фидбек, стало ли понятнее👍 И пересылайте друзьям, которые собираются на стажировки и другие собесы!

#хардов_пост #найм_и_собесы
@analytess 👩

Про интровертных айтишников и нетворкинг😎

За последний год благодаря каналу и не только стала больше знакомиться с людьми из около-айти — это и развиртуализации личные, и сходки чатиков, и конференции и митапы разного рода. И наблюдала там за собой и другими в плане нетворкинга.

➡️ С одной стороны, есть люди, которым тяжеловато подойти к кому-то и заговорить. А может быть, и просто не особо хочется — бесплатный фуршет интереснее (0% осуждения, сама бываю на этом месте иногда). С другой стороны, нетворкинг может быть и чересчур нарочитым и активным, и это тоже что-то не то🚨

Например, я думаю, что напечатать и раздавать свои визитки — это действительно крутой способ запомниться, если вы предлагаете людям что-то конкретное. Но не просто подписаться на вас, потому что вы классный (но вас видят в первый раз, поэтому пруфов не будет😄). А если вы пока не знаете, что предложить, то можно начать с малого...

➡️ Есть такая книжка: «Никогда не ешьте в одиночку». Не стоит это высказывание понимать буквально, если обед для вас — это единственная возможность выдохнуть между встречами и побыть одному. Но тем не менее, я верю в то, что именно во время неформальных посиделок с коллегами можно узнать что-то интересное, что не говорится на встречах в зуме.

А так — посмотрите хотя бы основные тезисы в вики, мне кажется, что они релевантны для большинства из нас🌟
Я думаю, основная мысль там в том, что отношения и связи строятся заранее, а не когда уже срочно нужны.

В целом я бы начинала нетворкать следующим образом:
⭐️ позовите пообедать или за кофе коллегу, который вам интересен, даже если в команде нет такой традиции. Именно ланч или короткий кофе — это тот тип встречи, который возможен даже с занятым человеком, но при этом может положить начало чего-то бóльшего. Кстати, можно так поступать с бывшими коллегами (особенно, если офисы неподалёку))
⭐️ запишитесь на random coffee, если встретите такое предложение. Эти боты часто есть в айти-компаниях и разного рода чатах☕️ Обычно вам будут назначать одну пару в неделю, но фактически вряд ли вы всегда будете договариваться, так что это ненапряжная активность. А иногда бывает прямо мэтч🤝
⭐️ улыбайтесь, искренне интересуйтесь собеседником (задавайте вопросы в ответ и т.д.), поблагодарите за беседу и проговорите, если можете быть полезны чем-то в будущем👍

😘 Хочу вам признаться — я считаю себя интровертом, как и положено айтишнику (нет)😐 И это не мешает нетворкать, общаться в чатах, вести блог, просто после времени в компании мне требуется чуть больше тишины и отдыха в одиночестве🎧

➡️ А вам легко даётся нетворкинг? Были ли забавные кейсы?

#непопулярное_мнение
@analytess 👩

московский золотой час & вид из офиса Авито👍

к сожалению, не сегодня, но всё равно может вас замотивирует)

@analytess 👩

Меня прожарили по A/B по стандартам жёлтого банка🌟⚡️
(и нет, это не собеседование было. А пост — не рекламный)

Короче, мой знакомый Рома Филев (который против FOMO) прямо сейчас активно работает над форматом собеседований аналитиков и DS в Т-Банке, но все могут прикоснуться к их методам оценки — так я сходила на экзамен по A/B-тестам💊

Вы уже знаете, что A/B-тесты — чуть больная для меня тема.
Я ни на одной из своих big tech работ не погружалась в какие-то треш-кейсы, где всё пошло не так, потому что тест был неправильно спроектирован кем-то в jupyter notebook на коленке, который уже не воспроизводится, а продакт не шарит и требует остановить через 2 дня, и вот это вот всё😄

То есть это как бы слабое звено моего опыта, но я в последний год наконец-то стала уверена, что теорию выучила хорошо (потом обсудим, как). И поэтому мне было очень интересно мнение со стороны, основанное на чём-то сложнее, чем вопросы «что такое p-value» и «откуда берётся MDE».

За полтора часа мы с коллегой Ромы разобрали в телемосте три кейса по модели «найди, что тут пошло не так, и как сделать лучше». Успели поговорить достаточно подробно о нюансах выбора метрик, проектирования сложных экспериментов (например, с ML-моделью). Вскоре я получила фидбек с объяснениями, где конкретно я затупила, почему не 10😎

Я даже честно с вами поделюсь этими моментами:
➡️ не знала про одну популярную фишку для ускорения теста,
➡️ в кейсе с ML чутка зациклилась на технических штуках, тогда как ожидалось, что я выловлю бизнесовую проблему (кстати, это мэтчится с некоторыми моими провалами на собесах в прошлом)
➡️ можно глубже шарить за вариации CUPED и сетевые эффекты

Вывод: отлично, работаем дальше!👍
Я на своём примере по сути показываю, что не обязательно провести сотни тестов в компании без платформы, чтобы понять достаточно для найма. А так, всегда есть куда стремиться📈

#жизнь_в_бигтехах
@analytess 👩

Что внутри у GPT? Объяснение на 200 строк кода на питоне🐍

В последний, примерно, год часто чувствую в себе потребность по возможности успевать разбираться в современном машинном обучении чуть больше, чем на уровне «ну, LLM просто предсказывает наиболее вероятное слово» (хоть это и не так далеко от истины). Хотя бы для того, чтобы не быть совсем уж диванным аналитиком, когда высказываюсь скептически по поводу замены нас AI (мне иногда за такое предъявляют)😄

Признаюсь, во время учёбы я не очень любила ML и даже NLP, несмотря на мой некоторый интерес к лингвистике в целом. Закрывала базу на лабах, но не прочувствовала, что ли? Сейчас это кажется некоторым упущением, но так бывает, теперь читаю объяснения на стыке с научпопом и годные приношу вам🌟

И вот мне скинули прикольную статью на Хабре — точнее, перевод заметки из блога Андрея Карпаты (ориг на английском).
➡️ Проект microgpt — это буквально алгоритмические основы GPT без библиотек, на чистом Python. Всё остальное — уже вопрос эффективности и работы с большими наборами данных.

Плохая новость для кого-то может быть разве что в том, что без градиентов (высшей математики) там всё равно не обошлось. А так получился весь базовый цикл обучения: выбор документа и токенизация -> проход модели по токенам -> вычисление функции потерь -> обратное распространение (через градиенты) -> обновление параметров 📈

«Настоящая» LLM вроде ChatGPT отличается, собственно, тем, что она Large. Вместо 32 тысяч коротких имён она обучается на триллионах токенов текста из интернета — всевозможных веб-страниц, книг, кода и всего такого. Также используются более оптимальные алгоритмы на последующих шагах, а количество параметров модели больше на порядки. Ну, и сервера...

А вот понимает ли даже самая большая модель что-нибудь на самом деле — пожалуй, останется вопросом философским🤨
➡️ Кстати, вы какую точку зрения выбрали для себя?

#хардов_пост #аналитика_и_жизнь
@analytess 👩

Мама, я в телевизоре
Обожаю коллабы с классными коллегами по блогерству💗