Как разобраться в трансформерах

Я писал, что я DS общего профиля и в нейронках крутым специалистом не являюсь. Честно сказать, периодически переживаю по этому поводу: на каждом шагу говорят о Chat-GPT, телеграм каналы пестрят разборами свежих архитектур, коллеги вокруг обучают с нуля сложные модели и так далее. А я нахожусь как бы вне этого тренда.

Поэтому какую-то часть свободного времени я трачу на прокачку скиллов. И хочу с вами поделиться своим рецептом, как реально разобраться в GPT-like моделях. Реально разобраться - это чтобы ощущение магии ✨ происходящего было ограничено разумными пределами. Нужно, чтобы у вас за плечами был базовый курс машинного обучения.

На мой взгляд, самый эффективный способ, чтобы в разобраться в ML - это написать какое-то количество внутреннего кода самому. Не самый простой пусть, скажете вы 🤨. Но просто слушая лекции и вызывая fit-predict, разобраться еще сложнее.

У ШАДа есть отличный публичный курс по NLP от Елены Войты. Там много всего интересного, но есть неделя про трансформеры, которую можно пройти отдельно от всего остального.

➡Что я предлагаю

- Сперва читаете учебник. Именно учебник, а не лекцию, т.к. только в нем подробно с примерами разбираются ключевые компоненты трансформеров
- Затем решаете семинар, держа учебник "на коленках"
- Ну и в завершение домашка на дообучение модели

В семинаре нас сперва немного обучают применять готовые модели, а затем предлагают самим написать GPT-2! С нуля это было бы очень сложно, но заботливые авторы написали часть кода за нас и добавили тесты. А нам нужно дописать сутевые части. Далее в написанный нами GPT-2 подгрузятся предобученные веса и мы сможем погенерить этой моделью текст.

Работает GPT-2, конечно, не так круто, как GPT-4, но все равно вам понравится =)

А для тех, кто хочет изучить базовые нейросети, у меня есть рекомендация похожей ШАДовской домашки, где нужно написать сверточную сеть без использования готовых слоев. Домашки нет в свежих версиях курса, но она осталась в архивных ветках. Напишите в комментариях, если интересно =)

upd: Написал про другую крутую домашку в комментариях

#tech

3 месяца на контейнерах

Прошло 3 месяца как я сижу на grow food, контейнерной еде. Хочу поделиться как это было.

🎮 Введение

Особо худеть я не планировал. Думал подскину пару килограмм. Это был не первый опыт контейнеров. Лет 5 назад мы половиной команды на них сидели, причем я ел 2500 в день. Помню еще, как Лёша Попов, Саша Ковальчук и Жора Таранов худели на спор с приличными суммами денег на кону. Но опыт на мой взгляд был сомнительным.

В общем grow food я опять начал есть практически случайно, в рамках небольших улучшений своего режима жизни. Долго сидеть на нем не планировал.

В итоге прошло 3 месяца. После первого ко мне присоединилась Аня. Я похудел на 9 килограмм. Слезать с контейнеров не собираюсь, разве что планирую больше доедать сверху.

🎮 Немного подробностей о рационе

- Я выбрал 1800 ккал в день
- Контейнеры рассчитаны на 6 дней в неделю, суббота выходной.
- Еду привозят 3 раза в неделю. Время доставки стоит на одно и то же время из недели в неделю, так что я привык ее встречать
- Я регулярно доедаю белок, т.к. обычных 70 грамм в день мне не достаточно. Я пью протеин и ем протеиновые печенья (их сейчас очень много разных)
- Если в этот/прошлый день была тяжелая тренировка, то я доедаю 200-400 ккал, если нет, то до 200. Несколько раз доедал больше, когда было ощущение голода в течении дня

🎮 Впечатления

- По сравнению с версией 5-летней давности, grow food заметно прибавил разнообразия в еде. У меня нет нехватки вкусовых впечатлений и я не мечтаю, когда же контейнеры уже закончатся, и я наконец буду нормально есть
- Несмотря на стабильную потерю веса, я не чувствовал постоянного голода и вообще не страдал
- Убеждаюсь, что с меньшим весом и функциональным телом я ощущаю себя наиболее комфортно. Безумно уважаю культуристов за их личные качества, но искренне не понимаю зачем носить на себе огромную мышечную массу

🎮 Итог

Я убежден, что похудение - это не про изнуряющие диеты, а про образ жизни. Преодоление себя должно быть в меру, ведь жизнь - это марафон.

#lifestyle

Новости канала и розыгрыш книги

Всем привет!

Первая крутая новость, что нас стало более 500 🎆в этом канале. Мне невероятно приятно писать для вас, видеть, что вам это интересно, и конечно участвовать в обсуждениях. Спасибо вам большое!

Вторая крутая новость, которая отчасти следует из первой, состоит в том, что пора собирать обратную связь. Я буду ооочень вам благодарен, если вы ее мне дадите.

💎 А чтобы было интереснее, среди тех, кто ее пройдет я разыграю замечательную книгу, про которую я как-то писал пост: Лю Цысинь, Задача Трех тел

➡ Ссылка на анонимный опрос из 5 вопросов

Спасибо большое еще раз всем, кто дал фидбек по этому каналу! Все супер полезно. Первая рекомендация, которой я воспользуюсь - постараюсь перейти на регулярный режим публикаций. Причем я читал мнения, что важно даже не то, как часто появляются посты, а само наличие графика. Попробую график среда/суббота несколько недель и посмотрю, не пропадет ли у меня удовольствие от процесса.

Меня спрашивали: Как же так, можно добавиться в розыгрыш книги не отправив форму обратной связи? Это правда, и мне самому было интересно, какая получилась доля таких людей) Итак, момент истины..

Оставило фидбек - 29 человек
Зарегистрировалось на розыгрыш книги - 22 человека

Оказалось, часть подписчиков была готова оставить фидбек просто так, от души. Это очень приятно 💗

А теперь время определить победителя. Я выбрал его генерацией случайного номера в гугл таблицах среди вписавшихся в форму. Им стал.. подписчик с ником @Mc_artifact ⬅️

Поздравляем тебя с победой!) Приз тебя уже ищет 🔥

Инсайты об участии в конференциях

Хорошая новость - мой доклад приняли на конференцию I'ML. Это новая конфа, похожая на Practical ML, которая обещает быть очень годной! Но этот пост не про мой доклад, а в целом.

Участие в конференциях вызывает у меня противоречивые чувства. С одной стороны, хочется выступать, потому что выступления являются проверкой и объективным подтверждением твоей компетентности. Ты можешь быть самым крутым инженером на кухне своего этажа, но это ничего не значит 🤹. Проводя аналогию с моим хобби, настольным теннисом, это как заниматься с тренером, играть с друзьями, но не ходить на турниры. Публичные выступления оголяют тебя и твою работу перед окружающими, однако в случае хорошего доклада дают уважение профессионального сообщества.

С другой стороны, всегда есть ощущение, что выступать не с чем 😕, что ты не готов и нужно еще полгода или год работы над проектом, чтобы материалы стали достаточно качественными. Нередко возникает синдром самозванца, что то, что сделано у тебя, хуже, чем у других и так далее.

💎 Мои рекомендации, что делать с подобными мыслями

- Во-первых, примите, что с уровня синьора выступать просто нужно, хотя бы внутри компании. В Авито это даже в матрице компетенций закреплено. Суть опытных сотрудников не только в том, что они хорошо делают задачи, но и развивают других. И даже если про рабочие проекты никак не рассказать, то есть множество других вариантов. Например рассказать про технологию или поучаствовать в обучающем курсе

- Во-вторых, помните о когнитивном искажении. Вам может казаться, что ваша работа тривиальна и недостойна доклада. Но на самом деле для большинства людей это будет выглядеть сложно и интересно. На конференции так или иначе приходит много начинающих и им вообще все кажется 🚀 космосом.

- В-третьих, вы должны уметь собирать в доклад то, что у вас есть здесь и сейчас. Через полгода у вас не появится ощущения готовности материала. Неоднократно проверял это на собственном опыте. Поэтому откладывать смысла нет 🙂

А какое мнение у вас? Знакомы ли вам такие проблемы?

#productivity #worklife

Про карты

Получил наконец-то зарубежную карту! Все это время я жил и путешествовал без зарубежной карты. Как-то справлялся, но иногда очень страдал.

Поделюсь, как делал, может быть кому-то пригодится. К тому же свежая информация по таким темам всегда полезна. За рекомендацию спасибо Вите 🙏

💎 Есть такой сервис, travelbelka. Они предлагают удаленное оформление карт в банках Киргизии и Казахстане. Я взвесил плюсы и минусы всех предлагаемых карт и выбрал карту киргизского Бакай Банка. Стоит удовольствие в копеечку, но все равно гораздо дешевле, чем ехать лично. И никакой головной боли: не нужно думать какие документы предоставить, откроют вам или не откроют и так далее.

💎 После оплаты мне прислали образец доверенности, которую нужно было заверить у нотариуса. Доверенность вместе с копиями паспортов я выслал СДЕКом. В течении нескольких дней мне открыли счет и выслали карту СДЕКом обратно.

💎 На сайте предлагают много разных карт. Критериев для выбора много, я думал какое-то время. На что стоит обратить внимание

- К какой сим-карте привязывается счет. Бакай Банк привязывает мобильное приложение к РФ номеру телефона. Для Казахстана где-то открывают местную симку и присылают вместе с картой. Мне не хотелось возиться с дополнительной иностранной симкартой, хотя кто-то говорил, что можно легко сделать esim. Хотя сейчас я вижу, что в платежных данных часто просят телефон, и может быть местная симка - это не так уж и плохо.

- Определяется ли карта как кредитная. Плохо в этом понимаю. Для аренды машины, нужно чтобы карта определялась, как кредитная, хотя я арендовал как-то машину в Европе и все по дебетовой делал. Пишут, что часть предлагаемых карт якобы определяются как кредитные (хотя по факту являются дебетовыми) и подходят для аренды.

- Мультивалютность. Мне лично была не нужна. В Бакай Банке мне на самом деле открыли целых две карты: Visa в долларах и некую Элкард в сомах. Для пополнения счета нужно перевести деньги из приложения РФ банка как раз на эту Элкард. Далее нужно сконвертировать сомы в доллары и положить уже на визу. Как работает в других банках не знаю, но думаю, что как-то похоже.

- Надежность банка и качество приложения. Тут смотрите сами. Приложение Бакай Банка выглядит как альфа версия, но вполне рабочее. Удивительно, но оно очень хорошо русифицировано, даже реклама на русском.

💎 Вот такой экспириенс. Как известно, спрос рождает предложение.

PS. Хочу оформить Youtube Premium, но не разобрался, как это сделать. Кто-нибудь знает?)
PPS. Если заходите оформить, можете мне написать, у меня есть промокод)

#lifestyle