Алярма! Тут раздают баблишко тем, кто вкатывается в айтишечку!

> “Ведь мы работаем на старость, нам неведома усталость”

А что если можно по-другому? Что если с теми деньгами, какие бы они ни были, можно сделать что-то стоящее уже сейчас, пусть даже и в микроскопических масштабах?
Я долгое время мучался одним вопросом - зачем я зарабатываю деньги? Точнее, зачем я зарабатываю “средние” деньги?
Маленькие деньги - они закрывают базовые потребности и поддерживают жизнь в моей бренной тушке.
Большие деньги - на них можно менять мир. Мой личный пунктик - образование. Кажется, что с него все начинается и к нему все возвращается. Я бы, пожалуй, делал образовательные фонды.
А что за зверь “средние деньги”? Что делать с ними? Базовые потребности закрыты, но для фонда маловато. Мой ответ - забота о близких. Но что делать, если базовые потребности близких тоже закрыты?

Без дальнейших предисловий, я решил перестать ныть и попробовать кусочек своего заработка пустить на дело, которое считаю важным - образование.

В России есть три пути: вебкам, закладки и айти. Конечно, любые профессии нужны, любые профессии важны, но я бы хотел помочь тем, кто пытается вкатиться в айти (кстати, необязательно в России).

> Про мой бекграунд можно почитать здесь. Более строго и формально здесь.

Я готов платить мотивированному студенту 250 фунтов или 30,000 рублей (по выбору) в течение 6 месяцев из своих кровно заработанных. Да, это не те деньги, на которые можно уйти с работы в Москве, но в провинции (например, в моем родном Воронеже) на них точно можно жить.
Помимо денег, готов встречаться раз в неделю на выходных на 45 минут для консультаций.

Что ожидается от студента:

- Уже есть какой-то прогресс в самостоятельном обучении, но не хватает волшебного мотивационного пенделя, чтобы ускориться.
- Самостоятельность. План обучения, разбираться с ошибками, находить единомышленников для совместного обучения - все на тебе. Я не даю рыбку, даже удочку не даю. Скорее даю денег на половину хреновой удочки и готов делиться кулстори раз в неделю о том, “как оно было в наши времена, когда по земле еще ходили мамонты”.
- Готовность уделять обучению хотя бы 30 часов в неделю. 250 фунтов для меня не маленькие деньги. Я хочу видеть, что они идут на дело, а не на пиво с чипсончиками после работы. В идеале, я бы предложил уйти с работы и учиться все время, но я понимаю, если не у всех будет такая возможность.
- Отчетность в виде подробных репортов о прогрессе раз в неделю в формате публичного дневника. Я бы хотел, чтобы если кто-то захотел повторить этот путь, он бы мог чему-то научиться на ошибках, прочитав дневник.
- Весь код написанный код должен быть выложен под лицензией MIT на Github. По причинам озвученным выше и потому что опен сорс - это круто!
- Технический стек не важен. Лучше всего я смогу помочь с JavaScript (как на фронте, так и на беке) и Python. Но, учитывая, что моя функция по большей части бумажниково-консультативная можно учить хоть C (да прибудет с тобой господь и да убережет он тебя от undefined behavior).

Чего ждать от меня:

- Раз в месяц я буду перечислять деньги 250 фунтов или 30,000 рублей (по выбору) тебе на счет. Могу слать деньги как по России, так и по Европе через Wise. Я оставляю за собой право прекратить выплаты, если по моему личному мнению ты начнешь пинать балду вместо учебы. Это ок уйти в отпуск на неделю по предварительной договренности. Это не ок внезапно забухать на пару недель и пропасть с радаров.
- Раз в неделю я готов вникать в твои проблемы и помогать советом на 45-минутном звонке. Готов изредка асинхронно отвечать на вопросы в Телеге или по email.

Что дальше:

- До 1 октября собираю заявки через форму
- До 15 октября обрабатываю заявки и выбираю подопытного кролика
- Увы, в силу ограниченного личного времени я напишу только тем, чей профиль и история заинтересует больше всего. Соррямба! Если я с кем-то не свяжусь, это не значит, что вы не классные. Просто мне надо как-то сделать выбор 🙂

Всем удачи и рок-н-ролл! May the odds be ever in your favor 😂

Продолжаю закрывать гештальты.
11 ноября я выйду на свой первый боксерский поединок. Буду бесконечно рад, если решите прийти и поддержать!
Билеты на вечер можно купить здесь. При чекауте укажите, что пришли поддержать Andrey Goncharov. Если верить оргам, то доходы с ивента идут на благотворительность.
Всех пришедших зову на следующий день на афтерпати с настолками :)

#сентябрь_горит

Ребятушки, студент нашелся и начинает работу. Прошу любить и жаловать - Дмитрий! А вот и его публичный дневник, как и обещал.

Говорят мне, что люди стареют,
Говорят, утекают года,
Успокаиваются, даже взрослеют,
Не бегут ни за чем, никуда.

Говорят, надо быть осторожней,
Как бы вдруг не случилась беда,
Как продать себя подороже
Надо думать, кому и когда.

Говорят, что нельзя другим верить,
Надо спину беречь от ножа.
Научила, мол, боль от потери
Закрываться, собой дорожа.

Говорят мне, что дико устали
На работе с восьми до пяти,
Что в трясину дела засосали.
Говорят, не мечтай, отпусти.

Говорят, не имею значенья,
В мире царствует волчий закон.
Говорят, что в разгуле веселье,
Бога нет и нас создал не он.

Говорят, что я глуп, безрассуден.
Знаю я, что клянут меня зря,
Что есть сердцем горящие люди,
И что им по колено моря.

Они смотрят на мир, восторгаются,
Назло бедам - выбрали жизнь,
Любят, плачут, смеются и каются,
И души не дадут потушить.
-------
Дорогому другу, который никогда души не даст потушить

#до_ре_мистоевский

Продолжаем ковыряться в покрывшихся пылью архивах и сводить EP из прошлого.

#до_ре_мистоевский

TLDR; в ринг вышел, гештальт не закрыт, повторю потеху в марте-апреле.

Победы, конечно, радуют, но поражения важны, пожалуй, даже больше.
Я не достаточно серьезно подошел к подготовке, пытаясь жонглировать работой, универом, силовыми тренировками и музыкой. В итоге, проиграл как функционально (эх, дыхалочка моя, дыхалочка), так и психологически.
Обидно было не отдать победу сопернику, который отбоксировал в этот вечер лучше, но поддаться своему страху, который сковал по рукам и ногам и не давал брать достаточно риска.
Решил, что буду выходить в ринг до тех пор, пока не научусь со страхом дружить и взаимовыгодно сушествовать.

Следующий бой в марте-апреле. Посмотрим, что я смогу сделать при более грамотной и серьезной подготовке ;)

Видео с боя.

P.S. Присоединяйтесь к поездке в Таиланд потренить в лагерь по муай-тай в мае-июне на пару недель.

#сентябрь_горит

Ура-ура-ура! Спустя 4 месяца самостоятельного обучения, полного сомнений в выбранном пути, спустя множество недель "работы в стол", Дмитрий нашел работу!
Он оправдал мои самые смелые ожидания от стипендиального проекта. Эксперимент удался!

https://splcell.hashnode.dev/otchet-po-obucheniyu-s-150124-po-190124

Не перестаю удивляться роду человеческому. Прозвучало как сарказм, да? В 95% случаев моя токсичная натура именно в таком формате и излила бы образчик бесценной критики в окружающий мир, но не в этот раз. Сегодня я бы хотел восхититься тем, что делают другие люди, и восхищением поделиться.

Как новоиспеченный ML-неофит я подписан на россыпь каналов по теме машинного обучения. В их числе и канал Татьяны Гайнцевой DLStories, вчерашний пост которого и послужил поводом этой маленькой заметки.

Как я упоминал в разные времена в той или иной форме, у меня пунктик на образовании. Тем не менее писать в бложек о том, что есть "пунктик на образовании", дело куда более малозатратное, чем этим самым образованием заниматься. У меня всегда находился благовидный предлог отложить очередную инициативу: финансовое благополучие семьи, учеба, синдром самозванца, выгорание, развод. Плеяда рационально обоснованных инструментов направленная на усмирение ревущего в бессилии внутреннего дитешки, который хочет дотянуться до звезд. И как же радует, что несмотря на нагромождение сложностей преподнесенных судьбой, находятся люди, которые делают правое дело.
Просто. Берут. И. Делают.

Занимаются школьниками, вместо того, чтобы провести дополнительную платную консультацию. Создают фантастические бесплатные курсы вместо того, чтобы закрыть их за пейволлом. Пишут открытый код и проводят открытые исследования вместо того, чтобы посмотреть очередной сериал на Netflix.

Ребята, я в абсолютном восторге от того, что вы делаете. И я уверен, что я такой не один. Низкий поклон и чистосердечное спасибо!

#сентябрь_горит

В 15 лет я впервые сел за барабаны.
В 18 привез через половину земного шарика 3 чемодана музыкального оборудования и сделал рок-группу с лучшим другом.
В 21 поступил в музыкальное училище только-только закончив универ.
В 22 ушел из музыки и сфокусировался на программировании, оставив недописанным дебютный альбом.
В 31, наконец, закрыл гештальт и выпустил материал, прозябавший в цифровой ссылке последние 9 лет.

🎵 https://notsoalive.goncharov.page/

#до_ре_мистоевский

Пришла пора подвести промежуточные итоги по надёжному как швейцарские часы плану перекатиться в ML. Поехали!

1. Это был чересчур амбициозный план. Математика за такое время не учится. По крайней мере мной :) Мне кажется, что более реалистичный таймлайн и программа здесь. Этот курс я у них не проходил, но пользовался задачниками.
Хорошие материалы для обучения предложены здесь.
2. Меня накрыло разводом и всякими последующими экзистенциальными кризисами, так что я с осени 2023 занимался чем угодно только не учебой. Когда очнулся к зиме, то понял, что дело дрянь, и перекатываться получается как-то хреново.
Итак, на дворе январь или даже февраль. Ныть, конечно, дело благодатное, но не очень полезное. Вспомнил, что вообще-то у меня был всем охуенный план Г - поступить куда-то. Охуенный всем кроме времени начала набора на программы. И если раньше казалось, что это терять целый год, то теперь стало казаться, что "Ааааа! У меня всего несколько месяцев на подготовку! Все пропало".
Свято уверовав в то, что коллектив и окружение решают, я решил готовиться и поступать в ШАД или AI Masters.
3. Несколько недель я спустя задался вопросом: как я буду совмещать будущую учебу с работой? Эго нашептывало сладостную песню о том, что все получится, - я в лучших голливудских традициях буду все героически преодолевать, а в конце заиграет такая эпичная спокойная музыка, и меня покажут умудренным опытом старцем.
Пока ЧСВ рисовало молочные реки, глас рассудка валялся в истерическом припадке. Во-первых, я только-только последние полгода занимался походами, боксом, музыкой и кучей других интереснейших вещей, но не учебой. Намекает на мои текущие возможности совмещать серьезную интеллектуальную деятельность с работой. Во-вторых, во время обучения в Georgia Tech я мог комфортно брать ровно один курс в семестр в параллель с работой. Это меньше нагрузки ШАДа. А ведь я еще хотел позаниматься рисерчем! В-третьих, мне уже сейчас ботать вышмат для поступления давалось с большим трудом. С чего бы дальше стало легче?
4. Что имеем на данном этапе? Оставаться в вебе не хочется. Подготовка к поступлению в ШАД идет со скрипом. Не понятно как потом учиться. Из 4 всадников апокалипсиса светлого будущего (сон, спорт, работа, учеба) мне надо было выбрать 3. Отказаться от спорта и сна - верный путь поехать кукухой. Методом исключения получается так, что надо отказываться от... работы? Почему-то раньше мне это в голову совсем не приходило.
5. Подсчитав финансы, прикинув, что мне реально нужно для жизни (оказалось, что очень и очень не много), понял, что если доработаю до конца лета, то смогу в том же Лондоне потом минимум год (а то и два!) не работать. Но если уж мы начали задаваться неортодоксальными вопросами, то зачем останавливаться? Почему именно Лондон? Что если поехать куда-то в существенно более дешевое место?
Не буду утомлять дальнейшей долгой цепочкой размышлений. Перейду сразу к выводам - решил поступать на одну из топовых технических программ в магистратуру в России (смогу хвастать потом, что дважды магистр xD) - ШАД + ВШЭ, ИТМО, Сколтех. В параллель пробовал пройти на программы альтернативного образования - ШАД и AI Masters.
6. Ура! Финальный пункт с результатами!
Поступил в магистратуру по Data Science в Сколтех. Уволился с работы. На момент написания этого поста сижу в квартире через дорогу от красивейшего кампуса после оргсобрания перед началом первого учебного года.

Потерянные люди ищут потерянных людей,
Переплетают свои судьбы ради потерянных детей.
Потерянные дети отчаянно хотят найтись
И взглядом ищут тех, кто ищет, - по сторонам, под ноги, ввысь.

Потерянно идут со школы, потерянно сидят одни.
Летят потерянные годы, ползут потерянные дни.
Сжирают книги стеллажами и обретают там друзей.
Наедине с собой и Богом - дети потерянных идей.

Потерянно играют роли, потом выходят на поклон.
Находят счастье они в горе, никак не могут найти дом.
Читают умных и великих, бегут от сладостных страстей,
Но вечерами так же жаждут рядом потерянных людей.

Потерянно взирают в небо, потерянно влачатся вдаль,
А небо слышит, небо плачет, небу становится их жаль.
Потерянные раньше люди находят близких им людей,
Переплетают свои судьбы и создают новых детей.

#до_ре_мистоевский

С вами нерегулярная рубрика "Из софтварного инженера в ML рисерч".
В декабре мне повезло попасть в отличную лабу с теплой ламповой атмосферой. Несколько месяцев спустя, подъехала первая публикация!
В папире мы исследуем связь энтропии и галлюцинаций в LLM есть красивые графики и даже формулки (верный признак качества).
Хотелось бы сказать спасибо всей команде и отдельное спасибо научному руководителю - Зайцеву Алексею, который этим условно контроллируемым хаосом (тобишь нами) управлял.
Какой-то большой апдейт по учебе в Сколтехе и по результатам будет ближе к кончу учебного года (= к лету). Тем временем можно вместе со мной порадоваться запаху весны и первым осязаемым результатам учебы ;)

Курс молодого ресёрчера

Меня в последнее время уж слишком часто спрашивают, чё почитать, чтобы вкатиться в нлп, а я каждый раз пересылаю целую батарею из ссылок, которую я создал год назад. Пришло время обновить ссылки, организовать их в аккуратненький пост и потом кидать уже его.

Ссылки для обучения базе:

- HF NLP Course — Платиновая база. Это надо прочитать, чтобы научиться делать свои минимальные штуки на уровне инженера. Курс больше прикладной, не теоретический, учит взаимодействию с transformers. Он постоянно обновляется и там появляются туториалы по next big thing — например, там уже есть глава про reasoning models.
- Плейлист с лекциями Карпатого и его же гитхаб — Ещё более платиновая и ещё более база. Я очень плохо воспринимаю лекции и обычно смотрю их на х2, но тут и очень понятные объяснения, и иллюстрации в виде питоновского кода в тетрадках, и скорость изложения ровно такая, какая надо. В описаниях к видео есть домашки, если чувствуете, что надо получше разобраться, делайте их :)
- Зоопарк трансформеров — Чуть устаревшая статья на хабре, где описываются разные модификации трансформеров. Для каждой архитектуры и модели кратко описаны ключевые изменения. Новых моделей за последние пару лет тут, к сожалению, нет, но чтобы понять как всё развивалось, этого будет достаточно.
- Attention is all you need — Самая главная статья из современного NLP. Стоит прочитать, осознать и запомнить, потому что по сути с тех пор языковые модели практически не менялись.
- NLP Course For You — Классический курс по базе NLP, есть много про дотрансформерные методы. Мне кажется, что он уже не так актуален, но ознакомиться всё равно стоит.
- NLP чат — Уютненький чятик, где обсуждают новости и задают вопросы. Ваш покорный слуга выступает там в роли бесплатной добровольной техподдержки.

Ссылки для "уже смешариков", чтобы читать новости и развиваться дальше

- LocalLLaMA — Самый популярный сабреддит про локальный инференс ллмок. Все новости обычно появляются там.
- HF Daily Papers — Рассылка свежих статей по DL. Очень советую подписаться по почте, чтобы утром просматривать заголовки и читать интересующее. Помогает очень сильно расширить кругозор.
- lmarena.ai — Тут можно потыкать разные модельки руками, сравнить их и посмотреть, как они отвечают. Удобно, если надо быстро сделать сбс или проверить какую-то гипотезу.
- openrouter.ai — Сайт, где можно использовать модели через апи. Очень дёшево (по сравнению с аналогами), очень удобно. Оплачивается криптой, иностранной картой или через платиру/ggsel.
- 5 Levels of Text Splitting и RAG Techniques — Всё, что вы хотели знать про RAG, других ссылок, по сути, не нужно. В первой разбираются, как правильно сплитить текст для базы знаний, во второй рассматривают все типичные архитектуры и трюки, связанные с рагом.
- MTEB — Рейтинг эмбеддеров. Чем выше, тем лучше. Не спрашивайте в нлп чате, что выбрать, если предварительно не посмотрели сюда!
- HF Cookbook — Список готовых советов и рецептов для решения прикладных задач. Есть и код, и описание задачи, оформлено в виде блогпостов.
- vLLM, llama.cpp, TGI, sglang, Infinity Embeddings, CTranslate2 — Движки для инференса. vLLM, TGI и sglang для быстрого инференса декодеров на гпу, llama.cpp на цпу. Infinity Embeddings это движок для энкодеров во всех проявлениях, CTranslate2 для энкодер-декодеров.

Ссылки для совсем опытных Кар-Карычей

- Quantization Deep Dive — офигенный хабрапост от Яндекса, где расписывают математическую базу квантизации и про типы данных
- Ускорение LLM: универсальные методы для популярных архитектур — тоже офигенный хабрапост и тоже от Яндекса, где расписывают варианты ускорения инференса
- Статьи от Давида Дале на Хабре — все очень увлекательны и прекрасны. Мои любимые — про декодирование из эмбеддингов LaBSE, про прунинг токенизатора у mt5 и про дистилляцию берта.
- 100 questions about NLP — универсальный список вопросов для подготовки к собесам. Не на все вопросы есть ответы, но все вопросы хорошие.

Этот список, конечно же, неполный, но как база для вката работает на ура. Если есть что-то ещё полезного — кидайте в комменты.

У меня в личке уже несколько раз спрашивали, как перекатиться в ML рисерч. Рецептом успешного успеха пока не поделюсь, но! - у меня есть кое-что лучше.

❝ — Это ключ!
— Нет, кое-что получше. Это рисунок ключика. ❞

🎬 Пираты Карибского моря: Сундук мертвеца