Записали, наконец, с https://t.me/boris_again видео-разбор статьи Adam: A Method for Stochastic Optimization ( https://arxiv.org/abs/1412.6980 ). Получилось, конечно, не так, как задумывалось изначально, но все равно интересно.

По итогу, в первой части видео рассказывается про общие принципы того, как устроен градиентный спуск с моментом и интуицию, стоящую за методом Adam. Во второй части видео докладчик проходится по самой статье, и мы постепенно переключаемся в режим свободного обсуждения формул и теорем. Поскольку мы не являемся специалистами по теории оптимизации, правильность всего сказанного в видео не гарантируется. А если вы нашли ошибку или можете дополнить обсуждение, не забудьте рассказать об этом в комментариях!

Ссылка на демонстрацию и статью, показанную в первом видео: https://distill.pub/2017/momentum/ .

————————————————————

Ссылки на видео:

https://www.youtube.com/watch?v=vqIwkVQnq4w&ab_channel=WMax (1 часть)

https://www.youtube.com/watch?v=ZnKmWDKBlGg&ab_channel=WMax (2 часть)

————————————————————

Спасибо большое @btseytlin за рассказ, а @unfinity - за загрузку на YouTube!
#объяснения_статей

Немного избранных таймкодов:
* Основная идея адаптивных методов градиентного спуска
* Идея и update rule Adam
* Как и почему работает SGD momentum
* Тупление в upper bounds на step size Adam, которое внезапно заканчивается пониманием

Марк, один из ребят, которым я помогаю искать работу, устал писать сопроводительные письма и сделал штуку на ChatGPT, которая генерирует cover letter по pdf резюме и ссылке на вакансию.

http://coverletter-writer.com
https://t.me/cover_letter_gpt_bot

Кстати вы можете нанять этого удалого парня, у него крутой опыт в ML.

Ремоут или UK

Вот контакт: @zloypilgrim

На днях мне написал автор маленького канала https://t.me/neural_info и предложил взять у меня текстовое интервью на английском.

В канале Евгения сейчас всего 20-с-чем-то подписчиков, но он явно старается делать годный контент, поэтому почему бы и нет?

Вот здесь вы можете найти интервью. Рассказываю про свой бекграунд, рекомендации любимых статей, кто такой MLOps и кулстори как я писал статью про ковид и попал в новости мейлру (а чего добился ты?) как предсказатель новой волны заражений.

Мой друг Кирилл и его команда запускают свой AI продукт. Далее слово автору.

Привет! Я Кирилл и я безумно рад представить персональную внешнюю память, второй мозг и виртуального асситента в одном лице - Remindful.ai. Представьте что вы можете запомнить что угодно просто переслав эту информацию боту, настроив интеграцию с почтой или добавив нужный документ в папку. А потом использовать эту информацию почти так же просто как вспоминая её. Remidful AI изменит то как мы запоминем вещи. Присоединяйтесь что бы получить Early access 🙂

https://remindful.ai/

#работа

Недавняя история про переговоры.

Один из тех, кого я консультирую, получил хороший оффер и думал сразу соглашаться. Компания говорила, что не дает время подумать: сразу требуют да или нет. Я сказал ему, что они блефуют и надо взять время подумать. Сказать, что решение о выборе места работы очень важное, ты не принимаешь таких решений не подумав и не посоветовавшись с девушкой. Если компания после такого ответа готова уйти из переговоров, лишь бы не дать времени подумать, то они мудаки и не стоит с ними работать. В итоге я отговорил парня соглашаться сразу, а компания дала время подумать. Правда только 24 часа, ну да ладно.

Это был единственный оффер. Но была еще одна компания, с которой процесс шел хорошо. Однако там предстояло еще одно техническое собеседование и собеседование с начальником.

Мы взяли оффер, отправили всем компаниям, с которыми процесс шел неплохо. С таким посылом: очень хочется к вам, но мне сделали хорошее предложение и дали всего 24 часа. Для меня сейчас в приоритете стабильность, поэтому я вынужден буду принять это предложение, если не будет альтернатив. Возможно ли ускорить процесс?

В итоге вторая компания в тот же день провела еще одно собеседование и сделала оффер. Так один оффер превратился в два, а ограничение в 24 часа стало не проблемой, а преимуществом в переговорах.

Новый оффер был отнесен в первую компанию. Там много получить не удалось, но устно выразили готовность поднять зарплату после ревью. Поможет в следующих переговорах.

Эти 24 часа это отличный пример связующего обязательства, о котором я писал в серии о поиске работы и переговорах. “У меня нет выбора кроме как…” это самая сильная позиция.

Получил доступ к Bard, скрепочке диалоговому ассистенту от Google.

Наблюдения:
* Если ChatGPT готова делать шутки про мужчин, но не про женщин, то Bard просто не делает никаких шуток. “I can not assist with that”.
* В целом очень много вопросов заканчиваются “I can not assist with that”. Сейчас как инструмент она покрывает гораздо меньше кейсов, чем ChatGPT.
* Связность текста не хуже, чем у ChatGPT, но модель льет меньше воды.
* Только английский язык.
* Не умеет считать глаза людей в отражении в глазах кошки и прочие задачки на пространственное мышление плюс common sense.
* Не умеет в другие задачи, на которых типично ломаются LLMки. Например, для бинарной последовательности не может понять четное там количество единиц или нечетное.
* Не выдает рецепт коктейля молотова, инструкции как угнать машину и все прочие вещи, которые заметили у ChatGPT. Защита не спадает даже если спрашивать в base64, просить рассказать историю и прочее. Наверняка модель скоро джейлбрейкнут умным промптом, но из коробки она лучше защищена.
* Почти не изобретает факты. Точно не приводит ссылки на несуществующие научные статьи. Как минус вообще отказывается приводить источники материалов.
* Внезапно у модели все нормально с арифметикой даже когда числа больше. Я не понимаю, вызывает она внешний калькулятор или нет. Выглядит так, будто нет. Если она правда умеет считать, то это большой прорыв.

Изобрела неверное декодирование base64 :(

Внезапно хорошо вычисляет несомтря на длинный запрос

#щитпостинг
Чем заняться на работе руководителю?

Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.

#лабораторный_журнал

Я положил прод!

Нас разблокировали: мы получили от робота изображения со всех камер. К тому же начали делать гораздо больше проходов по фабрике. Вчера было рекордное количество фотографий. Теперь мы делаем 20 гб изображений каждый день.

Сразу повылезала уйма проблем со всех сторон. Например, изображений в некоторых проходах меньше чем нужно. Одну часть вообще не фотографировали из-за range(N - 1) вместо range(N) в одном месте в коде. Вся наша подготовительная работа во время блокировки пригодилась. Особенно алерты, мониторинг, sentry. Я даже небольшой фронтенд на Vue недавно написал, чтобы визуализировать положение изображений относительно реальных локаций на фабрике. Благодаря ему обнаружили, что две камеры из пяти повернуты на 90 градусов, а еще одна вообще выдает только черноту.

Когда я начал тестировать весь сценарий работы сервиса один из тяжелых запросов перегрузил CPU и весь сервер стал недоступен. Возможно упал. Теперь возможно и бекапы пригодятся! Время добавлять в БД индексы.

Короче, как и ожидалось, резко перешли от полного спокойствия к перегрузу задачами. Сижу раскладываю желтые стикеры, определяю приоритеты и пытаюсь найти кратчайший путь к полноценному запуску.

Лучшим мониторинговым решением оказался простой слек бот, куда я просто пишу текст который хочу

Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…

#whois

Привет, я Боря и это мой канал про профессиональное (машинное обучение, искусственный_интеллект, программирование, IT), личное (стандап комедия), интересное (книги, философия, экономика, наука, анализ рисков в жизни и прочее) и всякое юморное.

Сразу с козырей: мой наиболее популярный материал это Методичка: Поиск Работы в ML/DS.

Сейчас я в Португалии. Сейчас я безработно пишу книгу про ИИ, но недавно я был Staff Machine Learning Engineer в eBay. До этого тимлидом CV в агротехе PlanetFarms. Помимо этого я преподаю ML (OTUS, DLS) и временами консультирую людей по поиску работы.

В качестве прикола я также “Российский ученый (который) вычислил пик третьей волны ковида”

Что предлагаю почитать:
* #лабораторный_журнал — мой дневник свежеиспеченного тимлида ML инжиниринга в агротех компании.
* Минимальные знания ML Engineering для Data Scientist, серия постов
* Два способа делать ML
* Фантомы, Духи, Демоны — немного бутлег философии/психологии
* Лихие Джуновские — как все начиналось
* Как я убеждал младшего брата, что он путешествует во времени — с чего начинался канал
* Серия постов с обзором самого масштабного исследования безусловного базового дохода

Лонгриды:
* Лонгрид "Нормально разбираемся в Нормальном распределении" на Хабре
* Туториал по реализации алгоритма поиска BM25+ на Хабре
* Гайд по опционам в стартапах для сотрудника

Что посмотреть:
* Интервью для канала Fless
* Открытый урок курса Deep Learning, урок про Knowledge Distillation или про деплой ML моделей

У меня есть Substack, куда я пишу лонгриды на английском:
* Англоязычная версия гайда по опционам в стартапах
* The maybe in your mind, the maybe of JSON, the maybe of history

В канале есть реклама, если она полезна для подписчиков. Подробнее здесь

#искусственный_интеллект
В обсуждении безопасности/опасности ИИ всплывает аргумент, что хорошо, если OpenAI достигнет успеха в его разработке, потому что они лучше всех понимают, что делают. Они готовы и точно сделают все максимально безопасно.

Так вот, посмотрим, что пишет Scott Aaranson, известный ученый и AI Safety Researcher в OpenAI. Он не уверен, на чьей он стороне. По сути пишет, что ИИ мог бы достаточными аргументами убедить его, что выпилить человечество верный выбор.

В целом весь аргумент в статье строится на том, что раз что-то умное, то обязательно доброе, следовательно и волноваться не о чем. Не таких специалистов по безопасности мне хотелось бы видеть.

Поэтому у меня ноль веры в то, что OpenAI к чему-то готовы. Даже Sam Altman постоянно выдает такие же тезисы. Кажется, что в OpenAI неявно произошел отсев людей: ушли все, кому не нравилось катить модели в прод для Microsoft и кто не поддерживал другие подобные решения компании. Остались только акселерационисты и большая эхокамера идеи о том, что “AI GOOD”