Борис опять
15.6K subscribers
1.45K photos
72 videos
34 files
1.49K links
life = curiosity + irreducible noise

Whois: https://t.me/boris_again/3400

Лс: @btseytlin
Download Telegram
#щитпостинг

/imagine Код в биллинг для обработки отмены подписки, быстрый, кранч, тикет в джире, дедлайн вчера, покрытие тестами, хороший код, клин аркитекча, начальство даст пизды
😁411👍1
Евгеника всегда ассоциируется с нацистами. Я был удивлён узнать, что ее не менее масштабно практиковали другие развитые страны. Например, в США были насильно стерилизованы под 150к человек, а в Индии 8 миллионов.

Время записать в дневник благодарности, что родился не в 20 веке

https://astralcodexten.substack.com/p/galton-ehrlich-buck
🔥16🤔7👍1
#искусственный_интеллект

Бенжио по фактам и без воды про AI Risk: почему general AI возможен, откуда может появится goal-driven AI с агентностью, как корпорации уже сейчас являются прототипом misaligned AI. Все написано почти как математическое доказательство. Явно указано, какие гиппотезы, что из чего следует и какие есть контр-аргументы.

https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
👍12🔥2😱1
Вышел вышкинский подкаст “Мой Рисерч”, где я и мой друг Андрей рассказываем про нашу статью о фальсификации предпочтений. Это результат моего недолгого выныривания из ML/AI пузыря и погружения в социологию.

Внутри о том, как люди врут в уличных социальных опросах, маскируя свои предпочтения под консенсус, и как соцопросы с помощью краудсорсинга решают проблему. Например, мы обнаружили, что молодые женщины в России отвечают на каверзные вопросы в уличных опросах так же, как старшее поколение. Очень консервативно. Однако в анионимных опросах через интернет ответы совсем другие, потому что опрашиваемый не находится под давлением интервьюера.

https://music.yandex.ru/album/10131059/track/113507997?dir=desc&activeTab=track-list
👍30🔥32
#работа
# Уютные бухты

Вчера я узнал, что такое делать обновление таблицы с миллионами строк в Postgres. Ничего страшного, но довольно нетривиально. Простой update запрос может оказаться очень медленным. Хорошо, что моя БД не под нагрузкой на чтение, иначе просто подождать не было бы вариантом: занятая операцией БД ломала бы опыт пользователям. Существует много способов обойти проблему: временные таблицы, убираение индексов и их пересоздание, танцы с бубном вокруг настроек и так далее.

Посетила мысль, что я бы с удовольствием кому-то заплатил, чтобы сделали за меня, настроили все нормально и показали как делать в будущем. Если бы я был компанией с высоконагруженной системой, где зависшая БД сразу превращается в потерянные деньги, то заплатил бы очень много. При этом не факт, что оправдано держать эксперта по Postgres в штате ради одной такой проблемы в месяц.

Если бы меня спросили, как зарабатывать очень много и иметь при этом максимальную свободу, я бы ответил: стать экспертом по Postgres и консультировать компании. Кажется, что это усыпанная жемчугом бухта в океане рынка труда, куда добираются немногие. Находится на стыке трех кругов Венна: “нужно многим”, “готовы за это много платить” и “не готовы заниматься этим сами”. Другой пример такой бухты это экспертность по публичным облакам типа AWS. Заняв одну из таких ниш можно реализовать мечту фрилансера: работать час в неделю из под пальмы и получать больше денег, чем на фултайме.

Все это моя вольная спекуляция, не является инвестиционной рекомендацией.
🤔34😁12🐳53👏2👍1
#обзор_статьи
#ml

Давно не было обзоров, время это исправить.

# A ConvNet for the 2020s, Liu et al

Это статья про архитектуру ConvNeXt — конволюционную сеть, которая побеждает трансформеры, в том числе Swin, при меньшем количестве параметров.

Авторы берут за основу ResNet50 и пошагово улучшают его по частям. Они исследуют почему Swin Transformer хорошо работает и переносят эти знания в архитектуру своей сети.

По сути ничего нового: взяты известные улучшения и добавлены в ResNet. Ценность статьи в том, что авторы грамотно собрали все вместе.

В конечном итоге top-1 accuracy на Imagenet 1k:
* Swin-L: 84.5%,
* ConvNeXt-L: 85.5%

При этом ConvNeXT обрабатывает почти вдвое больше изображений в секунду.

Шаги макро улучшений:
1. Улучшеный процесс обучения: 300 эпох вместо 90, AdamW, продвинутые агументации (Mixup, Cutmix, RandAugment), label smoothing и stochastic depth для регуляризации. Это дает улучшение test accuracy +2.7%
2. Macro Design: stage compute ratio как в Swin. Оригинальный ResNet построен так, что число параметров увеличивается от начала сети к концу. Swin состоит из четырех последовательных наборов блоков (стадий), где третья стадия в три раза более тяжелая по параметрам. Структура stage compute ratio (1, 1, 3, 1). То есть на стадии 3 используется втрое больше компьюта, чем на остальных. В оригинальном ResNet-50 структура (3, 4, 6, 3). Авторы меняют ее на (3, 3, 9, 3) и accuracy поднимается на 0.6%.
3. Stem to “patchify”. ResNet начинается с 7x7 конволюций и пуллинга, поэтому изображения сразу сжимаются в 4 раза. Swin начинается с разбиения на патчи, что эквивалентно непересекающейся конволюции с размером окна 14. Авторы заменяют начало ResNet на разбиение на неперескающиеся патчи размера 4x4. Accuracy поднимается на 0.01%.
4. ResNext-ify. ResNext использует grouped convolutions. Авторы используют depthwise convolutions как в MobileNet. Это то же самое, но количество групп равно количеству каналов. Depthwise convolution очень похожа на attention. Благодаря attention в Swin информация смешивается или в измерении каналов, или в пространственно измерении, но никогда не смешивается между ними. Использование depthwise конволюций дает такой же эффект. Это дает еще +1% accuracy.
5. Inverted Bottleneck. В каждом блоке трансформера есть MLP блок, который увеличивает размерность входа в четыре раза. Авторы добавляют такую же штуку и получают еще +0.1%.
6. Large Kernel Size. Т.к. receptive field в трансформерах больше, чем в конволюционных сетях, авторы увеличивают окно конволюций до 7х7 и качество вырастает еще на 0.7%.

Микро улучшения коротко:
* GELU вместо ReLU
* Меньше активаций
* Меньше нормализаций
* Замена Batchnorm на Layernorm
* Использование 2x2 конволюционных слоев c stride=2 для downsampling
🔥35👍63
Сидим с женой в кафе в Лиссабоне. Подходит парень и спрашивает: "Извини, а ты Борис?"

Оказалось, что меня узнал подписчик канала (в Лиссабоне!) и моя серия постов (https://t.me/boris_again/1236) помогла ему найти работу.

Офигенно тесный мир!
🔥9118👍13🐳4
#работа
Вакансии от друзей. Yakov & Partners делают стратегический консалтинг в России и активно нанимают. Сейчас хороший момент, чтобы войти в консалтинг и делать карьеру: проектов много, подразделения новые, конкурентов мало.

Присылайте CV и предпочитаемый способ контакта мне в личку (@btseytlin), далее я направлю.

Далее прямая речь от HR.

DS/DE/ML специалисты от стажеров до лидов в Yakov & Partners

Yakov & Partners — флагман российского стратегического консалтинга, собравший в команде более 15 бывших партнеров Большой Тройки.

Мы ищем специалистов для совместной работы с нашими консультантами. Ваши навыки будут использованы для проведения всестороннего анализа данных и разработки моделей и алгоритмов для решения клиентских задач во всех отраслях российской и международной экономики

Что мы ожидаем от кандидатов:
— Степень бакалавра в области компьютерных наук, инженерии, статистики, математики или аналогичной области
— Владение языками программирования (Python, R)
— Глубокое понимание статистических методов для работы с данными
— Опыт работы с большими массивами данных и реляционными базами данных (SQL)
— Способность представлять аналитическую и техническую информацию в доступной форме
— Сильные коммуникативные навыки, ориентация на работу в команде
— Готовность работы в гибридном формате (Москва)

Что мы предлагаем:
— Уникальный опыт работы на стыке технологий и бизнеса из разных индустрий
— Бонусы по результатам работы
— Компенсацию тренажерного зала
— Компенсацию обедов
— Медицинскую страховку с доступом к широкому спектру медицинских клиник и услуг
— Компенсацию такси
— Массаж, свежие фрукты, сеансы медитации и тренировки в офисе
— Корпоративный теннисный клуб, сквош, вейксерфинг и другие развлечения
👍2810🔥7👎1
Forwarded from Институт AIRI
Открываем прием заявок на Лето с AIRI! ☀️

2 недели науки об искусственном интеллекте для молодых исследователей. В этом году мероприятие пройдет в Татарстане.

🗓 Заявки принимаются до 4 июня 2023 года.

Программа включает в себя лекции, семинары и практическую работу по направлениям:

– обучение с подкреплением
– робототехника
– 3D компьютерное зрение
– генеративное и вероятностное моделирование
– моделирование данных на многообразиях машинного обучения
– графовые нейронные сети
– детектирование и диагностика аномалий по сенсорным данным

📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.

Прочитать все подробности и подать заявку можно по ссылке 🚀
🔥10👍1
#лабораторный_журнал

Внедрил ML!

Если внедрять сбор данных в операции пришлось пять-шесть месяцев, то путь от нуля до запущенного бейзлайн ML решения занял две недели. Пока что в теневом режиме: модель делает предсказания, распознает проблемы на фабрике, но этого никто не видит кроме нашей команды. Убедимся, что прогнозы полезные, и будем выводить в мир.

Вот такой глупый бейзлайн дал небесполезные предсказания: вытащить из фотографии clip embedding и обучить логрегрессию. Все сделано втупую: модель распознает классы “любая проблема” и “нет проблемы”. “Проблемных” лейблов всего пара тысяч на десятки тысяч “ок” лейблов, так что я думал, что ничего не выйдет. Но возможно получилось уже сильно лучше, чем ничего.

Сейчас у нас на фабрике каждый день надо проверять до тысячи локаций. Рук на это нехватает, поэтому проверяется случайная выборка, от силы сотня. Немалая часть проблем остаются ненайденными. Идеальная система находила бы все проблемы, мы предлагали бы агрономам проверить только проблемные локации и готово: все проблемы найдены и подтверждены человеком. Это снизило бы нагрузку с проверки сотен локаций до пары десятков, что занимало бы минут 15.

Теперь к реальности. Из 100 проблемных изображений безлайн верно находит 75. На каждые 100 распознанных проблем он неверно размечает еще 500 нормальных изображений как проблемные, так что проверять надо в 5 раз больше, чем есть проблем. Но вот что важно: подавляющее большинство локаций не проблемные. Среди 100 нормальных изображений бейзлайн верно определяет 80 как не имеющие проблем.

В конечном итоге агрономам нужно размечать только 15% изображений, что конвертируется в максимум 120 локаций. Пока что далеко от цели в 20-30 локаций. Но этот объем уже можно проверить за день. Конечно 1/3 проблем не будет найдены, но мы посчитали, что это все равно меньше, чем остается ненайденным сейчас!

Довольно глупая модель оказывается полезной, потому что убирает огромную долю простых и изначально неинтересных случаев из объема работы.
🔥39👍151😁1
#работа

Читаю сейчас книгу “Договориться можно обо всем.” Как вы догадались, про переговоры. Я не эксперт, но конкретно по переговорам о зарплатах в IT у меня есть ряд мнений. Так вот, с книгой я во многом несогласен, по крайней мере применительно к нашим реалиям.

Например, автор советует всегда начинать переговоры с жесткой позиции. Хотите что-то купить: называйте очень низкую цену, на грани реалистичного. На рынке труда мы продаем себя, так что, получается, надо называть очень высокую цену.

Мой же подход в том, чтобы заставить другую сторону, то есть компанию, называть предложение первой. Вероятно автор бы покрутил пальцем у виска. Но вот эмпирический опыт: вчера мне написал на почту человек по поводу позиции Data Engineer и запросил 160 тысяч долларов в год. Я конечно же даже не стал пересылать сообщение нашим HR, потому что не хочется тратить время людей попусту.

Автор книги пишет, что шоковое предложение должно было заставить меня усомниться в адекватности моих представлений о ценах на специалистов. Но ничего не произошло. Даже переговоров не произошло.

Моя гипотеза: для переговоров обе стороны должны быть более заинтересованы договориться, чем разойтись. На первом этапе воронки найма это не так. Заметьте, что компании как правило пытаются выудить вашу вилку именно на этапах, когда им легко выйти из диалога. Поэтому обычно вам может стать только хуже от раскрытия этой информации на ранних этапах. Если уж хочется шокировать, то надо делать это в конце и желательно другим оффером.
38👍14
Справедливости ради книга совсем не плоха (хотя субъективно читается тяжело), и во многом я с ней согласен. Например, вот автор пишет про связующие обязательства
Forwarded from Kali Novskaya (Tatiana Shavrina)
В комментариях к предыдущему посту многие отметили темы AI Alignment и регулирование ИИ.
И неспроста!

Про риски ИИ, этику и AI Alignment мы уже записали большую беседу с Павлом Комаровским @RationalAnswer
Пока я пишу вам TLDR, вот что мы обсудили:
🌸Почему у ИИ вообще есть какие-то риски и кто ими занимается;
🌸Кто ими должен заниматься и почему нам нужна вычислительная этика для LLM и AGI;
🌸Почему законы робототехники не работают
🌸Почему open source нас всех спасёт.

Смотреть интервью: https://www.youtube.com/watch?v=KtUxkZMaMy0

В формате подкаста можно прослушать здесь или на Яндекс Музыке.

У Павла уже вышла целая серия материалов, которые рассказывают про языковые модели популярно, например, chatGPT.

Надеюсь, вам будет интересно послушать, а мне — почитать комментарии!
🐳2
разорвался чет
😁17👏2
Наворовал для вас
👎10😁10👍5
😁6