🦄 Как искать людей в ML? Пиратский корабль против конвейера, индивидуализм и распределенные команды

Мы публиковали пару статей в блоге и на Хабре про найм людей, в блоге чуть более эмоциональную, на Хабре - чуть более сухую:

- https://spark-in.me/post/silero-junior-ml-researcher
- https://habr.com/ru/post/550500/

Мы давно хотели запинать формат подкастов, в итоге собрались с Антоном из cvml.ru решили сделать пока максимально просто - диалог, основные буллиты + транскрипция + видосик на канале Антона.

Содержание:

- Мини-конкурсы как способ найма людей в стартапы;
- Как искать молодых сотрудников в свою компанию;
- Как правильно искать партнеров в свою компанию;
- Какие качества людей важны на практике;
- Ключевые ценности и качества в ML;
- Горящие глаза, идеология пиратского корабля, неадекватность капитализма;
- Принципиальная важность ценностей, асинхронная коммуникация, индивидуализм;
- Поддержка vs. рисерч;
- Double speak, двойные стандарты, gatekeeping и их последствия, можно ли вылечить корпорации, отличие американской модели от нашей;
- Может ли формат собеседований в FAANG стать адекватным?;
- Как научиться DL, курсы обещающие 300к в секунду;

Чуть ниже полное аудио и транскрипт (естественно полученный нашим ASR silero.ai 💎 без редактирования).
Чуть ниже ссылка на YouTube.

Содержание скорее содержит вопросы, а не ответы, чтобы забайтить вас открыть транскрипт или послушать выборочно.

Видео:

- https://youtu.be/sVUJF50Jdqk

Тут картину визуально портят две вещи

- Пока в проде нет расстановки знаков препинания (даже банальной), потому что для работы это мало нужно, а для красоты все переносится приоритет
- Обилие жаргонизмов, английских слов и заимствований, что иногда делает текст непонятным

PyTorch 1.9 Released

https://pytorch.org/blog/pytorch-1.9-released/
https://github.com/pytorch/audio/releases/tag/v0.9.0

Major improvements to support scientific computing, including torch.linalg, torch.special, and Complex Autograd

Major improvements in on-device binary size with Mobile Interpreter (!)

Native support for elastic-fault tolerance training through the upstreaming of TorchElastic into PyTorch Core

Major updates to the PyTorch RPC framework to support large scale distributed training with GPU support

New APIs to optimize performance and packaging for model inference deployment (!)

Support for Distributed training, GPU utilization and SM efficiency in the PyTorch Profiler

#deep_learning

Most interesting parts

- https://pytorch.org/tutorials/recipes/zero_redundancy_optimizer.html
- https://pytorch.org/docs/1.9.0/generated/torch.inference_mode.html?highlight=inference%20mode#torch.inference_mode
- https://pytorch.org/tutorials/recipes/mobile_interpreter.html
- https://pytorch.org/docs/1.9.0/notes/autograd.html#inference_mode
- https://pytorch.org/docs/1.9.0/generated/torch.jit.freeze.html
- https://pytorch.org/tutorials/intermediate/parametrizations.html
- https://pytorch.org/docs/1.9.0/package.html
- https://pytorch.org/tutorials/recipes/recipes/profiler_recipe.html

Inference Mode

If it works out of the box for your use case it’s a free performance win.

Has anyone tried inference mode? How much does it boost the performance?

Freezing currently only accepts ScriptModules that are in eval mode.

Freezing applies generic optimization that will speed up your model regardless of machine.

Same here, anyone tried this?

PyTorch Model Freeze + Inference Mode

I did some tests, looks like that on my particular use case:

- Inference mode does not really change anything
- Freeze model provide a 14% speed boost

It is a bit difficult to make tests really stable, but I have turned off all other CPU load and made them x10 longer to allow CPUs to throttle (if they do).

Silero TTS V2 Release

- V2 TTS models with x4 faster vocoder;
- Russian models now feature automatic stress and ё, homonyms are not handled yet;
- A multi-language multi-speaker model;
- Lower requirements for new voices;
- Better packaging;
- A call to collect the voices of the CIS ethnicities;

In-depth article

- https://habr.com/ru/post/563484/

Transformer Module Optimization

Article on how to apply different methods to make your transformer network up to 10x smaller and faster:

- Plain model optimization and PyTorch tricks;
- How and why to use FFT instead of self-attention;
- Model Factorization and quantization;

https://habr.com/ru/post/563778/

#deep_learning

#опрос
текущий статус по опросу DS-работников - 650 ответов
https://clck.ru/VDSh7

#блог
Результаты опроса...
https://dyakonov.org/2021/06/21/ds/

In the end, SVD models were much better than FFT ones in terms of quality

Sad but true

2021 DS / ML Digest 06

🔗 https://spark-in.me/post/2021_ds_ml_digest_06

📌 Highlights

Scaling Vision Transformers

GigaSpeech dataset with 10k hours of speech

Python string parser and requests alternative

Extending Contrastive Learning to the Supervised Setting

CoAtNet Marrying Convolution and Attention for All Data Sizes

💎 Spotlight

📌 ... goes to this video:

30 minute presentation from Tesla’s Andrej Karpathy on its counter-consensus approach to building autonomous driving -

https://www.youtube.com/watch?v=NSDTZQdo6H8&ab_channel=YarrowB.

Some cool ideas about pre-training and active learning ... but I cannot help myself pointing out that he lies by omission too much. I wonder if lying to customers is a job requirement at Tesla? 😱

The video of their tech team driving he shows went viral before ... and in like 15 minutes their autopilot produces like 5 near crashes, which "unreliable" humans nearly escape ... yet he speaks about millions of miles without accidents. Lying by omission is lying.

Please like / share / repost!

#digest

Distill Hiatus
https://distill.pub/2021/distill-hiatus