Попытка с помощью эволюционных методов найти оптимальную структуру конволюционной ИНС. Очередной шаг вперед (ну или как минимум в бок) в задаче Auto ML https://arxiv.org/abs/1711.00436

Применение генетических алгоритмов совместо с обучением с подкрепления для поиска оптимальных стратегий. Интересно, что статья анонимная и подвергающаяся двойной слепой рецензии. https://openreview.net/pdf?id=ByOnmlWC-

В медицинских экспериментах двойное слепое тестирование применяют, например, когда хотят испытать новое лекарство относительно плацебо. При таком тестировании испытуемые не знаю, что принимают, и испытатели тоже не знают, что они давали - лекарство или плацебо. Данный подход позволяет практически полностью убрать любую предвзятость. В технических статьях под двойной слепой рецензией подразумевается, что и имена авторов и имена рецензентов являются тайной.

Исследователи во главе с Питером Абелем покинули некоммерческий OpenAI ради своего коммерческого стартапа. Карпаты ранее ушел в Tesla. Надеюсь, капитализм не победит и Сутцкеверу не придется выключать свет в OpenAI.
https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html

Новый пост на distill.pub о визуализации и попытках понять, чему же все-таки научилась нейронная сеть https://distill.pub/2017/feature-visualization/

Автодифференцированием в современных фреймворках уже никого не удивишь. Но чтобы оно работало, надо пользоваться "родными" для фреймворка функциями, а иногда так хочется написать слой прямо на питоне или нампи...

Гугл в лице Alex Wiltschko выпустил библиотеку, которая поддерживает автодифференцирование питоновских и нампи операторов, причем генерирует читаемый код!

https://research.googleblog.com/2017/11/tangent-source-to-source-debuggable.html

Как сделать максимально хипстерский DL-фреймворк:
1) Написать на расте
2) Назвать героем из доты
3) Запустить в браузере

https://juggernaut.rs/demo/
http://blog.aylien.com/juggernaut-neural-networks-in-a-web-browser/

Погрузимся в грязный мир обучения с подкреплением. Статья из университета Макгила (McGill University). Ребята придумали OptionGAN - это помесь GAN и inverse RL. Идея вкратце такова: допустим есть state, action, reward от эксперта - так давайте же научим делать предсказания reward таким, чтобы дискриминатор не смог отличить от экспетного. https://arxiv.org/abs/1709.06683

просто ссылка о том, какие вакансии сейчас есть в ИИ, например. https://www.fhi.ox.ac.uk/vacancies/

кстати их директор является автором гипотезы симуляции, рекомендую. https://ru.wikipedia.org/wiki/Гипотеза_симуляции

Ииии очередная попытка поддерживать табличку со State of the art результатами по разным задачам
https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems

Интересный отчет об участии в соревновании NIPS 2017: Learning to Run (авторы заняли 22 место)
https://medium.com/mlreview/our-nips-2017-learning-to-run-approach-b80a295d3bb5

Шок! Сенсация! (на самом деле нет)
Многие опубликованные результаты по "улучшению" GAN-ов ненадежны.

Ребята из Google Brain протестировали 7 популярных вариантов GAN-ов и им не удалось найти алгоритм, который однозначно "лучше" остальных. Все они очень сильно зависят от выбора гиперпараметров. При достаточном вычислительном бюджете разницы между ними почти нет.

https://arxiv.org/pdf/1711.10337.pdf

В тф добавили мини-фреймворк для обучения ганов. Там и разные лоссы, и всякие фишечки, вроде Virtual Batch Normalization, и визуализации, и примеры. И его даже планируют развивать.
https://research.googleblog.com/2017/12/tfgan-lightweight-library-for.html

https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/gan
https://github.com/tensorflow/models/tree/master/research/gan

Доклад Ali Rahimi (Google) на NIPS (https://www.youtube.com/watch?v=ORHFOnaEzPc), в котором он сравнивает машинное обучение с алхимией (все что-то делают и даже получают какие-то результаты, но не всегда понимают, почему), вызвал бурную реакцию сообщества.

Первым ответил Лекун (https://www.facebook.com/yann.lecun/posts/10154938130592143 (1.9к лойсов, между прочим)). Он говорит, что из-за таких же настроений в 80-е сообщество игнорировало нейронные сети, несмотря на их эффективность, и вообще, использовать только полностью теоретически обоснованные методы непродуктивно.

Тут описание событий и точек зрения:
https://syncedreview.com/2017/12/12/lecun-vs-rahimi-has-machine-learning-become-alchemy/

А тут еще одно мнение о состоянии исследований в этом нашем диплернинге.
http://www.inference.vc/my-thoughts-on-alchemy/

И дополнения самого Али: http://www.argmin.net/2017/12/11/alchemy-addendum/

Очень интересное обсуждение состояния индустрии и исследований.

А это заметки участника NIPS о представленных докладах (43 страницы!)
https://cs.brown.edu/~dabel/blog/posts/misc/nips_2017.pdf

Рубрика #лайфхак

В статье про Cyclical Learning Rates (раздел 3.3) есть интересный метод выбора learning rate: надо запустить обучение с линейно увеличивающимся lr и построить график зависимости validation accuracy от lr. Момент, когда accuracy начинает расти - минимальный lr, когда accuracy начинает колбасить - максимальный.
https://arxiv.org/pdf/1506.01186.pdf

Также они ссылаются на старую статью Бенжио, в которой много советов, один из которых - если что-то из гиперпараметров и тюнить, то learning rate: Practical Recommendations for Gradient-Based Training of Deep Architectures https://arxiv.org/pdf/1206.5533.pdf

И второй #лайфхак
(когда сделал монструозную архитектуру, которая незначительно увеличила качество, но снизил производительность в 5 раз и надо что-то придумывать)

Можно, например, встроить batchnorm в веса конволюционного слоя.

https://arxiv.org/pdf/1701.06659.pdf (Раздел 4. Inference Time)

https://thecuriousaicompany.com/mean-teacher/

Semi-supervised image classification в картинках.