Neural Networks | Нейронные сети
11.8K subscribers
760 photos
165 videos
170 files
9.41K links
Все о машинном обучении

По всем вопросам - @notxxx1

№ 4959169263
Download Telegram
​​​Generalization in Deep Networks: The Role of Distance from Initialization

Why it's important to take into account the initialization to explain generalization.

ArXiV: https://arxiv.org/abs/1901.01672

#DL #NN

🔗 Generalization in Deep Networks: The Role of Distance from Initialization
Why does training deep neural networks using stochastic gradient descent (SGD) result in a generalization error that does not worsen with the number of parameters in the network? To answer this question, we advocate a notion of effective model capacity that is dependent on {\em a given random initialization of the network} and not just the training algorithm and the data distribution. We provide empirical evidences that demonstrate that the model capacity of SGD-trained deep networks is in fact restricted through implicit regularization of {\em the $\ell_2$ distance from the initialization}. We also provide theoretical arguments that further highlight the need for initialization-dependent notions of model capacity. We leave as open questions how and why distance from initialization is regularized, and whether it is sufficient to explain generalization.
🎥 Лекция 14 | Основы математической статистики | Михаил Лифшиц | Лекториум
👁 1 раз 4967 сек.
Лекция 14 | Курс: Основы математической статистики | Лектор: Михаил Лифшиц | Организатор: Математическая лаборатория имени П.Л.Чебышева СПбГУ

Смотрите это видео на Лекториуме: https://www.lektorium.tv/node/33800

Другие лекции по курсу «Основы математической статистики» доступны для просмотра по ссылке: https://www.lektorium.tv/node/33005

Подписывайтесь на канал: https://www.lektorium.tv/ZJA
Следите за новостями:
https://vk.com/openlektorium
https://www.facebook.com/openlektorium
​POET: Endlessly Generating Increasingly Complex and Diverse Learning Environments and their Solutions through the Paired Open-Ended Trailblazer

POET: it generates its own increasingly complex, diverse training environments & solves them. It automatically creates a learning curricula & training data, & potentially innovates endlessly.

Link: https://eng.uber.com/poet-open-ended-deep-learning/

#RL #Uber

🔗 POET: Endlessly Generating Increasingly Complex and Diverse Learning Environments and their Solutions through the Paired Open-Ended Trailblazer
Uber AI Labs introduces the Paired Open-Ended Trailblazer (POET), an algorithm that leverages open-endedness to push the bounds of ML.
​​​Super-resolution GANs for improving the texture resolution of old games.

It is what it is. #GAN to enhance textures in old games making them look better.

ArXiV: https://arxiv.org/abs/1809.00219
Link: https://www.gamespot.com/forums/pc-mac-linux-society-1000004/esrgan-is-pretty-damn-amazing-trying-max-payne-wit-33449670/

#gaming #superresolution

🔗 ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
The Super-Resolution Generative Adversarial Network (SRGAN) is a seminal work that is capable of generating realistic textures during single image super-resolution. However, the hallucinated details are often accompanied with unpleasant artifacts. To further enhance the visual quality, we thoroughly study three key components of SRGAN - network architecture, adversarial loss and perceptual loss, and improve each of them to derive an Enhanced SRGAN (ESRGAN). In particular, we introduce the Residual-in-Residual Dense Block (RRDB) without batch normalization as the basic network building unit. Moreover, we borrow the idea from relativistic GAN to let the discriminator predict relative realness instead of the absolute value. Finally, we improve the perceptual loss by using the features before activation, which could provide stronger supervision for brightness consistency and texture recovery. Benefiting from these improvements, the proposed ESRGAN achieves consistently better visual quality with more realistic an
🎥 TMPA School 2018 Saratov: Компьютерная обработка текстов (часть 3, практика)
👁 1 раз 1485 сек.
Стажер-исследователь: Факультет компьютерных наук / Департамент больших данных и информационного поиска / Научно-учебная лаборатория моделирования и управления сложными системами, НИУ ВШЭ

Запись с экрана по ссылке: https://yadi.sk/i/_e7BThoZY20-zA

TMPA School 2018
Тестирование программного обеспечения, анализ данных и машинное обучение
https://school.tmpaconf.org/
🎥 TMPA School 2018 Saratov: Компьютерная обработка текстов (часть 2, практика)
👁 1 раз 2822 сек.
Стажер-исследователь: Факультет компьютерных наук / Департамент больших данных и информационного поиска / Научно-учебная лаборатория моделирования и управления сложными системами, НИУ ВШЭ

Доп. материалы: https://yadi.sk/d/aqqA84nKI36X5w

TMPA School 2018
Тестирование программного обеспечения, анализ данных и машинное обучение
https://school.tmpaconf.org/
🎥 Amazon AI Conclave 2018 - The Alexa Fund - India outlook by Rodrigo Prudencio
👁 1 раз 667 сек.
Check out more details about Amazon AI Conclave at - https://amzn.to/2Qv2PaI.
The Alexa Fund - India outlook session by Rodrigo Prudencio, Amazon Corporate Development. Amazon AI Conclave is a free event for business leaders, data scientists, engineers and developers to learn about Amazon's machine learning services, and real-world use cases developed by our customers. This program helps you understand how to build smart, customer-centric, scalable solutions in the cloud and on the edge using Amazon AI, AWS
TMPA School 2018 Saratov: Компьютерная обработка текстов (часть 1)
https://www.youtube.com/watch?v=cFGebptla2g

🎥 TMPA School 2018 Saratov: Компьютерная обработка текстов (часть 1)
👁 1 раз 2516 сек.
Стажер-исследователь: Факультет компьютерных наук / Департамент больших данных и информационного поиска / Научно-учебная лаборатория моделирования и управления сложными системами, НИУ ВШЭ

Смотреть презентацию: https://speakerdeck.com/exactpro/komp-iutiernaia-obrabotka-tiekstov-5bc65162-5dfe-4765-b0a7-5ca03ca7b94b

Запись экрана: https://yadi.sk/i/7ZwPlhSUteHB8w

TMPA School 2018
Тестирование программного обеспечения, анализ данных и машинное обучение
https://school.tmpaconf.org/
Apache Ignite — распределенный Machine Learning с Java API

🎥 Apache Ignite — распределенный Machine Learning с Java API
👁 1 раз 2391 сек.
Юрий Бабак, Apache Ignite Committer на митапе в СПб 26.12.2018
https://www.meetup.com/ru-RU/St-Petersburg-Apache-Ignite-Meetup/events/257128451/
​«Этот анализ не покрывает все доступные данные, но показывает те из них, которые показались мне наиболее интересными. Желающие могут провести своё исследование на этих данных».

Анализируем результаты 2018 Kaggle ML & DS Survey: http://amp.gs/E6mf

🔗 Анализ результатов 2018 Kaggle ML & DS Survey
Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5...
​Как учиться с помощью машинного обучения у экспертов в Dota 2

В предыдущей статье от Питерской Вышки мы показывали, как при помощи машинного обучения можно искать баги в программном коде. В этом посте расскажем о том, как мы вместе с JetBrains Research пытаемся использовать один из самых интересных, современных и быстроразвивающихся разделов машинного обучения — обучение с подкреплением — как в реальных практических задачах, так и на модельных примерах.

https://habr.com/company/hsespb/blog/435636/

🔗 Как учиться с помощью машинного обучения у экспертов в Dota 2
В предыдущей статье от Питерской Вышки мы показывали, как при помощи машинного обучения можно искать баги в программном коде. В этом посте расскажем о том, как...