Приветствуем, Imaginaire! Новая библиотека на PyTorch для синтеза и “перевода” изображений и видео.
Imaginaire — ваш ami imaginaire (фр. воображаемый друг) с которым не хочется расставаться. Библиотека создана для синтеза фото и нейронного перевода изображений и видео.
Библиотека базируется на зоопарке современных моделей cycle consistency GAN’ов.
Технологии, которыми Imaginaire позволяет пользоваться из коробки:
🌆 Supervised Image-to-Image Translation: pix2pixHD, SPADE
🌃 Unsupervised Image-to-Image Translation: UNIT, MUNIT, FUNIT, COCO-FUNIT
🎬Video-to-video Translation: vid2vid, fs-vid2vid, wc-vid2vid
💻 link: https://github.com/NVlabs/imaginaire
📖 docs: http://imaginaire.cc/docs
Imaginaire — ваш ami imaginaire (фр. воображаемый друг) с которым не хочется расставаться. Библиотека создана для синтеза фото и нейронного перевода изображений и видео.
Библиотека базируется на зоопарке современных моделей cycle consistency GAN’ов.
Технологии, которыми Imaginaire позволяет пользоваться из коробки:
🌆 Supervised Image-to-Image Translation: pix2pixHD, SPADE
🌃 Unsupervised Image-to-Image Translation: UNIT, MUNIT, FUNIT, COCO-FUNIT
🎬Video-to-video Translation: vid2vid, fs-vid2vid, wc-vid2vid
💻 link: https://github.com/NVlabs/imaginaire
📖 docs: http://imaginaire.cc/docs
Компания NVIDIA представила графический процессор A100 80GB – самую мощную GPU для искусственного интеллекта.
Только вечера писали о NVIDIA. И вот ещё более масштабная новость! Настало время «жирнейших моделей» и недетских батч-сайзов.
NVIDIA A100 80GB обладает памятью, объём которой вдвое большей чем у ее предшественницы.
Характеристики NVIDIA A100 80GB:
• Тензорные ядра нового поколение: прирост до 20 раз в сравнении с поколением Volta. И не забываем, что это нативная работа тензор ядер с float32.
• NVLink и NVSwitch нового поколения: полоса пропускания между GPU до 600 ГБ/с.
Только вечера писали о NVIDIA. И вот ещё более масштабная новость! Настало время «жирнейших моделей» и недетских батч-сайзов.
NVIDIA A100 80GB обладает памятью, объём которой вдвое большей чем у ее предшественницы.
Характеристики NVIDIA A100 80GB:
• Тензорные ядра нового поколение: прирост до 20 раз в сравнении с поколением Volta. И не забываем, что это нативная работа тензор ядер с float32.
• NVLink и NVSwitch нового поколения: полоса пропускания между GPU до 600 ГБ/с.
This media is not supported in your browser
VIEW IN TELEGRAM
Castle in the Sky! Динамическая замена и “гармонизация” неба на видео.
Предложенный метод замены и гармонизации неба на видео, может автоматически создавать реалистичные фоны в видеороликах.
В отличие от предыдущих методов редактирования неба, которые либо работали только с фото либо требовали информации с гироскопа или акселерометра смартфона при съемке видео, новый метод основан исключительно на визуальном представлении и не требует ничего кроме исходного видео и “нового” неба.
💻 link 💽 git 📰 paper 🔮 colab 🎬 video
Предложенный метод замены и гармонизации неба на видео, может автоматически создавать реалистичные фоны в видеороликах.
В отличие от предыдущих методов редактирования неба, которые либо работали только с фото либо требовали информации с гироскопа или акселерометра смартфона при съемке видео, новый метод основан исключительно на визуальном представлении и не требует ничего кроме исходного видео и “нового” неба.
💻 link 💽 git 📰 paper 🔮 colab 🎬 video
Netron — нейроанатом, который позволит потрогать нейронку изнутри, да прямо с изнаночки.
Превосходный визуализатор вычислительных графов. Вот пример того, как визуализатор отображает архитектуру Inception v3. Удобно и наглядно. А еще круто то, что нейроанатом позволяет загрузить и отобразить вашу модель прямо в браузере.
Netron поддерживает модели ONNX , Keras, Core ML, Caffe, Caffe2, Darknet, MXNet , Barracuda, Tengine, TNN, UFF и TensorFlow Lite. В экспериментальном режиме работает с TorchScript, PyTorch, Torch, Arm NN, BigDL, Chainer, CNTK, Deeplearning4j, MediaPipe, MNN, PaddlePaddle, OpenVINO, scikit-learn, TensorFlow.js и обычным TF.
💻 link 💽 git
Превосходный визуализатор вычислительных графов. Вот пример того, как визуализатор отображает архитектуру Inception v3. Удобно и наглядно. А еще круто то, что нейроанатом позволяет загрузить и отобразить вашу модель прямо в браузере.
Netron поддерживает модели ONNX , Keras, Core ML, Caffe, Caffe2, Darknet, MXNet , Barracuda, Tengine, TNN, UFF и TensorFlow Lite. В экспериментальном режиме работает с TorchScript, PyTorch, Torch, Arm NN, BigDL, Chainer, CNTK, Deeplearning4j, MediaPipe, MNN, PaddlePaddle, OpenVINO, scikit-learn, TensorFlow.js и обычным TF.
💻 link 💽 git
Стартует новая специализация TensorFlow: Advanced Techniques от deeplearning ai, основанной Andrew Ng
Начнём день с отличных новостей! На платформе coursera стартует новая специализация по TensorFlow, состоящая из 4х курсов.
🤖🎓 Так что, если ты, читающий, планировал начать учить TF, то теперь самое время!
Уверен, что все знакомы с прекрасными курсами по deep learning от Andrew Ng. Возможно, слышали и про предыдущую специализацию по TensorFlow на coursera, которая была слишком уж базовой, да и куда честнее было бы назвать ее специализацией по Keras.
Новая же серия курсов рассчитана на более глубокое, если можно так выразиться про deep learning, погружение во фреймворк.
📚 Курсы, объявленные в рамках специализации:
• Custom Models, Layers, and Loss Functions
• Custom and Distributed Training
• Advanced Computer Vision
• Generative Deep Learning
📰 Нейроновости: https://t.me/mishin_learning
🎓 Ссылка на coursera специализацию: https://bit.ly/3oTIkqk
Начнём день с отличных новостей! На платформе coursera стартует новая специализация по TensorFlow, состоящая из 4х курсов.
🤖🎓 Так что, если ты, читающий, планировал начать учить TF, то теперь самое время!
Уверен, что все знакомы с прекрасными курсами по deep learning от Andrew Ng. Возможно, слышали и про предыдущую специализацию по TensorFlow на coursera, которая была слишком уж базовой, да и куда честнее было бы назвать ее специализацией по Keras.
Новая же серия курсов рассчитана на более глубокое, если можно так выразиться про deep learning, погружение во фреймворк.
📚 Курсы, объявленные в рамках специализации:
• Custom Models, Layers, and Loss Functions
• Custom and Distributed Training
• Advanced Computer Vision
• Generative Deep Learning
📰 Нейроновости: https://t.me/mishin_learning
🎓 Ссылка на coursera специализацию: https://bit.ly/3oTIkqk
Telegram
Мишин Лернинг 🇺🇦🇮🇱
Субъективный канал об искусстве машинного обучения, нейронных сетях и новостях из мира искусственного интеллекта.
Новый форк фреймворка TensorFlow оптимизирован для Mac на чипе Intel и Apple M1
Как показывают бенчмарки версия tf2.4 намного более оптимизирована для чипа Intel чем версия tf2.3. Но мы то прекрасно понимаем зачем все это было.. И да, на новом Macbook 13 pro чип M1 обеспечивает ускорение до 7х в сравнение с Intel на ResNet50V2, DenseNet121 или CycleGan.
Другой вопрос, кто будет запускать DenseNet121 на своём тринадцатидюймовом.. И все же это показывает нам M1 ещё с одного ракурса, в котором процесс вколачивания глубоких гвоздей в крышку процессора Intel становится все более очевиден.
Покупать новый макбук ради этого? Только если при отсутствии интернета в самолете резко захочется что-то потренить. Но так как летать нам пока особо не светит, да и с поставкой новых маков тоже не все так гладко, глядишь, к тому времени, как ими обзаведёмся и софт на них стабильный подвезут.
📰 подробнее на блоге TensorFlow
Как показывают бенчмарки версия tf2.4 намного более оптимизирована для чипа Intel чем версия tf2.3. Но мы то прекрасно понимаем зачем все это было.. И да, на новом Macbook 13 pro чип M1 обеспечивает ускорение до 7х в сравнение с Intel на ResNet50V2, DenseNet121 или CycleGan.
Другой вопрос, кто будет запускать DenseNet121 на своём тринадцатидюймовом.. И все же это показывает нам M1 ещё с одного ракурса, в котором процесс вколачивания глубоких гвоздей в крышку процессора Intel становится все более очевиден.
Покупать новый макбук ради этого? Только если при отсутствии интернета в самолете резко захочется что-то потренить. Но так как летать нам пока особо не светит, да и с поставкой новых маков тоже не все так гладко, глядишь, к тому времени, как ими обзаведёмся и софт на них стабильный подвезут.
📰 подробнее на блоге TensorFlow
Вышла Scaled YOLO v4 — самая точная нейронная сеть (55.8% AP) на датасете Microsoft COCO на сегодня
На сегодня это топ 1 сеть для детекции объектов. Как видно из кривой оптимальности по Парето, сеть обгоняет по точности и скорости следующие сети:
• Google EfficientDet D0-D7x
• Google SpineNet S49s – S143
• Baidu Paddle-Paddle PP YOLO
Архитектуру нейронной сети можно посмотреть в нейроанатоме Netron, о котором я писал раньше.
Нейронная сеть для обнаружения объектов YOLOv4, основанная на подходе CSP, масштабируется. Таким образом, достигается наивысшая точность 55,8% AP на датасете COCO для модели YOLOv4-large, или чрезвычайно высокая скорость 1774 FPS для маленькой модели YOLOv4-tiny на RTX 2080Ti с помощью TensorRT-FP16.
💽 git 📰 paper 🔬netron
На сегодня это топ 1 сеть для детекции объектов. Как видно из кривой оптимальности по Парето, сеть обгоняет по точности и скорости следующие сети:
• Google EfficientDet D0-D7x
• Google SpineNet S49s – S143
• Baidu Paddle-Paddle PP YOLO
Архитектуру нейронной сети можно посмотреть в нейроанатоме Netron, о котором я писал раньше.
Нейронная сеть для обнаружения объектов YOLOv4, основанная на подходе CSP, масштабируется. Таким образом, достигается наивысшая точность 55,8% AP на датасете COCO для модели YOLOv4-large, или чрезвычайно высокая скорость 1774 FPS для маленькой модели YOLOv4-tiny на RTX 2080Ti с помощью TensorRT-FP16.
💽 git 📰 paper 🔬netron
Легли сервисы Google (14.12.2020)
Проблемы наблюдаются c Google Drive, Google Docs, YouTube и Gmail
Полезные ссылки:
⁉️ Google App Status
🗺 Google Outage Map
⚠️ DownDetector
14:30
Смог войти в gmail, drive и календарь. Youtube вроде тоже заработал (хоть и лагает местами).
14:31 Сообщение от Google
Для некоторых пользователей работа службы Gmail уже восстановлена. В ближайшее время проблема, вероятно, будет устранена для всех пользователей.
14:42
Некоторые пользователи написали, что им потребовалось перелогиниться в сервисы Google.
14:52 Сообщение от Google
Мы устранили проблему с сервисом "Gmail" для подавляющего большинства столкнувшихся с ней пользователей и продолжаем восстановительные работы.
Проблемы наблюдаются c Google Drive, Google Docs, YouTube и Gmail
Полезные ссылки:
⁉️ Google App Status
🗺 Google Outage Map
⚠️ DownDetector
14:30
Смог войти в gmail, drive и календарь. Youtube вроде тоже заработал (хоть и лагает местами).
14:31 Сообщение от Google
Для некоторых пользователей работа службы Gmail уже восстановлена. В ближайшее время проблема, вероятно, будет устранена для всех пользователей.
14:42
Некоторые пользователи написали, что им потребовалось перелогиниться в сервисы Google.
14:52 Сообщение от Google
Мы устранили проблему с сервисом "Gmail" для подавляющего большинства столкнувшихся с ней пользователей и продолжаем восстановительные работы.
Терминология и аббревиатуры в машинном обучении
В одном чате по Data Science столкнулся с вопросом “что такое CNN?” Конечно последовала шутка про расследование CNN и Bellingcat. Но это не отменяет того факта, что букв мало и, соответсвенно, будут двух-, трех-, четырехбуквенные коллизии аббревиатур. И нужно уметь их читать в контексте Machine Learning / Data Science. Например, CNN — Convolutional Neural Network, сверточная нейронная сеть, также обозначаемая как ConvNet.
📌Поэтому я решил подготовить список самых важных аббревиатур в машинном обучении.
В одном чате по Data Science столкнулся с вопросом “что такое CNN?” Конечно последовала шутка про расследование CNN и Bellingcat. Но это не отменяет того факта, что букв мало и, соответсвенно, будут двух-, трех-, четырехбуквенные коллизии аббревиатур. И нужно уметь их читать в контексте Machine Learning / Data Science. Например, CNN — Convolutional Neural Network, сверточная нейронная сеть, также обозначаемая как ConvNet.
📌Поэтому я решил подготовить список самых важных аббревиатур в машинном обучении.
Список важных аббревиатур в машинном обучении
AE — AutoEncoder
AI — Artificial Intelligence
ASR — Automatic Speech Recognition
BCE — Binary Cross Entropy
BERT — Bidirectional Encoder Representations from Transformers
BiLSTM — Bidirectional Long Short-Term Memory
BRNN — Bidirectional Recurrent Neural Network
CCE — Categorical Cross Entropy
CIFAR — Canadian Institute For Advanced Research (dataset consists of 60K 32x32x3 colour images in 10 or 100 classes)
CNN — Convolutional Neural Network (or ConvNet)
CV — Computer Vision
DL — Deep Learning
FC — Fully Connected
FC-CNN — Fully Convolutional Neural Network
FCN — Fully Convolutional Network
FKP — Facial KeyPoints
GAN — Generative Adversarial Networks
GD — Gradient Descent
GRU — Gated Recurrent Units
kNN — k-Nearest Neighbors
LeNET — First CNN structure by Yann LeCun
LSTM — Long Short-Term Memory
ML — Machine Learning
MLP — MultiLayer Perceptron
MNIST — Modified National Institute of Standards and Technology (handwritten digits dataset consists of 70K 28x28 images in 10 classes)
MSE — Mean Squared Error
NER — Named Entity Recognition
NLP — Natural Language Processing
NN — Neural Network
OCR — Optical Character Recognition
PCA — Principal Component Analysis
PReLU — Parametric Rectified Linear Unit
ReLU — Rectified Linear Unit
RL — Reinforcement Learning
RNN — Recurrent Neural Network
SGD — Stochastic Gradient Descent
SVM — Support Vector Machine
t-SNE — t-distributed Stochastic Neighbor Embedding
VAE — Variational AutoEncoder
⏳Список будет пополняться..
AE — AutoEncoder
AI — Artificial Intelligence
ASR — Automatic Speech Recognition
BCE — Binary Cross Entropy
BERT — Bidirectional Encoder Representations from Transformers
BiLSTM — Bidirectional Long Short-Term Memory
BRNN — Bidirectional Recurrent Neural Network
CCE — Categorical Cross Entropy
CIFAR — Canadian Institute For Advanced Research (dataset consists of 60K 32x32x3 colour images in 10 or 100 classes)
CNN — Convolutional Neural Network (or ConvNet)
CV — Computer Vision
DL — Deep Learning
FC — Fully Connected
FC-CNN — Fully Convolutional Neural Network
FCN — Fully Convolutional Network
FKP — Facial KeyPoints
GAN — Generative Adversarial Networks
GD — Gradient Descent
GRU — Gated Recurrent Units
kNN — k-Nearest Neighbors
LeNET — First CNN structure by Yann LeCun
LSTM — Long Short-Term Memory
ML — Machine Learning
MLP — MultiLayer Perceptron
MNIST — Modified National Institute of Standards and Technology (handwritten digits dataset consists of 70K 28x28 images in 10 classes)
MSE — Mean Squared Error
NER — Named Entity Recognition
NLP — Natural Language Processing
NN — Neural Network
OCR — Optical Character Recognition
PCA — Principal Component Analysis
PReLU — Parametric Rectified Linear Unit
ReLU — Rectified Linear Unit
RL — Reinforcement Learning
RNN — Recurrent Neural Network
SGD — Stochastic Gradient Descent
SVM — Support Vector Machine
t-SNE — t-distributed Stochastic Neighbor Embedding
VAE — Variational AutoEncoder
⏳Список будет пополняться..
Итоги уходящего 2020-го года в мире машинного обучения (плюс полезные ссылки)
Подведем основные итоги уходящего года. Рассмотрим самые громкие открытия в мире компьютерного зрения, обработки естественного языка, генерации изображений и видео, а также крупный прорыв в области биологии!
📚 GPT-3
Ресерчеры из OpenAI представили GPT-3 — сеть Generative Pre-trained Transformer 3, одну из лучших языковых моделей на сегодняшний день. Архитектура GPT-3 подобна GPT-2, параметров стало 175 миллиардов, и модель учили на 570 гигабайтах текста. GPT-3 может генерировать статьи, отвечать на вопросы по прочитанному тексту, писать прозу, стихи, поддерживать тематический диалог и многое другое, при этом алгоритму требуется лишь небольшое кол-во примеров для адаптации под конкретную задачу.
💻 NVIDIA MAXINE
Компания NVIDIA представила нейросетевые алгоритмы под общим названием Maxine, целями которых являются: улучшение качества видеосвязи, многократное снижение нагрузки на сеть при видеозвонках (нейросетевое сжатие видео), возможность реалистичной коррекции взгляда для создания ощущения, что собеседник смотрит вам в глаза, а не в свой монитор.
🤖 MuZero
Еще один зверь из мира RL от ресерчеров из DeepMind. MuZero — подход, в котором при обучении на начальном этапе не требуется знаний правил игры.
MuZero на каждом шаге проводит поиск по дереву (Монте-Карло), собирая информацию о текущем и предыдущем состоянии игры. Далее глубокая нейронная сеть учится оценивать результаты различных действий, предпринятых на каждом этапе игры.
Алгоритм уже умеет играть в привычные нам для этой сферы игры: го, шахматы и кучу игр для приставки Atari.
🧬AlphaFold
И опять DeepMind с их нейросетевым алгоритмом впредсказания трехмерной структуры белка по последовательности аминокислот — AlphaFold 2. Точность такого алгоритма составляет 92,4 балла из 100, что является рекордом на сегодняшний день!
При считывании информации с матричной РНК (трансляция) молекула белка формируется как цепочка аминокислот. Потом, в зависимости от физических и химических свойств, цепочка начинает сворачиваться. Таким образом формируется третичная структура белка. Именно от этой структуры и зависят свойства конкретного белка.
Задача определения первичной аминокислотной структуры белка (самой последовательности) является элементарной. Это легко читается напрямую из ДНК. Кодон — тройка нуклеотидных остатков (триплет) образуют 64 варианта, а именно 4 в третей степени. Из них 61 комбинация кодирует определённые аминокислоты в будущем белке, а 3 оставшихся кодона сигнализируют об остановке трансляции и называются стоп-кодонами. При этом 61 комбинация кодирует всего 20 различный аминокислот белка. Знакомые с теорий информации и избыточностью уже улыбаются, ну, а биологи называют кодоны, кодирующие одинаковые аминокислоты, изоакцепторными кодонами.
Предсказать же третичную структуру белка практически нереально. Так как для полной точности придется моделировать всю нетривиальную динамику процесса сворачивания белка, учитывая сложнейшие для такого мира законы физики и колоссальную по размерам систему.
Поэтому в последнии десятилетия ученые заняты поиском способа, при помощи которого можно было бы предсказать третичную структуру белка, определить свойства того или иного белка, понять как скажется та или иная аминокислотная замена на его конечной структуре. Это открывает невиданные доселе горизонты генной инженерии.
🎁 Чтобы сделать публикацию еще более полезной, я добавил образовательные материалы вышедшие в 2020м году.
📰 Нейроновостной Telegram-канал: https://t.me/mishin_learning
🎓 Новая специализация TensorFlow: Advanced Techniques от deeplearning ai, основанной самим Andrew Ng: https://bit.ly/3oTIkqk
📺 YouTube-Лекция: Нейронные сети: как их создают и где применяют? Два часа о “самом главном”: https://youtu.be/fNccsaNWp2k
🧾Статья: “С чего начать свой путь в нейронные сети, или Ответы будущему AI-специалисту” Восемь с половиной вопросов и ответов (книги, курсы, рекомендации и многое другое): https://dou.ua/lenta/columns/how-to-learn-neural-networks-ai/
Подведем основные итоги уходящего года. Рассмотрим самые громкие открытия в мире компьютерного зрения, обработки естественного языка, генерации изображений и видео, а также крупный прорыв в области биологии!
📚 GPT-3
Ресерчеры из OpenAI представили GPT-3 — сеть Generative Pre-trained Transformer 3, одну из лучших языковых моделей на сегодняшний день. Архитектура GPT-3 подобна GPT-2, параметров стало 175 миллиардов, и модель учили на 570 гигабайтах текста. GPT-3 может генерировать статьи, отвечать на вопросы по прочитанному тексту, писать прозу, стихи, поддерживать тематический диалог и многое другое, при этом алгоритму требуется лишь небольшое кол-во примеров для адаптации под конкретную задачу.
💻 NVIDIA MAXINE
Компания NVIDIA представила нейросетевые алгоритмы под общим названием Maxine, целями которых являются: улучшение качества видеосвязи, многократное снижение нагрузки на сеть при видеозвонках (нейросетевое сжатие видео), возможность реалистичной коррекции взгляда для создания ощущения, что собеседник смотрит вам в глаза, а не в свой монитор.
🤖 MuZero
Еще один зверь из мира RL от ресерчеров из DeepMind. MuZero — подход, в котором при обучении на начальном этапе не требуется знаний правил игры.
MuZero на каждом шаге проводит поиск по дереву (Монте-Карло), собирая информацию о текущем и предыдущем состоянии игры. Далее глубокая нейронная сеть учится оценивать результаты различных действий, предпринятых на каждом этапе игры.
Алгоритм уже умеет играть в привычные нам для этой сферы игры: го, шахматы и кучу игр для приставки Atari.
🧬AlphaFold
И опять DeepMind с их нейросетевым алгоритмом впредсказания трехмерной структуры белка по последовательности аминокислот — AlphaFold 2. Точность такого алгоритма составляет 92,4 балла из 100, что является рекордом на сегодняшний день!
При считывании информации с матричной РНК (трансляция) молекула белка формируется как цепочка аминокислот. Потом, в зависимости от физических и химических свойств, цепочка начинает сворачиваться. Таким образом формируется третичная структура белка. Именно от этой структуры и зависят свойства конкретного белка.
Задача определения первичной аминокислотной структуры белка (самой последовательности) является элементарной. Это легко читается напрямую из ДНК. Кодон — тройка нуклеотидных остатков (триплет) образуют 64 варианта, а именно 4 в третей степени. Из них 61 комбинация кодирует определённые аминокислоты в будущем белке, а 3 оставшихся кодона сигнализируют об остановке трансляции и называются стоп-кодонами. При этом 61 комбинация кодирует всего 20 различный аминокислот белка. Знакомые с теорий информации и избыточностью уже улыбаются, ну, а биологи называют кодоны, кодирующие одинаковые аминокислоты, изоакцепторными кодонами.
Предсказать же третичную структуру белка практически нереально. Так как для полной точности придется моделировать всю нетривиальную динамику процесса сворачивания белка, учитывая сложнейшие для такого мира законы физики и колоссальную по размерам систему.
Поэтому в последнии десятилетия ученые заняты поиском способа, при помощи которого можно было бы предсказать третичную структуру белка, определить свойства того или иного белка, понять как скажется та или иная аминокислотная замена на его конечной структуре. Это открывает невиданные доселе горизонты генной инженерии.
🎁 Чтобы сделать публикацию еще более полезной, я добавил образовательные материалы вышедшие в 2020м году.
📰 Нейроновостной Telegram-канал: https://t.me/mishin_learning
🎓 Новая специализация TensorFlow: Advanced Techniques от deeplearning ai, основанной самим Andrew Ng: https://bit.ly/3oTIkqk
📺 YouTube-Лекция: Нейронные сети: как их создают и где применяют? Два часа о “самом главном”: https://youtu.be/fNccsaNWp2k
🧾Статья: “С чего начать свой путь в нейронные сети, или Ответы будущему AI-специалисту” Восемь с половиной вопросов и ответов (книги, курсы, рекомендации и многое другое): https://dou.ua/lenta/columns/how-to-learn-neural-networks-ai/
Telegram
Мишин Лернинг 🇺🇦🇮🇱
Субъективный канал об искусстве машинного обучения, нейронных сетях и новостях из мира искусственного интеллекта.
Сбой в Telegram (04.01.2020)
Сбой в работе наблюдается в Украине, России и Беларуси
⚠️ DownDetector
🗺 Map
14:40
Работа Telegram в была полностью возобновлена.
Сбой в работе наблюдается в Украине, России и Беларуси
⚠️ DownDetector
🗺 Map
14:40
Работа Telegram в была полностью возобновлена.
downdetector.com
Telegram down or not working? Live status, problems and outages. |
Real-time status and problems for Telegram. Is the app not working? Can't send or read messages? Here you see what is going on.
Darth Vader в интерпретации DALL·E
Мой вчерашний пост на Хабре породил дискуссию (я выразился максимально сдержано) колоссального масштаба. Ветка комментариев уже во много раз превосходит по размерам саму статью.
Пока идет активное обсуждение (я выразился максимально сдержано), я решил запостить сгенерированные нейросетью изображения по следующему текстовому описанию: a living room with two white armchairs and painting of dart vader. the painting is mounted behind a ceiling fan.
По-моему мы живем в удивительное время. Каждый пиксель этого Дарта Вейдера, кресел и прочих объектов сгенерирован сетью только по текстовому описанию.
Мой вчерашний пост на Хабре породил дискуссию (я выразился максимально сдержано) колоссального масштаба. Ветка комментариев уже во много раз превосходит по размерам саму статью.
Пока идет активное обсуждение (я выразился максимально сдержано), я решил запостить сгенерированные нейросетью изображения по следующему текстовому описанию: a living room with two white armchairs and painting of dart vader. the painting is mounted behind a ceiling fan.
По-моему мы живем в удивительное время. Каждый пиксель этого Дарта Вейдера, кресел и прочих объектов сгенерирован сетью только по текстовому описанию.
Deep Learning CyberDad
На моей фотожабе вместо хакермана — Yann LeCun. Отец современных сверточных сетей. Именно он в 1989 году создал LeNet — первую сеть подобного рода.
На моей фотожабе вместо хакермана — Yann LeCun. Отец современных сверточных сетей. Именно он в 1989 году создал LeNet — первую сеть подобного рода.
Deep Learning CyberDad
Всем хорошей субботы! Предлагаю посмотреть интервью c Яном Лекуном, взятое Эндрю Ын: https://youtu.be/JS12eb1cTLE
Принято считать, что эпоха Deep Learning’а началась в 2012 году (30 сентября), когда сверточная сеть AlexNet, созданная Алексом Крижевским, Ильей Суцкевером и Джеффри Хинтоном оказалась победительницей соревнования ImageNet Large Scale Visual Recognition Challenge. Так что скоро будем отмечать феллинивский юбилей — восемь с половиной лет с начала новой современной ИИ эры.
AlexNet, как и доминирующее большинство современных нейронных сетей, применяемых для обработки и генерации изображений, являются сверточными нейронными сетями. Другими словами основная операция в таких сетях — операция свертки. Если совсем честно, то не свертка, а cross-correlation (та же сверка, только в профиль). Но название “свертка” закрепилось в сообществе.
Yann LeCun — отец современных сверточных сетей. Именно он в 1989 году создал первую сеть подобного рода — LeNet. Имя эта сеть получила благодаря словослиянию LeCun и Net. Основными преимуществами сверточных сетей перед классическими (полносвязными) нейронными сетями являются: точность, экономия параметров и способность решения задачи трансляционной инвариантности — нахождение паттернов, независимо от их расположения (если проще, то котик может быть как в правом верхнем углу, так и в центре, так и вообще, где угодно на картинке).
Стоит заметить, что это не первая работа, решающая задачу трансляционной инвариантности в подобной манере. В 1980 Кунихикой Фукусимой была предложена архитектура неокогнитрон. Но LeNet являлась первой, именно современной сверточной нейронной сетью, использующей операцию cross-correlation, и обучаемой методом обратного распространения ошибки, являющимся, на сегодняшний день, основным методом для обучения (распространения градиентов для обновления весов) глубоких сетей.
Всем хорошей субботы! Предлагаю посмотреть интервью c Яном Лекуном, взятое Эндрю Ын: https://youtu.be/JS12eb1cTLE
Принято считать, что эпоха Deep Learning’а началась в 2012 году (30 сентября), когда сверточная сеть AlexNet, созданная Алексом Крижевским, Ильей Суцкевером и Джеффри Хинтоном оказалась победительницей соревнования ImageNet Large Scale Visual Recognition Challenge. Так что скоро будем отмечать феллинивский юбилей — восемь с половиной лет с начала новой современной ИИ эры.
AlexNet, как и доминирующее большинство современных нейронных сетей, применяемых для обработки и генерации изображений, являются сверточными нейронными сетями. Другими словами основная операция в таких сетях — операция свертки. Если совсем честно, то не свертка, а cross-correlation (та же сверка, только в профиль). Но название “свертка” закрепилось в сообществе.
Yann LeCun — отец современных сверточных сетей. Именно он в 1989 году создал первую сеть подобного рода — LeNet. Имя эта сеть получила благодаря словослиянию LeCun и Net. Основными преимуществами сверточных сетей перед классическими (полносвязными) нейронными сетями являются: точность, экономия параметров и способность решения задачи трансляционной инвариантности — нахождение паттернов, независимо от их расположения (если проще, то котик может быть как в правом верхнем углу, так и в центре, так и вообще, где угодно на картинке).
Стоит заметить, что это не первая работа, решающая задачу трансляционной инвариантности в подобной манере. В 1980 Кунихикой Фукусимой была предложена архитектура неокогнитрон. Но LeNet являлась первой, именно современной сверточной нейронной сетью, использующей операцию cross-correlation, и обучаемой методом обратного распространения ошибки, являющимся, на сегодняшний день, основным методом для обучения (распространения градиентов для обновления весов) глубоких сетей.
YouTube
deeplearning.ai's Heroes of Deep Learning: Yann LeCun
This interview is published from deeplearning.ai’s Deep Learning Specialization (https://www.coursera.org/specializations/deep-learning) on Coursera.
It is part of the course on “Convolutional Neural Networks” (https://www.coursera.org/learn/convolutional…
It is part of the course on “Convolutional Neural Networks” (https://www.coursera.org/learn/convolutional…
Тем временем пингвиненок в кожаной куртке играет на гитаре
Всем, кто еще не пробовал: https://openai.com/blog/dall-e/
Жмем на приглянувшийся раздел, нажимаем на подчеркнутый текст, выбираем понравившиеся варианты и наслаждаемся творениями нейросети DALL·E от OpenAi
Всем, кто еще не пробовал: https://openai.com/blog/dall-e/
Жмем на приглянувшийся раздел, нажимаем на подчеркнутый текст, выбираем понравившиеся варианты и наслаждаемся творениями нейросети DALL·E от OpenAi
GANы ночами делают новых людей
Бесконечно можно смотреть на три вещи: на огонь, на собственный код месячной давности и на изображения, сгенерированные нейронными сетями.
Я думаю, что многие уже знакомы с проектом этого человека не существует. Нашел еще несколько похожих GAN-проектов с достаточно хорошим качеством генерируемых изображений.
👩💼 Новые Люди
🐈 Котики-наркотики
🚘 Берегись Автомобиля
🌙 Лунная призма, дай мне благ капитализма
Просто обновляем страницу, потом еще раз обновляем страницу, потом еще раз..
Бесконечно можно смотреть на три вещи: на огонь, на собственный код месячной давности и на изображения, сгенерированные нейронными сетями.
Я думаю, что многие уже знакомы с проектом этого человека не существует. Нашел еще несколько похожих GAN-проектов с достаточно хорошим качеством генерируемых изображений.
👩💼 Новые Люди
🐈 Котики-наркотики
🚘 Берегись Автомобиля
🌙 Лунная призма, дай мне благ капитализма
Просто обновляем страницу, потом еще раз обновляем страницу, потом еще раз..
Осторожно! Вышел VGG-56
Добрый воскресный вечер! Присказка. Сижу я на habr, не шалю, никого не трогаю, починяю примус.. Как вдруг мои глаза увидели надпись VGG-56, а мое сознание отказалось в это верить. Но этот день настал. Известная по своим рекламам на youtube, по своим нативным рекламам на youtube и не только на youtube рекламная школа рекламы skillfactory опубликовала рекламу VGG-56.
Многие уже смогли догадаться или по числу 56 или по рисунку рельефа из поста (картинка из известного пейпера по визуализации ландшафта функции ошибки), что новая сверточная нейронная сеть VGG-56 — тоже ошибка. У меня возникла идея написать следующий пост про ResNet-56, потому что никакой VGG-56 не просто не было и нет. А не может быть! Конечно, сделать 56-ти слойную VGG-56 (число обычно означает количество слоев в той или иной вариации сверточной нейронной сети) можно, но только работать она не будет! Почему? Об этом читай в следующем посте. А пока держи промокод ОН ВАМ НЕ RESNET на скидку в 56% на
все рекламные курсы.
Добрый воскресный вечер! Присказка. Сижу я на habr, не шалю, никого не трогаю, починяю примус.. Как вдруг мои глаза увидели надпись VGG-56, а мое сознание отказалось в это верить. Но этот день настал. Известная по своим рекламам на youtube, по своим нативным рекламам на youtube и не только на youtube рекламная школа рекламы skillfactory опубликовала рекламу VGG-56.
Многие уже смогли догадаться или по числу 56 или по рисунку рельефа из поста (картинка из известного пейпера по визуализации ландшафта функции ошибки), что новая сверточная нейронная сеть VGG-56 — тоже ошибка. У меня возникла идея написать следующий пост про ResNet-56, потому что никакой VGG-56 не просто не было и нет. А не может быть! Конечно, сделать 56-ти слойную VGG-56 (число обычно означает количество слоев в той или иной вариации сверточной нейронной сети) можно, но только работать она не будет! Почему? Об этом читай в следующем посте. А пока держи промокод ОН ВАМ НЕ RESNET на скидку в 56% на
все рекламные курсы.
Тем временем пингвин просит окунуть его в соевый соус
Мне кажется, что скоро у дизайна настанет новая эра. Вот он, расцвет нейрогенеративного дизайна. Ведь генеративные нейронные модели подобного уровня могут стать практически неисчерпаемым источником вдохновения. Посмотрите насколько богатый репертуар демонстрирует DALL·E при генерации суши в форме пингвина. Один красавец уже одел себя в васаби. И все это многообразие порождено лишь одним предложением.
Мне кажется, что скоро у дизайна настанет новая эра. Вот он, расцвет нейрогенеративного дизайна. Ведь генеративные нейронные модели подобного уровня могут стать практически неисчерпаемым источником вдохновения. Посмотрите насколько богатый репертуар демонстрирует DALL·E при генерации суши в форме пингвина. Один красавец уже одел себя в васаби. И все это многообразие порождено лишь одним предложением.
Устройство и работа мозга
🧠 Присказка: Отвлечемся ненадолго от успехов DALL•E от OpenAI. Несколько раз на этой неделе попросили скинуть ссылки на материалы по нейронаукам, поэтому и решил сделать небольшую серию постов с полезными материалами. Это мини-курс от чудесного Дубынина Вячеслава Альбертовича, который невероятно интересно и доступно рассказывает о мозге. Даже если Вы не новичок в этом деле, то эти лекции будут отличным примером того, как нужно рассказывать о том, что любишь.
🧾 Содержание курса:
- Спинной мозг
- Продолговатый мозг и мост
- Средний мозг
- Таламус и гипоталамус
- Мозжечок и базальные ганглии
- Кора больших полушарий
- Мозг и сенсорные системы
- Мозговые центры обучения и памяти
- Мозговые центры потребностей и эмоций
- Центры сна и бодрствования
- Центры мышления и принятия решений
- Двигательные центры мозга
💻 Ссылка на мини-курс Дубынина
⤵️ Можем снова возвращаться к успехам нейросети DALL•E:
🧠 Присказка: Отвлечемся ненадолго от успехов DALL•E от OpenAI. Несколько раз на этой неделе попросили скинуть ссылки на материалы по нейронаукам, поэтому и решил сделать небольшую серию постов с полезными материалами. Это мини-курс от чудесного Дубынина Вячеслава Альбертовича, который невероятно интересно и доступно рассказывает о мозге. Даже если Вы не новичок в этом деле, то эти лекции будут отличным примером того, как нужно рассказывать о том, что любишь.
🧾 Содержание курса:
- Спинной мозг
- Продолговатый мозг и мост
- Средний мозг
- Таламус и гипоталамус
- Мозжечок и базальные ганглии
- Кора больших полушарий
- Мозг и сенсорные системы
- Мозговые центры обучения и памяти
- Мозговые центры потребностей и эмоций
- Центры сна и бодрствования
- Центры мышления и принятия решений
- Двигательные центры мозга
💻 Ссылка на мини-курс Дубынина
⤵️ Можем снова возвращаться к успехам нейросети DALL•E:
Хабр
DALL·E от OpenAI: Генерация изображений из текста. Один из важнейших прорывов ИИ в начале 2021 года
Пару дней назад мы подводили ИИ итоги 2020-го года в мире машинного обучения. 2021-й год только начался, но мы определенно видим одну из важнейших работ в области ИИ текущего года.Итак, исследователи...