AI Для Всех
12.8K subscribers
1.17K photos
152 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
Нейроморфные чипы для нейросетей

Достижения в области машинного обучения напрямую связаны с увеличивающимеся (с годами) вычислительными ресурсами. Но есть нюанс - ML требует больше ресурсов быстрее, чем эти ресурсы становятся доступны (например OpenAI посчитали что ресурсы необходимые для достижениня SOTA удваиваются каждые 3.4 месяца).

В качестве решения предлагают использовать нйероморфные чипы - то есть чипы, которые тем или иным способом иммитируют природные мозги. Например, у человеческого мозга крайне низкие энергозатраты - всего 20 ватт. Для сравнения, для GPT-3 нужно 20 Мегаватт.

В статье рассказывается про современные подходы к реализации нейроморфных чипов:
1) Spiking Neural Networks
2) Highly Parallel Systems
3) Analogue Computing

И про лабы и стратапы, которые такие чипы уже делают.

#hardware
Deep physical neural networks trained with backpropagation.

Глубокое обучение уже повсюду. Однако, оно присутствует только в виде кода. Исследователи предложили делать бэкпроп сразу на физических приборах (обучение с учетом физики). Подобно тому, как глубокое обучение реализует вычисления с помощью глубоких нейронных сетей, состоящих из слоев математических функций, этот подход позволяет обучать глубокие физические нейронные сети, состоящие из слоев управляемых физических систем.

Коллектив авторов обучил различные физические нейронные сети, основанные на оптике, механике и электронике, для экспериментального выполнения задач классификации аудио и изображений. Физические нейронные сети способны выполнять машинное обучение быстрее и более энергоэффективно, чем обычные электронные процессоры, и, в более широком смысле, могут наделять физические системы автоматически создаваемыми физическими функциями, например, для робототехники, материалов и интеллектуальных датчиков.

📎 Статья

#physics #chip #hardware
Ускорители для AI (GPU, TPU, IPU)

В 📓серии из 5 постов Adi Fuchs рассказывает все, что только можно об ускорителях - как они работают, чем отличаются и зачем нужны.

А если читать вам нравится меньше, чем смотреть - то есть 🎥 видео версия/пересказ на канале у Яника.

#hardware #gpu #tpu #ipu