Исследование и оптимизации RNN

В этой статье я буду анализировать и улучшать ATR, LRN, LSTM, GRU в задаче генерации текста. Обучать их я буду на классике Достоевского. Он первый под руку попался.

Читать далее

#rnn #lstm #gru #atr #lrn #оптимизация #улучшения #исследование #python #машинное_обучение | @habr_ai

Рекурретные нейронные сети наносят ответный удар

Рекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need), которые стали доминировать в областях от обработки естественного языка до компьютерного зрения. В статье "Were RNNs All We Needed?" авторы пересматривают потенциал RNN, адаптируя её под параллельные вычисления. Рассмотрим детальнее, в чем же они добились успеха.

Читать далее

#рекуррентные_нейронные_сети #lstm #gru #трансформеры | @habr_ai

Продолжение исследования RNN

С прошлой статьи я внёс несколько изменений:

1. Планировщик был сломан и не изменял скорость. Починил.

2. Остаточное соединение через умножение.

3. WindowedDense для выходной проекции.

4. Добавил clipnorm 1, cutoff_rate 0.4

Как обычно это всё добавляет стабильности и 1% точности.

WindowedDense по неизвестной мне причине добавляет SMR стабильность.

Читать далее

#rnn #lstm #gru #slr #smr #msmr #tensorflow #python #transformer #исследование | @habr_ai

Сердце насоса склонно к износу: предиктивная аналитика как гарант надёжности оборудования

Износ, старение и простои насосного оборудования создают серьёзные проблемы для многих предприятий, влияя на производительность и увеличивая затраты.

В этой статье мы расскажем о нашем опыте использования предиктивного анализа на основе нейросетей LSTM для прогнозирования состояния насосов. Узнать об опыте

#прогнозирование_временных_рядов #анализ_данных #машинное_обучение #автоматизация_производства #lstm #техническое_обслуживание #насосное_оборудование #предсказательная_аналитика #цифровизация_тоир #safe_plant | @habr_ai

Первая ИИ-модель для обучения на тексте

Привет, будущие разработчики! Сегодня я расскажу вам, как создать свою первую модель искусственного интеллекта. Это материал совсем для начинающих, так что не переживайте — никаких сложных терминов и запутанных выражений. Всё, что понадобится, — ваши идеи и немного кода.

Будем писать на Python и использовать TensorFlow — мощную библиотеку от Google для машинного обучения.

Читать далее

#python #ии #tensorflow #машинное_обучение #ии_модель #lstm | @habr_ai

UEBA в кибербезе: как профилирование поведения пользователей на основе Autoencoder помогает выявлять угрозы и аномалии

В современном мире количество атак растёт пропорционально количеству внедрений новых технологий, особенно когда технологии ещё недостаточно изучены. В последнее время атаки становятся всё более разнообразными, а методы их реализации — всё более изощрёнными. Дополнительные проблемы несут и методы искусственного интеллекта, которыми вооружаются специалисты RedTeam. В руках опытного специалиста эти инструменты становятся реальной угрозой безопасности потенциальных целей. Большинство средств информационной безопасности основаны на корреляционных или статистических методах, которые в современных реалиях часто оказываются неэффективными. Что же тогда остаётся специалистам BlueTeam? Читать далее

#газинформсервис #информационная_безопасность #ueba #поведенческая_аналитика #lstm #autoencoder #falco | @habr_ai

Основы глубокого обучения. Часть 4: Рекуррентный слой. Теория и реализация на torch

Очередной туториал по рекуррентному слою. Эта статья для новичков. Изначально хотел сделать на собственной реализации autograd, но в этом нужно дополнительно разбираться, там много нюансов. Да и не думаю, что это кому-то нужно, поэтому сделал всё-таки на torch. Читать далее

#рекуррентная_нейронная_сеть #рекуррентный_слой #rnn #lstm #основы_глубокого_обучения | @habr_ai

Continuous Thought Machine: как Sakana AI научила модель думать тиками

Аналитический центр red_mad_robot продолжает следить за архитектурными прорывами в мире AI. В этот раз — экспериментальная модель от команды Sakana AI, которая предлагает мыслить не в терминах слоёв, а в терминах времени. Их Continuous Thought Machine (CTM) — попытка встроить в нейросеть внутреннюю динамику, вдохновлённую человеческим мозгом.

Разбираем, как устроена архитектура, что такое «внутренние тики» и зачем нейросети синхронизировать собственные мысли — на примерах из CV, сортировки, Q&A и RL. Читать далее

#ai #sakana #ctm #ml #lstm #sakanaai #architecture #cifar_10 #nlm | @habr_ai