Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🥰3🔥1😁1
Функции активации 💥
Каждый слой нейросети, сколь бы огромной она ни была, по сути является линейной функцией:
y=wx+b
И если собрать хоть 1000 таких слоёв подряд - вся сеть всё равно сведётся к одной большой линейной формуле.
То есть модель будет уметь строить только:
прямые,
плоскости,
гиперплоскости.
Фактически разделяя пространство на две части:
«выше» разделяющей поверхности,
«ниже» неё.
Но мир - нелинейный.
Лица, речь, язык, сарказм, котики, болезни, погода - всё это сложные кривые зависимости.
И вот тут появляются функции активации.
Они добавляют в нейросеть нелинейность, позволяя строить гораздо более сложные разделяющие поверхности и учитывать хитрую геометрию пространства признаков.
Функции активации вставляются между линейными слоями и «ломают» линейность модели.
Именно это делает нейросеть "умной", а не просто огромным калькулятором линейных формул.
Без функций активации deep learning в современном виде просто не существовал бы.
Каждый слой нейросети, сколь бы огромной она ни была, по сути является линейной функцией:
y=wx+b
И если собрать хоть 1000 таких слоёв подряд - вся сеть всё равно сведётся к одной большой линейной формуле.
То есть модель будет уметь строить только:
прямые,
плоскости,
гиперплоскости.
Фактически разделяя пространство на две части:
«выше» разделяющей поверхности,
«ниже» неё.
Но мир - нелинейный.
Лица, речь, язык, сарказм, котики, болезни, погода - всё это сложные кривые зависимости.
И вот тут появляются функции активации.
Они добавляют в нейросеть нелинейность, позволяя строить гораздо более сложные разделяющие поверхности и учитывать хитрую геометрию пространства признаков.
Функции активации вставляются между линейными слоями и «ломают» линейность модели.
Именно это делает нейросеть "умной", а не просто огромным калькулятором линейных формул.
Без функций активации deep learning в современном виде просто не существовал бы.
❤6🔥4🥰1🗿1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁12❤6❤🔥5🤣3💘1