Решила поностальгировать над первым учебным пособием по нейросетям, которое я читала. Книжка вышла в 2007 году, а я ходила на спецкурс, который вели по ней то ли в 2014, то ли в 2015 году. В то время это был единственный курс по нейросетям на мехмате (to the best of my knowledge), и читал его сам автор книжки - пожилой уже профессор Голубев. К сожалению, я не нашла полной версии данного учебного материала в интернете, но вот сокращенная версия, которая дает почувствовать стиль изложения: https://www.mathnet.ru/links/0d06f1ed4abeaf72dccbe0fcd18cec74/fpm915.pdf .
Легко видеть, что такое изложение воспринимается намного труднее, чем современные учебные материалы по тем же темам. Также оно содержит много причудливых названий, которые не используются сейчас. И хотя сам профессор был доброжелательным, отвечал на все вопросы и старался, чтобы спецкурс был интересным, воспринимать его все равно было немного трудновато - даже на последнем курсе мехмата.
Тем не менее, именно оттуда я узнала про основы нейросетевых методов - как устроена полносвязная сеть, что такое градиентный спуск, обратное распространение ошибки...
Хорошо, что сейчас все то же самое научились излагать намного доступнее, понаделали хороших фреймворков (в те времена я знала только три варианта: Theano, Sklearn или "сделай сама" - например, в матлаб; Tensorflow, если и существовал, то в совершенно неиграбельном состоянии, а PyTorch ещё и не пахло), и теперь не только старшекурсники мехмата, но и люди с намного меньшим математическим бэкграундом (даже некоторые старшеклассники!) могут заниматься данной областью.
Ну а книжка, конечно, хоть к настоящему моменту и устарела (начинающим, конечно, я уже порекомендую начинать с более современных материалов), но я её все равно с любовью украсила наклейками и храню как память.
#учебные_материалы #учеба_на_мехмате
Легко видеть, что такое изложение воспринимается намного труднее, чем современные учебные материалы по тем же темам. Также оно содержит много причудливых названий, которые не используются сейчас. И хотя сам профессор был доброжелательным, отвечал на все вопросы и старался, чтобы спецкурс был интересным, воспринимать его все равно было немного трудновато - даже на последнем курсе мехмата.
Тем не менее, именно оттуда я узнала про основы нейросетевых методов - как устроена полносвязная сеть, что такое градиентный спуск, обратное распространение ошибки...
Хорошо, что сейчас все то же самое научились излагать намного доступнее, понаделали хороших фреймворков (в те времена я знала только три варианта: Theano, Sklearn или "сделай сама" - например, в матлаб; Tensorflow, если и существовал, то в совершенно неиграбельном состоянии, а PyTorch ещё и не пахло), и теперь не только старшекурсники мехмата, но и люди с намного меньшим математическим бэкграундом (даже некоторые старшеклассники!) могут заниматься данной областью.
Ну а книжка, конечно, хоть к настоящему моменту и устарела (начинающим, конечно, я уже порекомендую начинать с более современных материалов), но я её все равно с любовью украсила наклейками и храню как память.
#учебные_материалы #учеба_на_мехмате
👍17🔥6❤1
Да, я ещё уже забыла про конкурс, который шел последним по тегу " #задача "... Там надо было сделать так, чтобы генеративная нейросеть нарисовала свою собственную архитектуру (или какую-то ее часть). А забыла потому что никто не прислал ни одной картинки, кроме @Shpacman , и проводить соревнование стало бессмысленно ☔️
Он и получает тогда повышение с лексмеханика до трансмеханика.
Картинки прилагаются (вторая больше для кека).
Он и получает тогда повышение с лексмеханика до трансмеханика.
Картинки прилагаются (вторая больше для кека).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👏8😢4👍1
Forwarded from Сиолошная
This media is not supported in your browser
VIEW IN TELEGRAM
НАКОНЕЦ-ТО! Вот для этого мы и развиваем технологии!
DTF
> Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы… И эльфу раз лесные то сделать так что там густой лес и тп… Я джва года хочу такую игру.
GPT-4 наконец-то осуществила мечту Кирилла и сделала супер-игру.
Тем временем народ в твиттере тоже развлекается и делает:
— pong
— змейку (другой вариант)
— тетрис (черно-белый)
— го (причём, с AI-противником 🔥)
— платформер про крипту, хех
— Connect-4
— игра "Жизнь"
DTF
> Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы… И эльфу раз лесные то сделать так что там густой лес и тп… Я джва года хочу такую игру.
GPT-4 наконец-то осуществила мечту Кирилла и сделала супер-игру.
Тем временем народ в твиттере тоже развлекается и делает:
— pong
— змейку (другой вариант)
— тетрис (черно-белый)
— го (причём, с AI-противником 🔥)
— платформер про крипту, хех
— Connect-4
— игра "Жизнь"
🤣9
Записали, наконец, с https://t.me/boris_again видео-разбор статьи Adam: A Method for Stochastic Optimization ( https://arxiv.org/abs/1412.6980 ). Получилось, конечно, не так, как задумывалось изначально, но все равно интересно.
По итогу, в первой части видео рассказывается про общие принципы того, как устроен градиентный спуск с моментом и интуицию, стоящую за методом Adam. Во второй части видео докладчик проходится по самой статье, и мы постепенно переключаемся в режим свободного обсуждения формул и теорем. Поскольку мы не являемся специалистами по теории оптимизации, правильность всего сказанного в видео не гарантируется. А если вы нашли ошибку или можете дополнить обсуждение, не забудьте рассказать об этом в комментариях!
Ссылка на демонстрацию и статью, показанную в первом видео: https://distill.pub/2017/momentum/ .
————————————————————
Ссылки на видео:
https://www.youtube.com/watch?v=vqIwkVQnq4w&ab_channel=WMax (1 часть)
https://www.youtube.com/watch?v=ZnKmWDKBlGg&ab_channel=WMax (2 часть)
————————————————————
Спасибо большое @btseytlin за рассказ, а @unfinity - за загрузку на YouTube!
#объяснения_статей
По итогу, в первой части видео рассказывается про общие принципы того, как устроен градиентный спуск с моментом и интуицию, стоящую за методом Adam. Во второй части видео докладчик проходится по самой статье, и мы постепенно переключаемся в режим свободного обсуждения формул и теорем. Поскольку мы не являемся специалистами по теории оптимизации, правильность всего сказанного в видео не гарантируется. А если вы нашли ошибку или можете дополнить обсуждение, не забудьте рассказать об этом в комментариях!
Ссылка на демонстрацию и статью, показанную в первом видео: https://distill.pub/2017/momentum/ .
————————————————————
Ссылки на видео:
https://www.youtube.com/watch?v=vqIwkVQnq4w&ab_channel=WMax (1 часть)
https://www.youtube.com/watch?v=ZnKmWDKBlGg&ab_channel=WMax (2 часть)
————————————————————
Спасибо большое @btseytlin за рассказ, а @unfinity - за загрузку на YouTube!
#объяснения_статей
Telegram
Борис опять
life = curiosity + irreducible noise
Whois: https://t.me/boris_again/3400
Лс: @btseytlin
Whois: https://t.me/boris_again/3400
Лс: @btseytlin
🔥30🥴2❤1
Forwarded from Борис опять
Немного избранных таймкодов:
* Основная идея адаптивных методов градиентного спуска
* Идея и update rule Adam
* Как и почему работает SGD momentum
* Тупление в upper bounds на step size Adam, которое внезапно заканчивается пониманием
* Основная идея адаптивных методов градиентного спуска
* Идея и update rule Adam
* Как и почему работает SGD momentum
* Тупление в upper bounds на step size Adam, которое внезапно заканчивается пониманием
👍11
Решила испытать GPT-4 на своих излюбленных задачах: сложная логика (1) и определение четности (2).
1. Сложная логика бралась из BigBench ( https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/formal_fallacies_syllogisms_negation/task.json ). Модели давалось 20 примеров, по 10 за раз. Модель давала результат от 65% (13/20) до 80% (16/20) точности на 20 примерах - в зависимости от того, как их перемешать. Вопросы из второго батча даны на рис.1-3, краткие ответы модели - на рис.4, чуть более развернутые ответы - на рис.5. Правильные ответы: 0 0 1 0 0 1 1 1 0 1, где 1 - valid, 0 - invalid.
К сожалению, сделать однозначного вывода, есть ли у GPT-4 прогресс в понимании логики, нельзя, как из-за маленького количества примеров, так и из-за того, что OpenAI сообщили, что примеры из датасета BigBench попали в обучающую выборку GPT-4 - а значит, она могла их запомнить (рис.6).
2. Задачи на четность генерировались простым скриптом, написанным сегодня, так что их GPT-4 раньше видеть не могла. Были даны 10 последовательностей нулей и единиц с восмью и 10 - с двадцатью элементами. В случае последовательности из восьми элементов точность ответов - 70%-90% (в зависимости от того, написать сразу 10 вопросов или два раза по 5; см. случай батча из 5 примеров, где правильно решены все, на рис.7). Здесь виден явный прогресс по сравнению с ChatGPT. В случае же последовательности из двадцати элементов точность всего лишь 30%. Но если внимательно всмотреться в вывод (рис. 8), видно, что на самом деле модель находится близко к тому, чтобы правильно решить эту задачу. Во всех случаях неправильного ответа она ошибается в подсчете числа единиц ровно на единицу. Так что, возможно, скоро она научится правильно отвечать для последовательностей <= 20 элементов. Это, на самом деле, тоже существенный прогресс по сравнению с ChatGPT, который меня удивил!
Большое спасибо @hukenovs и @YallenGusev за то, что закинули промпты в модель и сделали эти скриншоты!⌨️ (у меня не куплен доступ)
#генерация
1. Сложная логика бралась из BigBench ( https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/formal_fallacies_syllogisms_negation/task.json ). Модели давалось 20 примеров, по 10 за раз. Модель давала результат от 65% (13/20) до 80% (16/20) точности на 20 примерах - в зависимости от того, как их перемешать. Вопросы из второго батча даны на рис.1-3, краткие ответы модели - на рис.4, чуть более развернутые ответы - на рис.5. Правильные ответы: 0 0 1 0 0 1 1 1 0 1, где 1 - valid, 0 - invalid.
К сожалению, сделать однозначного вывода, есть ли у GPT-4 прогресс в понимании логики, нельзя, как из-за маленького количества примеров, так и из-за того, что OpenAI сообщили, что примеры из датасета BigBench попали в обучающую выборку GPT-4 - а значит, она могла их запомнить (рис.6).
2. Задачи на четность генерировались простым скриптом, написанным сегодня, так что их GPT-4 раньше видеть не могла. Были даны 10 последовательностей нулей и единиц с восмью и 10 - с двадцатью элементами. В случае последовательности из восьми элементов точность ответов - 70%-90% (в зависимости от того, написать сразу 10 вопросов или два раза по 5; см. случай батча из 5 примеров, где правильно решены все, на рис.7). Здесь виден явный прогресс по сравнению с ChatGPT. В случае же последовательности из двадцати элементов точность всего лишь 30%. Но если внимательно всмотреться в вывод (рис. 8), видно, что на самом деле модель находится близко к тому, чтобы правильно решить эту задачу. Во всех случаях неправильного ответа она ошибается в подсчете числа единиц ровно на единицу. Так что, возможно, скоро она научится правильно отвечать для последовательностей <= 20 элементов. Это, на самом деле, тоже существенный прогресс по сравнению с ChatGPT, который меня удивил!
Большое спасибо @hukenovs и @YallenGusev за то, что закинули промпты в модель и сделали эти скриншоты!
#генерация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15
В первом же диалоге с Бингом (рис.1,2) дерзкий бот-гигачад выдал ультра-мега-базу, жестко затроллировав автора вопроса. А вот во втором диалоге (рис.3-5) он, напротив, обиделся и отказался продолжать разговор, явив неожиданную слабость духа.
Одна из непреложных истин мира людей, которую предстоит усвоить Бингу: если любишь троллить, будь готов и сам быть затролленным.😎
#генерация
Одна из непреложных истин мира людей, которую предстоит усвоить Бингу: если любишь троллить, будь готов и сам быть затролленным.
#генерация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁24🔥6