В последнее время я эксперементирую с генетическим алгоритмом в проекте с боксёрами.
Изначально я использовал метод обучения с подкреплением.
Выбрал 8 самых сильных боксёров.
Они стали основой для обучения других с помощью генетического алгоритма.
Вначале создал популяцию из 100 боксёров со случайно сгенерированным геномом.
(ген - это ситуация на ринге и комбинация ударов и перемещений, которые нужно выполнить )
Каждый боксёр проводит по 128 поединков с базовыми боксёрами. Чем больше побед было у боксёра, тем с большей вероятностью ему будет позволенно скрестится с другим боксёром.
Генерируется новое поколение и добавляются случайные мутации.
В итоге после сотен поколений эволюционные боксёры стали чаще побеждать.
Но прикол в другом.
Часто, когда используют генетический алгоритм, агенты находят решение, эксплуатируя какой то баг в программе или формально выполняют условие, но это оказывается не то, что от них требовалось.
Такая ситуация возникла и у меня.
Между связками есть пауза в 14 тактов на обдумывание. Боксёры научились обходить это ограничение.
Я заметил это случайно, когда обнаружил бойца, который использует всего одну связку с одним ударом на все случаи и постоянно побеждает.
Отлаживая, я понял, что он просто молотит без пауз.
На графиках результат запуска 6 симуляций (760 поколений, почти 2 суток). Это уже без бага.
Чёрной линией показано 64 победы из 128 поединков.
Изначально я использовал метод обучения с подкреплением.
Выбрал 8 самых сильных боксёров.
Они стали основой для обучения других с помощью генетического алгоритма.
Вначале создал популяцию из 100 боксёров со случайно сгенерированным геномом.
(ген - это ситуация на ринге и комбинация ударов и перемещений, которые нужно выполнить )
Каждый боксёр проводит по 128 поединков с базовыми боксёрами. Чем больше побед было у боксёра, тем с большей вероятностью ему будет позволенно скрестится с другим боксёром.
Генерируется новое поколение и добавляются случайные мутации.
В итоге после сотен поколений эволюционные боксёры стали чаще побеждать.
Но прикол в другом.
Часто, когда используют генетический алгоритм, агенты находят решение, эксплуатируя какой то баг в программе или формально выполняют условие, но это оказывается не то, что от них требовалось.
Такая ситуация возникла и у меня.
Между связками есть пауза в 14 тактов на обдумывание. Боксёры научились обходить это ограничение.
Я заметил это случайно, когда обнаружил бойца, который использует всего одну связку с одним ударом на все случаи и постоянно побеждает.
Отлаживая, я понял, что он просто молотит без пауз.
На графиках результат запуска 6 симуляций (760 поколений, почти 2 суток). Это уже без бага.
Чёрной линией показано 64 победы из 128 поединков.
🔥29❤6😁4👍2🗿2🥰1
Какие эксперименты планирую
(но это уже задел на будущее)
1. Если обучили группу B на основе группы A, а группу C на основе группы B , то какой результат будет в турнире между C и A ?
Есть предположение, что группа C вполне может проиграть. Будет что то похожее на камень-ножницы-бумага.
2. Что если обучать не на боях с готовыми боксёрами, а что бы эволюционные боксёры бились друг с другом. Смогут ли они в итоге победить боксёров, обученных методом обучения с подкреплением.
3. Что будет, если скрестить боксёров из разных симуляций? Будут ли они сильнее всех?
В каждой симуляции, благодаря скрещиванию, боксёры почти идентичны.
Некоторые цифры:
При обучении с подкреплением у боксёров формируется 40 - 45 связок.
При эволюционном обучении у боксёров формируется 9 - 12 связок, но это не мешает им побеждать.
(всего можно сформировать 60 связок)
В качестве фунции приспособленности я использовал количество побед в 128 поединках.
Потомок в среднем имел на 1 победу меньше, чем в среднем его родители.
Я это предполагал и писал здесь об этом , но тут проверил в симуляции.
(но это уже задел на будущее)
1. Если обучили группу B на основе группы A, а группу C на основе группы B , то какой результат будет в турнире между C и A ?
Есть предположение, что группа C вполне может проиграть. Будет что то похожее на камень-ножницы-бумага.
2. Что если обучать не на боях с готовыми боксёрами, а что бы эволюционные боксёры бились друг с другом. Смогут ли они в итоге победить боксёров, обученных методом обучения с подкреплением.
3. Что будет, если скрестить боксёров из разных симуляций? Будут ли они сильнее всех?
В каждой симуляции, благодаря скрещиванию, боксёры почти идентичны.
Некоторые цифры:
При обучении с подкреплением у боксёров формируется 40 - 45 связок.
При эволюционном обучении у боксёров формируется 9 - 12 связок, но это не мешает им побеждать.
(всего можно сформировать 60 связок)
В качестве фунции приспособленности я использовал количество побед в 128 поединках.
Потомок в среднем имел на 1 победу меньше, чем в среднем его родители.
Я это предполагал и писал здесь об этом , но тут проверил в симуляции.
🔥25👍5❤4🗿2❤🔥1🥰1🆒1
Небольшие эксперименты.
Обучение боксёров генетическим алгоритмом.
Благодаря естественному отбору боксёры в моём проекте достигли высокого уровня боевитости.
Решил сильно ослабить отбор.
Предполагал, что будет плавное опускание графика.
Но всё пошло немного по другому.
(на графике по горизонтали - поколения боксёров, по вертикали - их боевой уровень)
(Первый график)
Общий уровень боеспособности опустился совсем немного (процентов на 15) и появились визуальные эффекты в виде дождя. Слабые боксёры из за ослабленного отбора стали чаще оставлять потомков и не убирались отбором сразу. Поэтому график размазался вниз.
Сильно деградировать популяция не собиралась. Даже слабый отбор способен поддерживать популяцию на некотором уровне.
Тогда я решил полностью убрать отбор.
(нижние графики)
Здесь уже всё рухнуло.
Но рухнуло не сразу, а ступеньками. Даже иногда была локальная тенденция на увеличение боевых способностей.
Обучение боксёров генетическим алгоритмом.
Благодаря естественному отбору боксёры в моём проекте достигли высокого уровня боевитости.
Решил сильно ослабить отбор.
Предполагал, что будет плавное опускание графика.
Но всё пошло немного по другому.
(на графике по горизонтали - поколения боксёров, по вертикали - их боевой уровень)
(Первый график)
Общий уровень боеспособности опустился совсем немного (процентов на 15) и появились визуальные эффекты в виде дождя. Слабые боксёры из за ослабленного отбора стали чаще оставлять потомков и не убирались отбором сразу. Поэтому график размазался вниз.
Сильно деградировать популяция не собиралась. Даже слабый отбор способен поддерживать популяцию на некотором уровне.
Тогда я решил полностью убрать отбор.
(нижние графики)
Здесь уже всё рухнуло.
Но рухнуло не сразу, а ступеньками. Даже иногда была локальная тенденция на увеличение боевых способностей.
🔥22👍4🗿2🥰1🆒1👾1
Дело было вечером, делать было нечего.
Я никогда не касался темы происхождения жизни, так как совершенный профан в химии и органической химии.
Но выходящие научно-популярные статьи на эту тему читаю.
И тут я заметил одну деталь. В предлагаемых вариантах первые репликаторы в виде РНК- цепочек создают копии не себя, а соседей.
Я прокрутил в голове симуляцию (профдеформация) и у меня получилось, что дарвиновский отбор будет действовать в обратную сторону, отбирая самых непригодных.
Накидал небольшую модель.
Популяция из 6000 РНК-репликаторов.
Половина имеет слабую скорость копирования, другая половина успевает за то же время скопировать в два раза больше соседей.
Такт симуляции
За однин такт симуляции каждый репликатор успевает копировать одного или двух случайных репликаторов, в зависимости от своей способности и распадается.
(цепочки РНК быстро распадаются)
Затем удаляем случайных репликаторов, что бы размер популяции оставался равным 6000.
Симуляция
Вначале медленных и быстрых поровну и через 1200 тактов смотрю, кого стало больше.
(голубые-медленые, розовые - быстрые).
На данный момент медленные доминировали 527 раз, а быстрые 464 раза.
То есть никакого отбора в пользу быстрых нет.
Что бы отбор заработал, рапликаторы должны копировать себя, а не соседей.
Недостатки модели
Модель чисто математическая и для копирования репликаторы берут случайный репликатор из всей популяции.
В реальности они будут брать того, кто пространственно находится рядом с ними. Если в популяции РНК-репликаторов появится мутант с лучшими качествами (скорость, точность), то подобные мутанты будут локализованы в небольшой области и чаще копировать друг друга.
Что бы это проверить, нужно делать уже нормальную симуляцию с объектами в пространстве.
Но это уже требует времени.
Я никогда не касался темы происхождения жизни, так как совершенный профан в химии и органической химии.
Но выходящие научно-популярные статьи на эту тему читаю.
И тут я заметил одну деталь. В предлагаемых вариантах первые репликаторы в виде РНК- цепочек создают копии не себя, а соседей.
Я прокрутил в голове симуляцию (профдеформация) и у меня получилось, что дарвиновский отбор будет действовать в обратную сторону, отбирая самых непригодных.
Накидал небольшую модель.
Популяция из 6000 РНК-репликаторов.
Половина имеет слабую скорость копирования, другая половина успевает за то же время скопировать в два раза больше соседей.
Такт симуляции
За однин такт симуляции каждый репликатор успевает копировать одного или двух случайных репликаторов, в зависимости от своей способности и распадается.
(цепочки РНК быстро распадаются)
Затем удаляем случайных репликаторов, что бы размер популяции оставался равным 6000.
Симуляция
Вначале медленных и быстрых поровну и через 1200 тактов смотрю, кого стало больше.
(голубые-медленые, розовые - быстрые).
На данный момент медленные доминировали 527 раз, а быстрые 464 раза.
То есть никакого отбора в пользу быстрых нет.
Что бы отбор заработал, рапликаторы должны копировать себя, а не соседей.
Недостатки модели
Модель чисто математическая и для копирования репликаторы берут случайный репликатор из всей популяции.
В реальности они будут брать того, кто пространственно находится рядом с ними. Если в популяции РНК-репликаторов появится мутант с лучшими качествами (скорость, точность), то подобные мутанты будут локализованы в небольшой области и чаще копировать друг друга.
Что бы это проверить, нужно делать уже нормальную симуляцию с объектами в пространстве.
Но это уже требует времени.
7🔥29❤6👍6🤔2⚡1🥰1🗿1
https://elementy.ru//novosti_nauki/434415/Nayden_malenkiy_ribozim_polimeraza_sposobnyy_replitsirovat_sam_sebya
Вот недавняя статья, после которой и накидал простенькую модель
Вот недавняя статья, после которой и накидал простенькую модель
🥰13👍6⚡1🗿1
На ютубе мне в рекомендациях вылез мой последний ролик с англоязычного канала, но с помощью функции "автодубляж" переведённый на русский язык.
Даже не знаю, как на это реагировать.
С этим автодубляжом иногда происходят забавные ситуации.
Например, мне попался ролик, где англичанин и американец произносят слова, которые у них звучат по разному.
Например, для слова метро один говорит Subway, другой Underground .
И в этом фишка ролика, в котором собрали много таких слов
Но с помощью автодубляжа получилось, что оба говорят Метро.
Сломали весь ролик :(
Даже не знаю, как на это реагировать.
С этим автодубляжом иногда происходят забавные ситуации.
Например, мне попался ролик, где англичанин и американец произносят слова, которые у них звучат по разному.
Например, для слова метро один говорит Subway, другой Underground .
И в этом фишка ролика, в котором собрали много таких слов
Но с помощью автодубляжа получилось, что оба говорят Метро.
Сломали весь ролик :(
🫡34😁10❤6💯5🤔4👍1😢1👀1🗿1
Когда-то в роликах про генетический алгоритм видел ситуации, где генетический алгоритм находит решение не совсем честное или каким-то необычным путём.
Например, человек обучал ботов ходьбе, и один из ботов начал просто скользить по полу.
Как это происходит, автор так и не понял. Просто алгоритм нашел какой-то баг в программе и воспользовался им.
Если знаете примеры видеороликов, где подобное показано, скиньте ссылку в комментариях.
Например, человек обучал ботов ходьбе, и один из ботов начал просто скользить по полу.
Как это происходит, автор так и не понял. Просто алгоритм нашел какой-то баг в программе и воспользовался им.
Если знаете примеры видеороликов, где подобное показано, скиньте ссылку в комментариях.
❤🔥39❤7👍4👀3🔥1🥰1🗿1🆒1
Media is too big
VIEW IN TELEGRAM
Вчера Онигири проводил стрим по вайб-кодингу. ( @onigiriScience )
Решил тоже, по приколу, сделать мастер-класс на бесплатной Gemini.
У меня есть несколько вопросов для обсуждения.
Вопрос 1
Люди совершенствовали способы общения с компьютером.
Начали с дырок на перфокарте, затем ассемблер, затем высокоуровневые языки программирования.
Языки совершенствовались. Придумывали разные парадигмы программирования, которые были нужны, чтобы позволить программисту сосредотачиваться на основных идеях проекта и совершать меньше ошибок.
Если все перейдут на вайб-кодинг, то развитие языков программирования остановится?
Нейросетям, видимо, без разницы, на каких языках и в каких парадигмах писать код.
Не приведёт ли это к тому, что останется только один язык программирования, оптимизированный под нейросети?
Есть ещё одно замечание.
Артём говорил, что есть идеи заставить нейросеть сразу писать машинный код. Но в этом случае нужно будет заново генерировать код под разные архитектуры процессоров.
Код, написанный на языке программирования, можно с минимальными затратами скомпилировать под любую архитектуру, поэтому предпочтительней генерировать именно в виде текстового кода.
Вопрос 2
Сейчас активно используются чужие библиотеки, чтобы не писать свои велосипеды. Это может создавать проблемы.
Библиотеки могут меняться. Ради одной функции в программу тащится вся библиотека.
С вайб-кодингом смысл в библиотеках теряется. Нейросеть сама напишет весь код. Будет ли меньше зависимостей в программах?
Решил тоже, по приколу, сделать мастер-класс на бесплатной Gemini.
У меня есть несколько вопросов для обсуждения.
Вопрос 1
Люди совершенствовали способы общения с компьютером.
Начали с дырок на перфокарте, затем ассемблер, затем высокоуровневые языки программирования.
Языки совершенствовались. Придумывали разные парадигмы программирования, которые были нужны, чтобы позволить программисту сосредотачиваться на основных идеях проекта и совершать меньше ошибок.
Если все перейдут на вайб-кодинг, то развитие языков программирования остановится?
Нейросетям, видимо, без разницы, на каких языках и в каких парадигмах писать код.
Не приведёт ли это к тому, что останется только один язык программирования, оптимизированный под нейросети?
Есть ещё одно замечание.
Артём говорил, что есть идеи заставить нейросеть сразу писать машинный код. Но в этом случае нужно будет заново генерировать код под разные архитектуры процессоров.
Код, написанный на языке программирования, можно с минимальными затратами скомпилировать под любую архитектуру, поэтому предпочтительней генерировать именно в виде текстового кода.
Вопрос 2
Сейчас активно используются чужие библиотеки, чтобы не писать свои велосипеды. Это может создавать проблемы.
Библиотеки могут меняться. Ради одной функции в программу тащится вся библиотека.
С вайб-кодингом смысл в библиотеках теряется. Нейросеть сама напишет весь код. Будет ли меньше зависимостей в программах?
🔥18🤔9👎3👍2❤1💩1🏆1🍓1🗿1
This media is not supported in your browser
VIEW IN TELEGRAM
Обнаружил боксёра, который владеет искусством бесконтактного боя.
Правда не на всех противниках магия работает
Правда не на всех противниках магия работает
1🔥76😁45🥰3😱3❤2👍2👏1🤔1🤣1🗿1🆒1
Forwarded from Осьмиарх Эльманн Павел II
Предупреждение: это НЕ пoлитический компас. Пишу на случай, если кто-то решит не вникать в текст.
Блогеры, помните, как много лет назад мы шутили в чате про свою версию "научпоп-компаса"? Дошутились) Вы не представляете, на что способен человек с ИИ-агентом, исполняющим желания.
В общем, за завтраком решил надиктовать ИИ ТЗ по этой теме, и получился "научпоп-компас", который по одной оси определяет, кто "науч", а кто "поп", а по другой показывает, насколько "развлекательно-познавательные" каналы "развлекательные" и насколько "познавательные".
Но, чтобы самим не быть судьями, расположение определял ИИ по шести доступным ему параметрам.
Это не значит, что кто-то менее научпоп, чем другой. Там все научпоп. Так что, блогеры, прошу не обижаться: это всего лишь шутка. Очевидные косяки в распределении ИИ я и сам там вижу. Но менять точки вручную не стал, оставил это на волю Кодекса. Тот самый случай, когда можно сказать "Так гласит Кодекс". Да и если вмешаюсь, карта сразу станет чьей-то субъективной оценкой, а так было бы неинтересно.
Единственное, что я позволил себе, это закрепить нас как "научпоп-центристов", потому что наша основная цель не в том, чтобы вести YouTube-канал. Основное для нас - Telegram и сайт.
Хоть я и залил это на сайт, страница скрыта от поисковых ботов, и на ней куча дисклеймеров. Плюс там есть множество фильтров, которые меняют расположение элементов, так что можно смотреть отдельные категории. Получилось довольно забавно, поиграйтесь фильтрами, поймёте. Цель достигнута. Надеюсь, это кого-нибудь улыбнёт. Заодно это очень хорошая визуализация того, насколько большое у нас сообщество.
Доступные фильтры:
- Теги канала
- Описание канала
- Названия последних 50 видео
- Теги последних 50 видео
- Категория базы
- Название канала
Секретная ссылка: https://scitopus.com/compass
Открывать лучше с компа.
Гит, если кому интересны детали.
Блогеры, помните, как много лет назад мы шутили в чате про свою версию "научпоп-компаса"? Дошутились) Вы не представляете, на что способен человек с ИИ-агентом, исполняющим желания.
В общем, за завтраком решил надиктовать ИИ ТЗ по этой теме, и получился "научпоп-компас", который по одной оси определяет, кто "науч", а кто "поп", а по другой показывает, насколько "развлекательно-познавательные" каналы "развлекательные" и насколько "познавательные".
Но, чтобы самим не быть судьями, расположение определял ИИ по шести доступным ему параметрам.
Это не значит, что кто-то менее научпоп, чем другой. Там все научпоп. Так что, блогеры, прошу не обижаться: это всего лишь шутка. Очевидные косяки в распределении ИИ я и сам там вижу. Но менять точки вручную не стал, оставил это на волю Кодекса. Тот самый случай, когда можно сказать "Так гласит Кодекс". Да и если вмешаюсь, карта сразу станет чьей-то субъективной оценкой, а так было бы неинтересно.
Единственное, что я позволил себе, это закрепить нас как "научпоп-центристов", потому что наша основная цель не в том, чтобы вести YouTube-канал. Основное для нас - Telegram и сайт.
Хоть я и залил это на сайт, страница скрыта от поисковых ботов, и на ней куча дисклеймеров. Плюс там есть множество фильтров, которые меняют расположение элементов, так что можно смотреть отдельные категории. Получилось довольно забавно, поиграйтесь фильтрами, поймёте. Цель достигнута. Надеюсь, это кого-нибудь улыбнёт. Заодно это очень хорошая визуализация того, насколько большое у нас сообщество.
Доступные фильтры:
- Теги канала
- Описание канала
- Названия последних 50 видео
- Теги последних 50 видео
- Категория базы
- Название канала
Секретная ссылка: https://scitopus.com/compass
Открывать лучше с компа.
Гит, если кому интересны детали.
🔥22👍7❤5🥰2🗿2❤🔥1👏1😁1💩1💯1🆒1
Эволюция начинается тут.
https://petriclash.ru
Проект от подписчика.
Я пока не смотрел.
Вопросы можно задать автору в комментариях
https://petriclash.ru
Проект от подписчика.
Я пока не смотрел.
Вопросы можно задать автору в комментариях
❤15🤔12👍4🔥3🆒2💩1🗿1
Когда то я здесь писал, что послал своё видео на конкурс «Хрустальный пингвинопитек».
(это моя вторая попытка)
В финалисты я не попал ((
В прошедшие выходные съездил на форум УПМ, где и проходил финал конкурса.
Увидел много медийных людей из мира научпопа.
Кое с кем познакомился.
(это моя вторая попытка)
В финалисты я не попал ((
В прошедшие выходные съездил на форум УПМ, где и проходил финал конкурса.
Увидел много медийных людей из мира научпопа.
Кое с кем познакомился.
👍23😢3❤1🥰1👀1🗿1
Forwarded from АНТРОПОГЕНЕЗ.RU
4 июля в рамках форума «Ученые против мифов. Содержит НЛО» прошёл финал конкурса научно-популярного видео «Хрустальный пингвинопитек».
Читайте подробный отчет о финале: https://telegra.ph/Kak-istoriki-lovyat-prizrakov-07-10
____________________________
В номинации «Дебют» (для начинающих авторов) победило видео:
Ложь| Как «историки» вас обманывают?
https://youtu.be/5s3RU-Ts0ew
https://vkvideo.ru/video-237018072_456239018
Канал: MALLEGORY
Автор: Иван Малега
В номинации «Мастер» (для опытных авторов) большинство членов жюри отдали голоса ролику
Ловец призраков | Маска Крохалёва [Mindhunter]
https://youtu.be/QtpU6Ho4td0
https://vk.ru/video-226966386_456239035
Канал: SAVELEV
Автор: Константин Савельев
В народном голосовании «Фаворит конкурса» победило видео:
Как сражается Геральт? Правда о технике боя Ведьмака | разбор Фехт-Археолога
https://www.youtube.com/watch?v=kfohl9HYbuY
https://vk.com/video63332618_456244817
Канал: Артем ЗВЕРЬКО
Автор: Артем Абрамов
Читайте подробный отчет о финале: https://telegra.ph/Kak-istoriki-lovyat-prizrakov-07-10
____________________________
В номинации «Дебют» (для начинающих авторов) победило видео:
Ложь| Как «историки» вас обманывают?
https://youtu.be/5s3RU-Ts0ew
https://vkvideo.ru/video-237018072_456239018
Канал: MALLEGORY
Автор: Иван Малега
В номинации «Мастер» (для опытных авторов) большинство членов жюри отдали голоса ролику
Ловец призраков | Маска Крохалёва [Mindhunter]
https://youtu.be/QtpU6Ho4td0
https://vk.ru/video-226966386_456239035
Канал: SAVELEV
Автор: Константин Савельев
В народном голосовании «Фаворит конкурса» победило видео:
Как сражается Геральт? Правда о технике боя Ведьмака | разбор Фехт-Археолога
https://www.youtube.com/watch?v=kfohl9HYbuY
https://vk.com/video63332618_456244817
Канал: Артем ЗВЕРЬКО
Автор: Артем Абрамов
👍13❤3🥰1👀1🗿1