https://youtube.com/shorts/bc0mn6bNb8s

Нейросетка выучивает SDF куба.

SDF - signed distance function, такое хитрое представление объектов в виде функции от координат. На входе координаты точки, на выходе - расстояние от этой точки до объекта со знаком +, если точка расположена вне него и -, если точка внутри. Таким образом, SDF как бы делит пространство на два класса "вне объекта" и "внутри объекта".
И есть алгоритм под названием ray marching, который позволяет рассчитать, как будут распространяться лучи света в сцене, собранной из таких объектов.

Я решил посмотреть, как небольшая нейросетка будет учить эту SDF для сцены, построенной из одного куба.

Поменял функцию активации на tanh, кубик из "полигонального" превратился в "пластилиновый")

Процесс обучения сетки с tanh активацией идет медленнее, но выглядит куда занятнее, чем у сетки с ReLU.

https://youtube.com/shorts/fRY6SrR9j0c?feature=share

Он же на ютубе.

https://youtu.be/qSwCZg962l0

А вот и новое видео)
На этот раз я взял три нейронные сетки, которые отличаются только функциями активации и обучил их более сложной 3д-сцене. Отлично видно, насколько отличается динамика обучения и выученная SDF (signed distance function), представляющая сцену - быстрее всего учится сеть с Leaky ReLU, но функция выглядит низкополигональной моделью, при том, что ни одного полигона в ней нет и никогда не было)
Сетка с активацией Tanh учится медленнее всего, но зато и на выходе моделька гладкая, а объекты плавно перетекают друг в друга.
Ну и наконец новая для меня функция Mish, которая выглядит как гладкий Leaky ReLU. И ведет себя, как гладкий Leaky ReLU. В том смысле, что учится быстрее Tanh (хоть и медленнее ReLU), но на выходе - гладкие, перетекающие друг в друга формы.

Слышали выражение "Умер Клим, и хуй бы с ним"?

Предлагаю перевод (правда, чуть более цензурный):

Dead is Klim,
So to hell with him!

https://youtu.be/-8K-xbx7jBM

Рекламный фильм 1957го года. Рекламируют компьютер для решения задач бизнеса, рассказывают, насколько проще станет жизнь после автоматизации)

Очень люблю читать и смотреть, как люди решали сложные задачи и автоматизировали вычисления настолько ограниченными средствами. Подчеркивает невероятный путь, пройденный человечеством.

Этой машине несколько больше полувека, у нее 2 килобайта оперативной памяти на ртутных линиях задержки, ошеломительная частота процессора 500 КГц и быстрый перфоратор. Чего еще желать серьезному бизнесмену конца 50х?)

А хотите историю в духе стимпанка, но произошедшую в реальности более века назад?

Листал я тут статью на Википедии про радиолампы, и наткнулся на совершенно замечательную вырезку из газеты New York Herald, от 28 октября 1901 года.

The Clash at the Yacht Races.

Как и положено хорошей стимпанковской истории, началась она с того, что крупное информационное агентство Associated Press (в которое входит и газета New York Herald) объединило усилия с фирмой Гульельмо Маркони для освещения гонок на паровых яхтах при помощи новейшей, только начавшей распространяться по миру, технологии беспроводного телеграфа.
Для этого Associated Press выделили паровую яхту Миндора, установив на ней передатчик сеньора Маркони, которой позволили подходить близко к соревнующимся судам, а также выстроили пару приемных станций на побережье.
Однако в день генеральной репетиции команда Миндоры заметила старую шхуну "Туманная Дева", мачта которой была превращена в передаточную антенну. Шхуна принадлежала компании American Wireless Telephone and Telegraph Company во главе с доктором Герингом, на ней был установлен мощный передатчик, и Геринг рассчитывал прорекламировать свою компанию, договорившись с рядом газет о том, что он будет передавать им информацию о гонках бесплатно в обмен на рекламу его фирмы.

Он хотел договориться и с Associated Press, но те уже выбрали фирму Маркони и вообще считали остальные фирмы этой направленности, как бы сейчас сказали, стартапами, экспериментальными и неэффективными.
Видимо, в доказательство обратного, операторы Маркони на Миндоре внезапно начали получать сообщения "К черту Маркони!" и разнообразные нецензурные фразы ("various profane and obscene phrases", жаль, в статье пример не привели), транслируемые с "Туманной Девы" Геринга.
Думаете, на этом все и закончилось? Да как бы не так.

Фрагмент оригинальной статьи.

Интерес к беспроводному освещению гонок проявила третья сторона, еще одна телеграфная компания из Чикаго, American Wireless Telegraph Company, аффилированная с Ли Де Форестом (тем самым, что несколько лет спустя изобрел вакуумный триод), который собрал свой собственный приемник и теперь был не прочь на этом подзаработать, заключив контракт с другим новостным агентством, Publisher's Press.

Кстати, именно на его странице на Википедии я нашел ссылку эту статью.

В итоге товарищи из Associated Press вместе с Маркони, по их словам, договорились с Герингом о том, что он не станет включать свой передатчик в обмен на то, что информация, передаваемая передатчиком Маркони будет ретранслирована по проводам от приемных станций напрямую в офисы газет, с которыми Геринг договорился об освещении события. А еще Associated Press упомянет фирму Геринга как партнера наряду с Маркони.

С третьей стороной тоже договорились. Что будут транслировать по очереди, интервалами по 5 минут.

Герингу же перед гонками позвонил главный управляющий Associated Press, мистер Стоун, чтобы еще раз удостовериться, что соглашение было достигнуто. Во время разговора он настаивал на том, чтобы Геринг разобрал свой передатчик ("вытащил из него катушку!"), но тот не согласился, дав понять, что его люди готовы будут в любой момент начать передачу и забить канал. Кроме того выяснилось, что обещание "упомянуть фирму" для Геринга значило "все подчиненные газеты Associated Press напечатают, что мы - партнеры", на что Стоун сказал "нет-нет, вы не так поняли, мы не можем заставить газеты напечатать что-либо, мы просто выпустили это заявление, кто-то его напечатал, кто-то нет!"

Надо ли говорить, что во время гонок что-то пошло не так.

Команда Де Фореста, с которой договорились о попеременном вещании раз в пять минут, в какой-то момент не выдержала и сначала забила на пол часа канал, а потом, перед самым финишем, передала свое сообщение с намеренно искаженными результатами гонки, которое приняли станции Associated Press и уже пустили было в печать, когда передатчик на Миндоре сумел пробиться с реальными результатами.

А Геринг, по их словам, пытался помешать обоим просто из подлости:
"The third party was very unwelcome, and seems to have had no other purpose in view than to upset the carefully arranged plans of the two press associations."

Закончилось ли противостояние на этот раз? Ну, судя по вырезке из газеты, вышедшей спустя 2 года после описанных событий, нет.
На этот раз мощную передающую станцию построили на берегу и опять подпортили жизнь и Де Форесту и Маркони, забив трансляции обоих шумом и матюками)

Из этой вырезки не очень понятно, кому-таки принадлежала наземная станция - за комментариями обратились к Герингу, но он яростно отрицал все обвинения.

Что интересно, эта же история рассказана в другой газете со стороны Геринга, и там он, по сути, утверждает, что у него все было замечательно, и технологии у него намного лучше, чем у Маркони, но Associated Press решили его продавить и навязать свои условия, хотя не имели на это прав.

Диалоги, приводимые Герингом, конечно, совершенно феерические, позволяют одним глазком заглянуть в мир корпоративной борьбы технологических информационных гигантов вековой давности.

Для начала, по его словам, представитель Associated Press (далее A.P.) заявился в их офис, позвонил представителям Маркони из офиса телеграфной компании Геринга, и громко ругался, потому что они не смогли получить транслируемые передатчиком Маркони сводки, зато прекрасно получали сводки, передаваемые Герингом. После чего он обратился к Герингу, сказав, что технология Маркони - дерьмо, и попросил его поделиться сводками в обмен на рекламу в своих 2300 подчиненных газетах. Не забыв добавить, что нельзя разочаровывать такое количество читателей, и вообще Associated Press - огромная фирма и не надо переходить ей дорогу, это чревато.

А дальше идет офигенный диалог:

A.P. - Доктор, мы получили ваши сводки, все отлично, но они слишком короткие. На вашей шхуне должен присутствовать опытный репортер из Associated Press!

Dr. Gehring - У нас там три оператора, поочередно посылающие телеграммы, нас все устраивает.

A.P. - Давайте вы вообще не будете выводить свою шхуну, у нас лучшая и очень быстрая паровая яхта и нам разрешено подходить близко к соревнующимся судам, а вам - нет.

Dr. Gehring - Мы освещаем события в меру наших сил, вас вообще ни о чем не просили, знать вас не знаем, может вы лучше выкинете передатчик Маркони, раз он так плохо принимает, и заключите контракт с нами?

A.P. - У нас контракт с Маркони, его фирма предложила хорошую цену на свои услуги, ну и вообще, если все наш тысячи газет начнут писать про вас плохое, то вам конец, так что давайте-ка вы найдете способ с нами сотрудничать?
Доктор, новостей от нас ждут 2300 газет, мы заключили контракт с Маркони а тут пришли вы со своим передатчиком и мешаете нам получать сводки!
Я знаю, что ваша технология лучше, но имя Маркони всемирно известно! Давайте вы свою лодку вообще уберете, мы будем посылать сводки с передатчика Маркони, а вы можете их принимать своими приемниками и перенаправлять газетам, с которыми вы договорились, все равно наша яхта быстрее и лучше вашей, и у нас есть разрешение подходить близко к соревнующимся судам, а у вас нет!

На это Геринг просто ответил в духе "Ну и толку от вашей яхты и разрешений, если мы можем глушить вашу передачу?")

В общем, дальше Геринга по-всякому пытаются убедить, недвусмысленно намекая на проблемы, которые начнутся у его компании, если тот не захочет сотрудничать, в итоге они вроде как приходят к соглашению, что все 2300 газет напечатают про замечательную телеграфную компанию Геринга, ну и прочее, о чем я уже писал в начале.

Разумеется, в итоге Геринга не устроило, когда A.P. пошли на попятную, после чего телеграфная война продолжилась.

Такая вот замечательная история про гонки на паровых яхтах и информационную войну телеграфных компаний, произошедшую более 120 лет назад.

Ссылки для тех, кто хочет прочитать эту историю в оригинальных газетных вырезках:

Фото газеты со статьей The Clash at the Yacht Races:
https://fultonhistory.com/Newspaper%2014/New%20York%20NY%20Herald/New%20York%20NY%20Herald%201901/New%20York%20NY%20Herald%201901%20b%20-%201844.pdf

Фото газеты 1903 года со статьей Cuss Words in the Wireless:
https://chroniclingamerica.loc.gov/lccn/sn83030272/1903-08-27/ed-1/seq-1/

Текст статьи The Clash at the Yacht Races:
https://earlyradiohistory.us/1901awt.htm

Текст статьи, излагающий взгляд Геринга на эти события:
http://earlyradiohistory.us/1901awtt.htm

Траектории взаимодействующих частиц.
Видно, как они из хаотичных становятся линейными по мере удаления друг от друга.

А вот и ОНО. Существенная веха в моем проекте. Мне наконец удалось обучить нейронную сеть выполнять расчет динамики частиц вместо симулятора. Это одна из целей, для достижения которых я начал писать свой симулятор пол года назад.
Теперь нужно искать оптимальную архитектуру, увеличивать производительность, исследовать свойства получившейся нейро-симуляции... В общем, много дел)

https://youtu.be/AJy0r5CbI1s

https://youtu.be/qpoRO378qRY

Интервью с Джеффри Хинтоном, которого совершенно справедливо считают отцом современного ИИ.
Очень рекомендую к просмотру, поднимаются не только темы развития технологии и ее будущего применения, но вопросы сознания и биологического интеллекта, этические и политические аспекты взаимодействия с ИИ.

Помимо того, что интервью само по себе очень интересное, не могу не восхищаться самим Хинтоном. Тем, как он говорит, как формулирует свои мысли, тем, на что указывает его "моральный компас". Дед здорового человека.
Такой могучий интеллект (а ведь ему уже 75 лет!), и ни капли заносчивости. Рациональность и гуманизм.
Искренне желаю ему здоровья и еще многих-многих лет продуктивной жизни.

https://youtu.be/MYjDOVk2IRk

Потихоньку готовлю симулятор к релизу, подчищаю код, тестирую производительность.

В целом, по-моему, неплохо - вот это видео с 51к частиц симулировалось и рендерилось около 3 минут на видюхе моего ноута.

Ютуб, конечно, ппц как не любит тепловое движение, потому что ему очень трудно такие видео сжимать. Не забудьте переключиться вручную на 1080p, а то совсем шакально.

Наткнулся я тут на канал на ютубе, который выкладывает подборки архивных видео. Чаще всего с тематикой ретрофутуризма, то есть видео из прошлого, в которых так или иначе рассказывают о том, как будет выглядеть будущее, например - видео 30х годов прошлого века, в котором вдохновенно предсказывали чудеса далекого 1980го года)
Но там бывают и другие темы.
Вот, например, одно из видео с этого канала.
https://youtu.be/d33DAFDV2gw