Узнал, что океанские корабли оставляют за собой долго сохраняющиеся следы, как трактор в грязи.
Их видно на инфракрасных спутниковых снимках, и учёные на гранте NASA обучили сверточную сетку их распознавать.

А вот другая сетка, обученная восстанавливать фотографии, заваленные в чёрный.

И суровая онлайн игра, где надо набирать формулы в TeX-е на время.

Визуализация географии гибели разных шахматных фигур. Источник.

Напомню, на ту же тему была развёрнутая научная статья Survival in chessland на SIGBOVIK 2019.

Давненько не писал, постараюсь исправиться. Вот вам в рамках рубрики "странные роботы":

Была такая южнокорейская компания Hankook Mirae Technology, делала суровые экзоскелеты (в духе MechWarrior). Про них снимали документалки, и Безос брал у них такого покататься буквально 5 лет назад. Потом вдруг выяснилось нехорошее: владелец компании в минуты душевного томления избивал сотрудников, стрелял по ним из пневматики, заставлял их убивать куриц и делал другие интересные вещи. В общем, в прошлом году его посадили на 7 лет (но суды по разным дополнительным обвинениям ещё продолжаются), а от компании не осталось даже сайта.

Кстати, дизайн этого экзоскелета заказывали у Виталия Булгарова, известного индустриального дизайнера (в том числе делал проекты для фильмов Призрак в доспехах, Трансформеры 4 и т.п.). У него на сайте много мощных работ, рекомендую.

Ну а если вам такое страшно, посмотрите американский календарь праздников еды — сегодня, например, национальный день творческих вкусов мороженого.

[Задумчиво] Тут на днях в одном чатике Борислав высказался в том смысле, что некоторые онлайн диалоги не мешало бы оживить авторскими ремарками, как в пьесах. А я в ответ сформулировал мысль, что такие ремарки суть эмодзи культурного человека и их, как и эмодзи, надо, конечно же, генерировать нейросетью.

Написание плагина для браузера, автоматически оформляющего таким образом общение в соцсеточках, я оставил на пенсию, а пока наваял простенький прототип. Работает местами отменно:

[перебивает] Ты когда-нибудь слушал тишину, Ежик?
[в зал] Слушал.
[смущенно] И что?
[устало] А ничего. Тихо.
[поворачиваясь к стене] А я люблю, когда в тишине что-нибудь шевелится.
[улыбаясь] Приведи пример.
[с иронией] Ну, например, гром.

* * *

[изумленно] Кто это такой Шварценгольд?
[все эти слова прочитывая вслух] Ефим Львович Шварценгольд это выдающийся физик, ведущий специалист в мире в 
области охлаждения металла, на секундочку.
[вдруг начинает понимать, что он сумасшедший] Ты откуда это знаешь?…
[перебивает] Ну хорошо, это мой дедушка…

* * *

[в сторону] Я мужчина хоть куда! В полном расцвете сил.
[с восхищением] Да-а? А в каком возрасте бывает этот… расцвет сил?
[мрачно] Ну, знаешь, э-э-м-м… Не будем об этом говорить.

Больше примеров, а также колаб с работающим прототипом я вам выложил на гитхаб.

В Шотландии есть такое явление, как тартаны. Это текстильные узоры, уникальные для районов, кланов, семей, ... (примеры на рис.А); исторически играют роль, схожую с ролью герба; используются при создании килтов, платков и всякого другого. Первый сохранившийся тартан, Falkirk, датирован примерно 250 годом, а вообще их множество — в государственном реестре сейчас зарегистрировано 3000+.

На вид они довольно разные, но при этом просто параметризуются порождающими кодами вроде G106R26B4Y44 или G24K8G2K8, так что сразу хочется начать их генерировать, и тут уже есть twitter-бот alltartans (правда, несколько отходящий от канона, рис.В). С другой стороны, эти паттерны похожи на недостроенные фракталы, так что есть попытки рисовать гиперболические тартаны (рис.С). А ещё квадрат канторова множества называется Cantor Tartan (и похож на несущую структуру для ковра Серпинского, рис.D); и кто-то зачем-то пытается ввести на ней исчисление.

А пока я писал этот пост, открыл для себя странную ковровую секту Triangle Frenzy.

Продолжается бум и увеличение качества нейросетевых картинок и роликов, сгенерированных по текстовому описанию с помощью связки сетей типа VQGAN+CLIP. Ролик выше я нашёл сегодня в твиттере, а по делу рекомендую почитать свежий пост в ML блоге университета Беркли (да и весь блог хороший, чего уж там) — в посте этом формулируется красивая мысль, что мы тут наблюдаем формирование новой демосцены.

Или почитайте научную статью про поиск следов путешественников во времени в интернете и посмотрите видео из древней компьютерной игры, которую делал Тимоти Лири.

Тут на днях сети принесли colab с TPU где можно немножко позапускать полноценную GPT-J-6B (это такая народная open source версия GPT-3). Среда заваривается минут 15 в общей сложности, но потом обработка одного промпта происходит достаточно быстро, секунд за 10.

Попробовал заставить её генерировать анекдоты про математиков в баре, делюсь с вами результатами (почти без черри-пикинга):

A mathematician walks into a bar. A mathematician and a philosopher stand by the bar, in conversation, and a bartender is doing his rounds. The mathematician says to the philosopher, “You know that art and philosophy are branches of mathematics, don’t you?” The philosopher says, “Yes, I knew you’d eventually ask that question.”

A 0 of mathematicians walk into a bar, and they are immediately thrown out because "0 is used for zero" or some other way of saying "0 is a number".

An infinite number of mathematicians walk into a bar, and just one gets his research published. Who is that?

An negative number of mathematicians walk into a bar, and say "I'm actually going to be less than zero".

A transcendental number of mathematicians walk into a bar,
and hear one mathematician say, "Look, I've found the best beer in town."
This mathematician says, "And look, I've found the best steak in town."

A quaternion number of mathematicians walk into a bar,
A pair of discrete logarithms, A prime gap,
A clash of protocols, A geometrical proof,
A product of exiles, A cosmic lie,
A shape-changing goblet, A parallelogram of regular solids,
An obstruction course, A normal subgroup,
An impulse of bits, An irrational number of settings
...

Как обычно, ни на что не хватает времени, так что вот вам очередная подборка странного/интересного без особых комментариев (простите, если где-то подзабыл источник):

* Статья, в которой пытаются описать паттерны Эшера математическим языком.
* HumBugDB — статья, презентующая большой датасет жужжания разных видов комаров (подана на NeurIPS 2021, но скорее всего будет reject).
* Археологическое исследование происхождения алгоритма сортировки пузырьком (авторство, возникновение название и т.п.).
* Видео реставрации невероятно крутых фрактальных тисков.
* DIY проект по сборке VGA-карты, прислал Дима Кузнецов.
* Видео конструкции сферической "шестерёнки".
* Игровая механика одномерных шахмат, подсмотрел в канале @backtracking.
* Анонс доклада про создание печатной машинки для тибетского языка (доклад будет через неделю).
* Пост про возможную Тьюринг-полноту графического формата JPEG XL (через вольфрамовский автомат Rule 110).
* Эмотиконы, являющиеся валидным javascript кодом.
* Японский эксперимент с круговым лесом.
* Doom Captcha.

Товарищ Tom White, AI Artist из Новой Зеландии, придумал, как доить из связки сетей VQGAN+CLIP картинки, вполне соответствующие канонам pixelart. Вот уже вторую неделю он выкладывает нейро-пиксельную азбуку в отдельном твиттер треде, вчера добрался до буквы W. Я подозреваю там огромный объём cherry picking-а, но он обещает скоро выложить colab, так что можно будет самостоятельно поэкспериментировать.

Если вам такое нравится, обратите также внимание на восьмибитную фан-арт серию Рика и Морти, нарисованную австралийским художником-аниматором Полом Робинсоном. А если нет — почитайте про "суммарный алфавит", набор из 400 символов, достаточный для набора текстов на 90 языках, использовавшихся в СССР, или нашу с Максом Рябининым недавнюю статью про кросс-языковое решение схем Винограда нейросетями.

Слева вверху — скульптура Trinity художника Frank Haase; полупрозрачный куб, чьи три проекции являются тремя разными кодами. Слева внизу — QR-кубик Рубика с 6 разными сообщениями на разных сторонах, я когда-то сделал его как подарок на день рождения. Справа вверху — мой QR-код, сделанный с помощью подхода, описанного Russ Cox в отличной статье QArt Codes. Справа внизу — трёхслойный код, придуманный Eckart Schadt; в зависимости от расстояния контрастность некоторых пикселей меняется, и код читается по-разному (с экрана это работает очень плохо, но на распечатке более-менее выходит.)

Ну и для связности интернетов — ссылка на мой старый пост о генерации "зеркальных" QR-кодов, несущих разные сообщения в прямом и зеркальном отображении.

Я тут недавно писал про нейросетевую генерацию пиксельной графики от Tom White.

На выходных дошли руки поковырять код и добавить пару опциональных фичей — указание палитры и дополнительный loss для более мягкого сглаживания. Получилось неожиданно хорошо — на картинке выше несколько результатов, а в моём твиттер-треде больше картинок и ссылка на колаб, где можно поиграться самостоятельно.

Почти 100 лет назад Вольфганг Кёлер провёл свой известный эксперимент на звукосимволизм. Людям показывали две картинки (в верхнем ряду), и предлагали выбрать, которая из них "балуба", а какая "такете". Подавляющее большинство людей выбирало округлую балубу и угловатую такете.

С тех пор эксперимент повторяли с людьми, говорящими на разных языках, с двухлетними детьми и так далее. Пробовали также менять слова на буба/кики. Во всех случах эффект сохранялся.

Так как в этом году большую моду получили мультимодальные модели (о которых я тут периодически пишу), товарищ Nearcyan из Остина решил посмотреть, что про такие слова думает модель CLIP. Во втором ряду примеры сгенерированных изображений для "кики" и "бубы", в третьем — для формы "малумы" и "такете".

Больше подробностей, картинок и других слов — в оригинальном блогопосте.

Я тут уже когда-то писал про самоорганизацию разных существ в рои и алгоритмы для моделирования такого поведения. Напишу ещё немного:

1. На картинке выше кусок эксперимента гарвардской группы по изучению самоорганизующихся систем, они сделали много очень простых одинаковых роботов и тестируют на них роевые алгоритмы, заставляющие их формировать нужные конфигурации. Полное видео.
2. Команда из Max Planck Institute of Animal Behavior сделала библиотеку DeepPoseKit, использующую нейросетевое распознавание объектов и поз для отслеживания роевого поведения животных и насекомых. Код, статья
3. Команда Александра Мордвинцева (автора DeepDream) занимается изучением дифференцируемых клеточных автоматов, где каждая клетка является небольшой нейросетью, взаимодействующей с соседями, а все вместе они способны формировать глобальную конфигурацию и восстанавливать её от повреждений. Интерактивное демо, запись семинара.

Раз уж мой колаб пошёл в народ, напишу и тут — я недавно выложил демо-блокнот для автоматического создания анимаций типа тех, что были в прошлом посте. Картинки в твиттере, код на гитхабе, обсуждение в дискорде pixray.

Кроме того, начался ноябрь, а значит и National Novel Generation Month 2021 — месяц автоматической генерации прозы. Не уверен, что в этом году я что-то интересное успею сделать, но если у вас есть время/навыки/идеи, и вы хотите что-то сделать вместе, пишите в личку. И вот несколько полезных ресурсов: большой датасет всяких слов и названий, собранных в списки (имена, города, животные, мифологические существа, виды спорта и т.п.); удобный питонячий интерфейс к нему; параллельный датасет смешных/несмешных новостных заголовков; язык текстовой разметки кулинарных рецептов CookLang.

Или почитайте, какими узлами и по какому стандарту NASA связываются пучки кабелей на марсоходе Curiosity (и других).

Когда-то мы с Бориславом Козловским пытались придумать, как бы нам сделать визуализатор описаний литературных персонажей (как писали классики, «дверь отворилась, и на пороге появился стройный мускулистый человек в мохнатой кепке и тёмных очках»). Потом, как водится, отвлеклись, но от затеи осталось несколько тысяч словесных описаний героев, нагрепанных из разных книг; а также самописная эвристика по генерации текстов розыскных ориентировок.

Недавно вспомнил про это всё и решил попробовать генерировать по ним картинки разными доступными сетями для сравнения. С литературными описаниями никто вообще не справился, а по ориентировкам уже что-то вырисовывается, не слишком близкое к тексту, но забавное. На картинке пример (попробуйте угадать, где какая сеть), а если захотите сами поразвлекаться — вот вам 1000 сгенерированных ориентировок, можно контест на них устроить.

Я иногда пишу компьютерно-археологические посты, например, о происхождении клавиатурных раскладок и графических разрешений, о том как появился r-pentomino, или там про первоапрельские RFC. Сегодня напишу немного про этимологию разных около-компьютерных терминов.

Все знают, что слово модем происходит из комбинации слов модулятор и демодулятор — названий двух устройств, переводящих цифровую информацию в вид, удобный для передачи по аналоговым сетям связи и обратно. Аналогичное происхождение у слова кодек (кодер+декодер) и менее широко известных жаргонных терминов балун (balanced+unbalanced) и сердес (serializer+deserializer).

Похожее на кодек по написанию и звучанию название компании Kodak, зарегистрированное в 1888 году, имеет другую природу. Основатель компании, George Eastman, специально придумывал новое, короткое, легко узнаваемое и произносимое на разных языках слово, по легенде используя для этого набор букв из игры Anagrams (бабушка игры Scrabble). Одним из критериев для Джорджа было использование его любимой буквы К, составляющей в итоге 40% всего названия. Затея придумать новое слово удалась не вполне: в 1896 году на страницах журнала Amateur Photographer разгорелась переписка читателей, пытающихся выяснить его происхождение. Обнаружилось, например, что на хиндустани это слово, пришедшее из персидского, означает "мальчик", а один из читателей указывал на созвучие с ивритским Kahdak.

Слово bit в смысле минимального количества информации впервые появилось в публикациях в статье Клода Шеннона 1948 года «Математическая теория связи». При этом сам Клод ссылался на авторство математика Джона Тьюки, который использовал bit как сокращение к binary [information] digit во внутренних документах Bell Labs. Под словом byte (байт, искажённое английское укус/кусок) принято понимать минимальный объём обрабатываемой за раз или непосредственно адресуемой информации. Впервые оно было использовано Вернером Бухгольцем в 1956 в проектной документации на систему IBM Stretch. В разных системах байты бывали разных размеров, например, 4, 6 или 9 бит, а также переменной величины. Чтобы точно указать на размер байта в 8 бит, принято использовать термин октет.

По инженерным причинам в компьютерах эффективнее работать с числами, кратными степеням двойки. Поэтому под словом kilobit инженеры чаще понимают 1024 бита (2^10), но в некоторых случаях его используют для обозначения 1000 бит (10^3, как и с другими мерами, вроде метров). Например, в Encyclopedia of Library and Information Science издания 1968 года на одной и той же странице написано, что килобит это 1000 бит, а килобайт это 1024 байта. Аналогичная история с приставками мега-, гиги- и так далее. Вся эта путаница происходила до конца 1998 года, когда наконец пришла Международная электротехническая комиссия и всё исправила (нет). С тех пор по международным стандартам килобит должен означать 1000 бит, а для 1024 бит надо использовать термин kibibit (кибибит). Но, например, по российскому «Положению о единицах величин» от 2009 года термин килобайт фиксируется всё равно в значении 1024 байта.

Для измерения скорости передачи данных помимо всяких килобайт/сек и килобит/сек иногда используются термины, основанные на похожем слове бод (например, килобод). Под бодом в современной связи обычно понимается количество изменений несущей частоты в секунду, поэтому если, например, несущая использует два уровня сигнала, то 1 бод это 1 бит/сек. Но это не точно, потому что биты тут считаются брутто, т.е. включают в себя всякую служебную информацию, вроде коррекции ошибок. Эти самые боды названы в честь Жана Мориса Эмиля Бодо, французского инженера, который в 1870 году придумал базовую кодировку для телетайпов (aka международный телеграфный код №1).

А ещё, оказывается, что слово android почти втрое старше слова robot, которому в прошлом году исполнилось 100 лет.

Недавно прошёл NaNoGenMo 2021, традиционный месяц написания генераторов текстов (я писал про него раньше). Поучаствовать в этом году не успел, хотя было несколько неплохих идей; но там и без меня нашлось на что посмотреть. Я бегло пролистал работы и поделюсь с вами моим персональным топом:

1. John Lambert собрал систему, которая нарезает музыкальные клипы на отдельные кадры, прогоняет их через генератор описаний и собирает текст, пересказывающий происходящее в клипе. В итоге получилась книжка из 22 таких пересказов.

2. Kevan Davis нарезал текст Моби Дика на кусочки (издеваться над Моби Диком -- давняя традиция NaNoGenMo) и соединил их в интерактивное приключение в духе книги-игры. Получилось вполне неплохо.

3. Mark Sample использовал нестареющий приём — перевёл "Гордость и предубеждение" автопереводчиком по следующему циклу: English->Russian->Chinese->Portuguese->English. В итоге получилась книга под названием "Pride and Injury".

4. John Ohno, впечатлённый сериалом Dark Shadows, собрал генератор под названием Shark Dadoes, производящий диалоги, состоящие из уклончивых ответов и ответов вопросом на вопрос.

Были и другие забавные штуки, вроде генерации синопсисов к фильмам по названию, режиссёру и актёрам; замене всех подходящих слов в Моби Дике на эмоджи; или нейросети, обученной на текстах Филлипа Дика.

А если вам такое не по душе, можно почитать работу про 58 способов визуализировать структуры в тексте Алисы в Стране Чудес или наш свежий пост о том, как выбирать и проверять валидационные метрики в задачах классификации (по мотивам нашей статьи на NeurIPS 2021).