Я недавно писал про проекты по генерации картинки по тексту с помощью сетки CLIP, а тут я решил попробовать обратную схему: собрал поиск точки в пространстве сети Optimus (это такой текстовый VAE), оптимальной с точки зрения близости к картинке в CLIP-пространстве. В целом, получилось довольно плохо, судя по всему, из-за характеристик самого пространства Optimus, буду думать и пробовать ещё. Но на сдачу получился простой скрипт, который просто выбирает подпись к картинке из заранее фиксированного пула текстов.

В качестве базы для экспериментов я взял ~8000 заголовков сатирического новостного агентства The Onion (это такой англоязычный прообраз ИА Панорама), и внезапно получилось очень смешно. Вот вам 4 примера на картинке и колаб, где можете попробовать сами с любой своей картинкой (а чуть поправив код -- и со своей базой текстов).

Очень рекомендую атмосферную интерактивную экскурсию по Марселю 2020-2021 на базе 3d карт и 360-градусных панорам от марсельской цифровой студии La Phase 5.

Слева сверху — шрифт, спроектированный для затруднения японцам чтения.
Слева внизу — картинка из статьи про выращивание шрифта генетическим алгоритмом (с OCR в качестве fitness функции).
Справа внизу — шрифт Balkan Sans, совмещающий написание на кириллице и латинице (за ссылку спасибо товарищу s0me0ne).
Справа сверху — имитация медицинского почерка 280-символьным скриптом на processing.

Есть канон классической китайской поэзии, написаной на вэньяне.
А есть эзотерический язык программирования wy-lang, код на котором приближен к этому канону.

На днях Шон Ходжинс придумал собрать из 10 прозрачных экранов трёхмерный Volumetric OLED Display с разрешением 128x56x10 пикселей. Вот гитхаб проекта, а вот его отличное видео.

Лет 10 назад я купил на несуществующем бложике прототип Lightpack: странной штуки для задней подсветки монитора, визуально расширяющей экран контекстными цветами. Прототип был в виде платы с кучей хвостов с LED-дами, в собранном виде напоминал ксеноморфа в стадии лицехвата и лепился на монитор сзади на изоленту.

Штука мне понравилась, года три я ей пользовался, а потом при очередном переезде она потерялась. Недавно я откопал её в ящике, приклеил на монитор и полез искать в сети софт для управления подсветкой. Нашёл на гитхабе, скачал, ну и сразу поставил лайк репозиторию. И тут мне в телеграм написал один из авторов проекта, Миша Санников, который, оказывается, читает мой канал. Мы вспомнили проект, и Миша рассказал, какие с ним дальше были приключения: успешный кикстартер, производство в Китае, куча клонов, смена команды, провал второго кикстартера и закрытие всего проекта.

Купить его уже нигде нельзя, но сама история проекта показалась мне очень интересной, почитать её подробнее можно в серии постов Миши.

Хотел написать что-то умное, но отвлёкся на очередную поделку на базе CLIP + StyleGAN, которой нельзя не поделиться.

На этот раз автор (Travis Hoppe) взял версию StyleGAN, ранее настроенную под генерацию мультипликационных пони (в рамках проекта thisponydoesnotexist.net), и придумал искать в ней с помощью CLIP пони, похожих на знаменитостей. Сначала он формирует несколько десятков кандидатов просто генерацией по тексту вроде "A pony that looks like Elvis Presley", а потом ранжирует их дополнительно по близости CLIP-вектора к вектору фотографии знаменитости. Больше картинок и подробнестей в твиттер-треде.

Ну а если всё-таки хотите умное, почитайте про такое погружение тора в трёхмерное пространство, где возникает обезьянье седло.

Опять нет времени, так что просто пара ссылок от товарищей-читателей.

Слева гиперболический сокобан, прислал Max B.; справа четырёхмерный лабиринт от первого лица, прислал s0me0ne. Кстати, сокобан — это "кладовщик" на японском, а для обычного сокобана доказана не только NP-hardness, но и PSPACE-completeness.

А вот тут упаковка Моны Лизы в 280 байт webp-формате, чтоб влезала в твит.

Не так давно прошёл SIGBOVIK-2021 (пародийная научная конференция в Carnegie Mellon University, о которой я уже писал и даже как-то публиковался на ней). Труды можно почитать тут, а вот здесь есть twitch-стрим с докладов. В этом году году, как обычно, среди кучи стёба и треша есть несколько вполне интересных штук.

Из содержательных моё внимание привлекли:
* Soliterrible: Deterministically Unplayable Solitaire — в пасьянсе Косынка изредка бывают раздачи, в которых игрок не может сделать ни одного хода. Авторы предлагают алгоритм нахождения таких комбинаций, а также реализовали приложение, в котором все раздачи именно такие.
* Lowestcase and Uppestcase letters: Advances in Derp Learning — автор использует большую базу бесплатных шрифтов для обучения нейросети на реализацию двух функций: lowercase (сделать из большой буквы маленькую) и uppercase (наоборот). Попутно используется приём, очень напоминающий back-translation в машинном переводе с невыровненными корпусами, это позволяет пытаться научиться делать uppercase от уже заглавных букв (и lowercase от строчных). Результаты довольно жуткие, но видно, что работа проделана большая.
* openCHEAT: Computationally Helped Error bar Approximation Tool - Kickstarting Science 4.0 — авторы научили сеть дорисовывать на диаграммы фейковые доверительные интервалы, рекомендуют для повышения убедительности публикации.

Из совсем безумного юмора мне понравились:
* Back to Square One: Superhuman Performance in Chutes and Ladders Through Deep Neural Networks and Tree Search — прекрасная пародия на reinforcement learning статьи.
* The Urinal Packing Problem in Higher Dimensions — авторы обобщают задачу упаковки писсуаров до n-мерного случая и пытаются свести её к поиску maximal independent set. Напомню, что исходную одномерную задачу описал в своё время Рэндалл xkcd Манро, а я даже делал её перевод на русский.
* A Complete Survey of 0-Dimensional Computer Graphics — оставлю без комментариев.

В честь того, что нашёл прекрасную библиотеку PEmbroider под язык Processing для создания картинок, хорошо имитирующих вышивку (см картинку), сделаю ещё и подборку прочих ссылок на нёрдовую графику:

* ASCII-графика из 1969 года и статья про неё в журнале Leonardo;
* Интересная статья про методы dithering — разные способы передать полутона, используя только два цвета пикселей;
* Генерация паттернов Тьюринга на WebGL-шейдерах;
* Безумный интерактивный ASCII-арт редактор с кучей примеров;
* Проект по генерации ambigrammatic faces — лиц, которые распознаются в прямом и в перевёрнутом виде;
* Консольная утилита для генерации ASCII-бонсай деревьев.

UPD: Бдительные читатели пишут, что PEmbroider на самом деле используется для того, чтобы генерировать выкройки под автоматизированные швейные машины.

Напишу немного про проклятье размерности. Это термин, которым, в частности, называют странности многомерных пространств, от которых человеческая интуиция начинает давать сбои.

Один популярный пример выглядит так: возьмём квадрат на плоскости и впишем в него круг. Ясно, что круг закроет большую часть площади квадрата. Дальше, возьмём куб и впишем в него шар. Опять же, шар займёт большую часть объёма куба. Но вот в четырёхмерном случае гиперсфера займёт меньше трети объёма гиперкуба, а при дальнейшем повышении размерности отношение их объёмов сходится к нулю. При этом евклидово расстояние от центра n-мерного куба до любого из его 2^n углов растёт как sqrt(n), т.е. неограниченно; а основной объём пространства (т.е., например, основная часть равномерно случайно взятых точек) внутри такого куба оказывается на расстоянии от центра с матожиданием sqrt(n/3) и с убывающей к нулю дисперсией. Короче, n-мерный куб — это очень странное место, с кучей углов и пустым центром.

Другой пример — гипотеза Борсука о возможности разбиения n-мерного тела диаметром 1 на n+1 тел диаметром меньше 1. Она доказана для n<=3 и опровергнута для n>=64. Посредине — томящая неизвестность.

Всё это обычно выглядит как игры разума, не отягощённого бытовыми мелочами, однако бум нейросетей принес нам популярность всяких многомерных эмбеддингов и представлений — слов, текстов или картинок, и там такие пакости случаются регулярно. Недавно, в одной из задач мне пришлось столкнуться с такой штукой:

Возьмём, скажем, 100-мерное пространство и выберем в нём равномерно случайно из единичного гиперкуба 42 точки. Пронумеруем их в некотором случайном, но фиксированном порядке, от 1 до 42. Какова вероятность, что в нашем пространстве найдётся такая ось, в проекции на которую наши точки выстроятся в нужном порядке? Ответ: больше 99%. Кому интересно, можете посмотреть мой скрипт на питоне, которым это эмпирически можно проверить (работает довольно долго, решает системы линейных неравенств, пересекая полупространства для каждой пары точек).

В ответ на мой вчерашний пост в личку пришло сразу несколько бдительных математиков с разумными комментариями, которые я выношу в этот мини пост.

Конечно, число 42 я взял с потолка (ведь уже скоро день Полотенца), и вместо него могло быть другое число. И действительно, если немного подумать, то можно аналитически показать, что в n-мерном пространстве такую ось можно провести для любых n невырожденных точек (доказывается, например, построением базиса из векторов к этим точкам, а потом построением нужной оси в этом базисе).

Спасибо, Федя, Витя и все остальные, кто пишет мне уточнения и комментарии к моим постам :)

Ну а для тех, кому многомерные оси совсем безразличны, напишу про английскую художницу Элин Томас, которая делает из войлока и шерсти поделки в виде чашек Петри с плесенью.

Ну или почитайте стандарт на компьютерную мышь от Xerox Palo Alto Research Center 1981 года, или как организовать стеганографию с помощью шести невидимых unicode-символов

Кто достаточно давно читает этот канал, мог заметить, что я в том числе неравнодушен к узлам. Например, я уже писал про узел на системе московского метро и про британский колокольный звон, связанный с теорией кос (как и математика жонглирования, о чём мне тогда напомнило сразу несколько читателей).

А тут как-то Паша Гертман подогнал ссылку на проект, автор которого, Джон Вильямсон, сделал плагин для Blender, который из ASCII-схемы узла генерирует его 3d модель (пример слева). Я как-то показал его Бориславу, и естественно, мы тут же решили отрендерить узел Линча. Борислав нарисовал схему, а я как-то наспех сделал пререндер (справа).

Ещё про узлы:
* доклад про две разные математические нотации описания узлов,
* заметка про самый маленький узел в мире, сделанный манчестерскими химиками из 192 атомов,
* статья про то, как в прошлом году двадцатилетняя Lisa Piccirillo решила задачу о "срезанности" узла Конвея.

Опять нет времени объяснять, поэтому я вам нагенерировал детских нейро-страшилок:

В одной деревне жил дед, у него была большая семья и все дети. Как-то раз дети уснули, а их мать заметила золотые ножи в изголовье кровати. Она вызвала милицию. Приехала милиция и все увидели серебряные ножи на тумбочке возле тумбочки с золотыми ножами. Они были такие же как те.
Отец побежал за помощью и милиционеры стали обыскивать избушку деда. Но ничего не нашли, кроме золотых ножей и коробок от детских леденцов.

* * *

У одной девочки была белая комната, которую она каждое утро и вечер украшала розами.
Девочка попросила у бабушки белые перчатки, а та ей сказала:
— Не носи их на ночь!
Но девочка не послушалась, надела перчатки и пошла к бабушке в гости, но как только вошла туда, то увидела перед собой живую ногу... Девочка испугалась до смерти и убежала из квартиры. Она подумала, что это привидение.

* * *

У одной девочки были красные зубы. И ей было все равно, есть у нее родители или нет. Но однажды мама спросила ее:
— Тебе не стыдно ночью открывать дверь?
Отец дома был. Он увидел ее в окно и закричал:
— Это ты заперла комнату! — Схватил её за горло, но она вырвала нож из его рук и убежала. Мать осталась одна на свете с пустыми руками.

* * *

В одном городе жил-был один профессор. Он, правда, не был врачом, но имел диплом и много денег на свое лечение. Жил он с женой в одной квартире, которая находилась за углом. Профессор часто приходил к ним домой, смотрел, как они тут жили. И однажды одна женщина ему сказала, что у профессора ночью пошла кровь из пальца, а потом пошла красная кровяная дорожка.
Дело это раскрылось. Всех, кто видел эту женщину с красным ногтем, нашли мертвыми.

Тысячу нейро-страшилок можете почитать тут.

Посмотрите, какая классная карта маяков Ирландии (с реальным расписанием и паттернами вспышек от www.irishlights.ie), автор -- Neil Southall.

Или почитайте препринт нашей статьи про валидацию метрик кластеризации, которую сегодня взяли на ICML 2021.

Узнал, что океанские корабли оставляют за собой долго сохраняющиеся следы, как трактор в грязи.
Их видно на инфракрасных спутниковых снимках, и учёные на гранте NASA обучили сверточную сетку их распознавать.

А вот другая сетка, обученная восстанавливать фотографии, заваленные в чёрный.

И суровая онлайн игра, где надо набирать формулы в TeX-е на время.

Визуализация географии гибели разных шахматных фигур. Источник.

Напомню, на ту же тему была развёрнутая научная статья Survival in chessland на SIGBOVIK 2019.

Давненько не писал, постараюсь исправиться. Вот вам в рамках рубрики "странные роботы":

Была такая южнокорейская компания Hankook Mirae Technology, делала суровые экзоскелеты (в духе MechWarrior). Про них снимали документалки, и Безос брал у них такого покататься буквально 5 лет назад. Потом вдруг выяснилось нехорошее: владелец компании в минуты душевного томления избивал сотрудников, стрелял по ним из пневматики, заставлял их убивать куриц и делал другие интересные вещи. В общем, в прошлом году его посадили на 7 лет (но суды по разным дополнительным обвинениям ещё продолжаются), а от компании не осталось даже сайта.

Кстати, дизайн этого экзоскелета заказывали у Виталия Булгарова, известного индустриального дизайнера (в том числе делал проекты для фильмов Призрак в доспехах, Трансформеры 4 и т.п.). У него на сайте много мощных работ, рекомендую.

Ну а если вам такое страшно, посмотрите американский календарь праздников еды — сегодня, например, национальный день творческих вкусов мороженого.

[Задумчиво] Тут на днях в одном чатике Борислав высказался в том смысле, что некоторые онлайн диалоги не мешало бы оживить авторскими ремарками, как в пьесах. А я в ответ сформулировал мысль, что такие ремарки суть эмодзи культурного человека и их, как и эмодзи, надо, конечно же, генерировать нейросетью.

Написание плагина для браузера, автоматически оформляющего таким образом общение в соцсеточках, я оставил на пенсию, а пока наваял простенький прототип. Работает местами отменно:

[перебивает] Ты когда-нибудь слушал тишину, Ежик?
[в зал] Слушал.
[смущенно] И что?
[устало] А ничего. Тихо.
[поворачиваясь к стене] А я люблю, когда в тишине что-нибудь шевелится.
[улыбаясь] Приведи пример.
[с иронией] Ну, например, гром.

* * *

[изумленно] Кто это такой Шварценгольд?
[все эти слова прочитывая вслух] Ефим Львович Шварценгольд это выдающийся физик, ведущий специалист в мире в 
области охлаждения металла, на секундочку.
[вдруг начинает понимать, что он сумасшедший] Ты откуда это знаешь?…
[перебивает] Ну хорошо, это мой дедушка…

* * *

[в сторону] Я мужчина хоть куда! В полном расцвете сил.
[с восхищением] Да-а? А в каком возрасте бывает этот… расцвет сил?
[мрачно] Ну, знаешь, э-э-м-м… Не будем об этом говорить.

Больше примеров, а также колаб с работающим прототипом я вам выложил на гитхаб.

В Шотландии есть такое явление, как тартаны. Это текстильные узоры, уникальные для районов, кланов, семей, ... (примеры на рис.А); исторически играют роль, схожую с ролью герба; используются при создании килтов, платков и всякого другого. Первый сохранившийся тартан, Falkirk, датирован примерно 250 годом, а вообще их множество — в государственном реестре сейчас зарегистрировано 3000+.

На вид они довольно разные, но при этом просто параметризуются порождающими кодами вроде G106R26B4Y44 или G24K8G2K8, так что сразу хочется начать их генерировать, и тут уже есть twitter-бот alltartans (правда, несколько отходящий от канона, рис.В). С другой стороны, эти паттерны похожи на недостроенные фракталы, так что есть попытки рисовать гиперболические тартаны (рис.С). А ещё квадрат канторова множества называется Cantor Tartan (и похож на несущую структуру для ковра Серпинского, рис.D); и кто-то зачем-то пытается ввести на ней исчисление.

А пока я писал этот пост, открыл для себя странную ковровую секту Triangle Frenzy.