Жалкие низкочастотники
9.56K subscribers
194 photos
7 videos
203 links
Реклама не продаётся и не покупается!

Это мой (@aLtsoph) персональный канал безумных ссылок. Ожидаются: безумные картинки, странная математика, кибернекрофилия, нёрдовский юмор. English: bit.ly/2JadW5b. Правила: https://t.me/pathetic_low_freq/285
Download Telegram
to view and join the conversation
Напишу немного про создание языков. Я уже как-то упоминал про Interslavic, но есть и другие странные штуки. На сленге специально рассчитанные языки называются conlangs (constructed languages), а люди, которые их делают — conlangers. Самый известный conlanger, конечно, Толкиен, но есть и другие. Например, Дэвид Питерсон — он, в частности, создал пару языков для Игры Престолов. У Дэвида есть неплохая книга "Искусство создания языков", я её ещё не дочитал, но посмотрел запись его прошлогодней лекции "сделаем язык за час" в лектории Гугла. А для тех, кому не хочется самостоятельно разбираться с построением непротиворечивой системы фонетики, морфологии и так далее, есть готовые генераторы, например, рекомендую посмотреть систему Vulgar.

Ну или можно просто сыграть в игру "отличи имя персонажа Толкиена от названия антидепрессанта" или почитать про проект перевода фразы "мойте руки" на 500 обычных человеческих языков.
This media is not supported in your browser
VIEW IN TELEGRAM
Что-то все молчат про ThisAnimeDoesNotExist. Много их уже было, но тут качество заметно выше предыдущих, и есть классный видео режим прямо на сайте. Автор модели Aydao, фронт от NearCyan, подробный разбор технической части от Gwern.
Немного напишу про CLIP, как это работает и что с ним можно сделать.

Как все уже слышали, OpenAI в начале января анонсировала (но не выложила и даже пока толком не описала) модель DALL-E, которая (судя по отобранным примерам) очень неплохо рисует картинки по текстовому описанию. Поиграть с отобранными примерами можно на странице проекта, но это не так интересно. Интереснее, что они выложили отдельную модель CLIP, которую использовали в DALL-E. Этот самый CLIP умеет переводить тексты и картинки в вектора одного общего латентного многомерного пространства. Другими словами, он сопоставляет любой картинке или любому тексту вектор чисел фиксированной длины, причём так, что у надписи, подходящей к картинке, числа будут близкими к числам самой картинки. Вот тут можно посмотреть на случайные области картинок в этом пространстве.

С момента публикации народ начал пытаться использовать CLIP для генерации картинок. В открытом доступе есть много неплохих GAN-моделей, использующих своё собственное латентное многомерное пространство, каждой точке которого соответствует картинка, а близким точкам -- близкие картинки. (Там бывают и осмысленные направления, о которых пишутся научные статьи, но нам сейчас это не так важно.) К сожалению, пространства CLIP и какого-нибудь GAN никак не связаны. Но всё равно можно организовать поиск подходящей картинки, упрощённо говоря, так: начинаем из любой точки пространства GAN, делаем из неё картинку, картинку отдаём CLIP и смотрим, насколько далеко мы от точки в пространстве CLIP, заданной целевым текстом, и куда надо сдвинуться в пространстве GAN. И так ползём в сторону текста.

Самое бодрое из таких попыток, что я видел за этот месяц — проект Райена Мёрдока The Big Sleep на базе BigGAN. Народ вроде собирается поднять для проекта отдельный сайт, а пока можно поиграться в авторский колаб (или в русскую адаптацию колаба от @bomze). Работает оно жутко медленно и довольно криво, и конкретные объекты (особенно не из ImageNet-а) ему даются плохо. Но если проявить воображение и набрасывать абстрактные запросы, то можно наловить неплохих картинок.

В следующей пачке картинок одна — от автора модели ("a cityscape in the style of Van Gogh"), остальные — мои: "8-bit forest", "Escher's space", "Sierpinski hat" и "Hokusai Christmas".
Нет времени объяснять, поэтому вот вам 2 картинки, наглядно демонстрирующие искажения проекции Меркатора. Вариант с мандарином отсюда, автора варианта с головой я не нашёл, но обнаружил, что идея использовать лицо для демонстрации искажений гео-проекций восходит как минимум к книге 1921 года.
Я недавно писал про проекты по генерации картинки по тексту с помощью сетки CLIP, а тут я решил попробовать обратную схему: собрал поиск точки в пространстве сети Optimus (это такой текстовый VAE), оптимальной с точки зрения близости к картинке в CLIP-пространстве. В целом, получилось довольно плохо, судя по всему, из-за характеристик самого пространства Optimus, буду думать и пробовать ещё. Но на сдачу получился простой скрипт, который просто выбирает подпись к картинке из заранее фиксированного пула текстов.

В качестве базы для экспериментов я взял ~8000 заголовков сатирического новостного агентства The Onion (это такой англоязычный прообраз ИА Панорама), и внезапно получилось очень смешно. Вот вам 4 примера на картинке и колаб, где можете попробовать сами с любой своей картинкой (а чуть поправив код -- и со своей базой текстов).
Очень рекомендую атмосферную интерактивную экскурсию по Марселю 2020-2021 на базе 3d карт и 360-градусных панорам от марсельской цифровой студии La Phase 5.
Слева сверху — шрифт, спроектированный для затруднения японцам чтения.
Слева внизу — картинка из статьи про выращивание шрифта генетическим алгоритмом (с OCR в качестве fitness функции).
Справа внизу — шрифт Balkan Sans, совмещающий написание на кириллице и латинице (за ссылку спасибо товарищу s0me0ne).
Справа сверху — имитация медицинского почерка 280-символьным скриптом на processing.
Есть канон классической китайской поэзии, написаной на вэньяне.
А есть эзотерический язык программирования wy-lang, код на котором приближен к этому канону.
This media is not supported in your browser
VIEW IN TELEGRAM
На днях Шон Ходжинс придумал собрать из 10 прозрачных экранов трёхмерный Volumetric OLED Display с разрешением 128x56x10 пикселей. Вот гитхаб проекта, а вот его отличное видео.
This media is not supported in your browser
VIEW IN TELEGRAM
Лет 10 назад я купил на несуществующем бложике прототип Lightpack: странной штуки для задней подсветки монитора, визуально расширяющей экран контекстными цветами. Прототип был в виде платы с кучей хвостов с LED-дами, в собранном виде напоминал ксеноморфа в стадии лицехвата и лепился на монитор сзади на изоленту.

Штука мне понравилась, года три я ей пользовался, а потом при очередном переезде она потерялась. Недавно я откопал её в ящике, приклеил на монитор и полез искать в сети софт для управления подсветкой. Нашёл на гитхабе, скачал, ну и сразу поставил лайк репозиторию. И тут мне в телеграм написал один из авторов проекта, Миша Санников, который, оказывается, читает мой канал. Мы вспомнили проект, и Миша рассказал, какие с ним дальше были приключения: успешный кикстартер, производство в Китае, куча клонов, смена команды, провал второго кикстартера и закрытие всего проекта.

Купить его уже нигде нельзя, но сама история проекта показалась мне очень интересной, почитать её подробнее можно в серии постов Миши.
Хотел написать что-то умное, но отвлёкся на очередную поделку на базе CLIP + StyleGAN, которой нельзя не поделиться.

На этот раз автор (Travis Hoppe) взял версию StyleGAN, ранее настроенную под генерацию мультипликационных пони (в рамках проекта thisponydoesnotexist.net), и придумал искать в ней с помощью CLIP пони, похожих на знаменитостей. Сначала он формирует несколько десятков кандидатов просто генерацией по тексту вроде "A pony that looks like Elvis Presley", а потом ранжирует их дополнительно по близости CLIP-вектора к вектору фотографии знаменитости. Больше картинок и подробнестей в твиттер-треде.

Ну а если всё-таки хотите умное, почитайте про такое погружение тора в трёхмерное пространство, где возникает обезьянье седло.
Опять нет времени, так что просто пара ссылок от товарищей-читателей.

Слева гиперболический сокобан, прислал Max B.; справа четырёхмерный лабиринт от первого лица, прислал s0me0ne. Кстати, сокобан — это "кладовщик" на японском, а для обычного сокобана доказана не только NP-hardness, но и PSPACE-completeness.

А вот тут упаковка Моны Лизы в 280 байт webp-формате, чтоб влезала в твит.
Не так давно прошёл SIGBOVIK-2021 (пародийная научная конференция в Carnegie Mellon University, о которой я уже писал и даже как-то публиковался на ней). Труды можно почитать тут, а вот здесь есть twitch-стрим с докладов. В этом году году, как обычно, среди кучи стёба и треша есть несколько вполне интересных штук.

Из содержательных моё внимание привлекли:
* Soliterrible: Deterministically Unplayable Solitaire — в пасьянсе Косынка изредка бывают раздачи, в которых игрок не может сделать ни одного хода. Авторы предлагают алгоритм нахождения таких комбинаций, а также реализовали приложение, в котором все раздачи именно такие.
* Lowestcase and Uppestcase letters: Advances in Derp Learning — автор использует большую базу бесплатных шрифтов для обучения нейросети на реализацию двух функций: lowercase (сделать из большой буквы маленькую) и uppercase (наоборот). Попутно используется приём, очень напоминающий back-translation в машинном переводе с невыровненными корпусами, это позволяет пытаться научиться делать uppercase от уже заглавных букв (и lowercase от строчных). Результаты довольно жуткие, но видно, что работа проделана большая.
* openCHEAT: Computationally Helped Error bar Approximation Tool - Kickstarting Science 4.0 — авторы научили сеть дорисовывать на диаграммы фейковые доверительные интервалы, рекомендуют для повышения убедительности публикации.

Из совсем безумного юмора мне понравились:
* Back to Square One: Superhuman Performance in Chutes and Ladders Through Deep Neural Networks and Tree Search — прекрасная пародия на reinforcement learning статьи.
* The Urinal Packing Problem in Higher Dimensions — авторы обобщают задачу упаковки писсуаров до n-мерного случая и пытаются свести её к поиску maximal independent set. Напомню, что исходную одномерную задачу описал в своё время Рэндалл xkcd Манро, а я даже делал её перевод на русский.
* A Complete Survey of 0-Dimensional Computer Graphics — оставлю без комментариев.