Работы много, новостей мало, продолжу рассказывать про старый блог компании Neuromation. Главное всегда люди, так что давайте начну с нескольких постов, которые мы писали вместе с тогдашними сотрудниками Neuromation. Я, естественно, переношу не все посты, а те, к которым сам руку приложил и в которых есть какое-то содержание, квартальными отчётами и новостями про нейротокены спамить вас не буду.
Поспамлю вместо этого серией NeuroNuggets, которую мы писали вместе с сотрудниками Neuromation в 2018-м. Там в каждом посте будет ещё реклама нашей платформы, на которой типа всё это можно было запустить и которая уже давно не актуальна, но я для честности вырезать ничего не стал. А содержательная часть там на самом деле довольно вечная, до сих пор на лекциях про object detection, например, рассказываю о семействе R-CNN.
NeuroNuggets: Age and Gender Estimation — пост с Рауфом Курбановым о моделях оценки пола и возраста по фото
NeuroNuggets: Object Detection — с Алексеем Артамоновым о распознавании объектов
NeuroNuggets: Segmentation with Mask R-CNN — с Анастасией Гайдашенко о сегментации и в частности о Mask R-CNN, это тогда очень "горячая" модель была
NeuroNuggets: Style Transfer — с Кириллом Трусковским о нейронном переносе стиля, тогда это только начиналось
NeuroNuggets: Understanding Human Poses in Real-Time — с Арсением Поезжаевым о pose estimation
NeuroNuggets: What Do Deep Learning Frameworks Do, Exactly? — а с Октаем Татановым мы написали сразу два поста о том, что все фреймворки глубокого обучения представляют собой библиотеки для автоматического дифференцирования, а остальное уже детали; это первый
NeuroNuggets: An Overview of Deep Learning Frameworks — а это второй, в котором в нашем сравнении Tensorflow, Keras и PyTorch ещё в 2018-м уверенно победил PyTorch)
DeepGlobe Challenge: Three Papers from Neuromation Accepted! — пост не из серии NeuroNuggets, но представляющий Сергея Голованова, который был одной из главных движущих сил команды, которая там затащила одно из соревнований
Chief Research Officer Sergey Nikolenko on Knowledge Mining — а это какое-то моё старое интервью, особого смысла уже не имеющее, но в нём сохранилась моя очень смешная фотография тех времён, так что без самолюбования пост не обойдётся)
Жаль, не было у нас NeuroNuggets с Алексеем Давыдовым или Александром Рахлиным, которые стояли за другими статьями на DeepGlobe, или с Алексеем Шабановым, который чуть позже присоединился. Ну да ничего, волна ностальгии когда-нибудь обязательно дойдёт и до них.
Поспамлю вместо этого серией NeuroNuggets, которую мы писали вместе с сотрудниками Neuromation в 2018-м. Там в каждом посте будет ещё реклама нашей платформы, на которой типа всё это можно было запустить и которая уже давно не актуальна, но я для честности вырезать ничего не стал. А содержательная часть там на самом деле довольно вечная, до сих пор на лекциях про object detection, например, рассказываю о семействе R-CNN.
NeuroNuggets: Age and Gender Estimation — пост с Рауфом Курбановым о моделях оценки пола и возраста по фото
NeuroNuggets: Object Detection — с Алексеем Артамоновым о распознавании объектов
NeuroNuggets: Segmentation with Mask R-CNN — с Анастасией Гайдашенко о сегментации и в частности о Mask R-CNN, это тогда очень "горячая" модель была
NeuroNuggets: Style Transfer — с Кириллом Трусковским о нейронном переносе стиля, тогда это только начиналось
NeuroNuggets: Understanding Human Poses in Real-Time — с Арсением Поезжаевым о pose estimation
NeuroNuggets: What Do Deep Learning Frameworks Do, Exactly? — а с Октаем Татановым мы написали сразу два поста о том, что все фреймворки глубокого обучения представляют собой библиотеки для автоматического дифференцирования, а остальное уже детали; это первый
NeuroNuggets: An Overview of Deep Learning Frameworks — а это второй, в котором в нашем сравнении Tensorflow, Keras и PyTorch ещё в 2018-м уверенно победил PyTorch)
DeepGlobe Challenge: Three Papers from Neuromation Accepted! — пост не из серии NeuroNuggets, но представляющий Сергея Голованова, который был одной из главных движущих сил команды, которая там затащила одно из соревнований
Chief Research Officer Sergey Nikolenko on Knowledge Mining — а это какое-то моё старое интервью, особого смысла уже не имеющее, но в нём сохранилась моя очень смешная фотография тех времён, так что без самолюбования пост не обойдётся)
Жаль, не было у нас NeuroNuggets с Алексеем Давыдовым или Александром Рахлиным, которые стояли за другими статьями на DeepGlobe, или с Алексеем Шабановым, который чуть позже присоединился. Ну да ничего, волна ностальгии когда-нибудь обязательно дойдёт и до них.
❤11🔥5
Пятничный пост!
Selfloss
Я купил эту игру просто как инди в нравящемся мне духе; слова Goodwin Games ничего мне не сказали. Но потом начал замечать, что хотя пейзажи и многие имена весьма скандинавские, а берёзок немало и там, сплавляешься ты всё-таки по реке Лене, духи-женщины летают в кокошниках, а потом и вовсе злой колдун оказался Кощеем, а в одной из глав встретилась буквальная Баба-Яга и её изнакурнож. И действительно, эту игру сделали два петербуржца и петербурженка, а в конце титров была даже трогательная благодарность друзьям и коллегам по Университету ИТМО.
Selfloss очень красиво сделана; атмосферно, разнообразно, эмоционально. В игре пять глав, и хотя они все про платформинг и плавание на лодочке, они действительно разные, и каждый сеттинг хорош. Геймплей весьма однообразный — загадки прямолинейные, а сражения, кроме боссов, неинтересные — но мне он за семь часов надоесть не успел. В игре богатый лор, выстроен любопытный мир... но он с историей как-то не очень связан, и создаётся впечатление, что лор добавлен отдельно от игры. Надеюсь, что в этом мире будут и другие игры (как было в SteamWorld).
Сама история тоже вызывает вопросики. Казалось бы, всё как мы любим: старый лекарь Казимир собирается умирать, а по дороге на тот свет вспоминает свою тяжёлую (без шуток) жизнь и помогает проститься с миром разным существам, выполняя тот самый ритуал selfloss. Но в конце вдруг всё переворачивается; с одной стороны, финальный твист — это хорошая традиция, но с другой, тут это ничем не подготовлено и оставляет только разочарование.
Впрочем, в остальном история мощная, и в целом игра мне очень даже понравилась. Как почти дебютный проект крошечной инди-студии это вообще шедевр, но и без всяких скидок пройти за пару вечеров было приятно. Рекомендую.
Sorcery! Parts 1 & 2
После того как я рассказал об Overboard! и Expelled! от Inkle Studios, мне посоветовали посмотреть ещё и их более ранние проекты, основанные на серии фэнтезийных книг-игр Sorcery! (название такое, с восклицательным знаком). Книги написал Стив Джексон, и я уже собрался было рассказать вам про GURPS... но выяснилось, что это совсем другой Стив Джексон, британский, и с американским его часто путают, особенно учитывая, что американский Стив Джексон тоже писал книги в той же серии.
В общем, первые две части — это буквально книга-игра: ты теоретически ходишь по карте фишкой, но реально в каждый момент времени выбираешь из нескольких вариантов развития событий. Есть простенькая, но рабочая механика сражений, и есть возможность произносить заклинания, но в остальном это буквально multiple choice. Сюжет абстрактно-фэнтезийный, без метаиронии и особых изысков, но своей утилитарной цели он служит хорошо. Прошёл первые две части за два вечера в целом с интересом, рекомендую ознакомиться.
Sorcery! Part 3
К третьей части Inkle немножко подразогналась, и третья часть хоть и выполнена в том же стиле, но уже гораздо больше по размеру, загадки в ней стали куда масштабнее и сложнее, появились дополнительные механики, связанные с картой...
Но мне кажется, что это не пошло игре на пользу. Хотя суть происходящего вообще не изменилась, там единая история продолжается насквозь через все четыре части, от Sorcery! Part 3 я уже изрядно, как говорится, подзадушился. А может, просто надоело одно и то же, в итоге суммарно три книги-игры перевалили за десять часов. Да ещё и это постоянное ощущение, что ты пропускаешь много интересного, потому что оно скрыто за неочевидными действиями.
В итоге я кое-как, подсматривая в прохождение, дошёл до конца третьей части, но за четвёртую уже браться не стал. Но первую часть всё равно рекомендую попробовать, особенно если вы в целом любитель такой interactive fiction; то, что эти игры призваны делать, они делают хорошо.
Selfloss
Я купил эту игру просто как инди в нравящемся мне духе; слова Goodwin Games ничего мне не сказали. Но потом начал замечать, что хотя пейзажи и многие имена весьма скандинавские, а берёзок немало и там, сплавляешься ты всё-таки по реке Лене, духи-женщины летают в кокошниках, а потом и вовсе злой колдун оказался Кощеем, а в одной из глав встретилась буквальная Баба-Яга и её изнакурнож. И действительно, эту игру сделали два петербуржца и петербурженка, а в конце титров была даже трогательная благодарность друзьям и коллегам по Университету ИТМО.
Selfloss очень красиво сделана; атмосферно, разнообразно, эмоционально. В игре пять глав, и хотя они все про платформинг и плавание на лодочке, они действительно разные, и каждый сеттинг хорош. Геймплей весьма однообразный — загадки прямолинейные, а сражения, кроме боссов, неинтересные — но мне он за семь часов надоесть не успел. В игре богатый лор, выстроен любопытный мир... но он с историей как-то не очень связан, и создаётся впечатление, что лор добавлен отдельно от игры. Надеюсь, что в этом мире будут и другие игры (как было в SteamWorld).
Сама история тоже вызывает вопросики. Казалось бы, всё как мы любим: старый лекарь Казимир собирается умирать, а по дороге на тот свет вспоминает свою тяжёлую (без шуток) жизнь и помогает проститься с миром разным существам, выполняя тот самый ритуал selfloss. Но в конце вдруг всё переворачивается; с одной стороны, финальный твист — это хорошая традиция, но с другой, тут это ничем не подготовлено и оставляет только разочарование.
Впрочем, в остальном история мощная, и в целом игра мне очень даже понравилась. Как почти дебютный проект крошечной инди-студии это вообще шедевр, но и без всяких скидок пройти за пару вечеров было приятно. Рекомендую.
Sorcery! Parts 1 & 2
После того как я рассказал об Overboard! и Expelled! от Inkle Studios, мне посоветовали посмотреть ещё и их более ранние проекты, основанные на серии фэнтезийных книг-игр Sorcery! (название такое, с восклицательным знаком). Книги написал Стив Джексон, и я уже собрался было рассказать вам про GURPS... но выяснилось, что это совсем другой Стив Джексон, британский, и с американским его часто путают, особенно учитывая, что американский Стив Джексон тоже писал книги в той же серии.
В общем, первые две части — это буквально книга-игра: ты теоретически ходишь по карте фишкой, но реально в каждый момент времени выбираешь из нескольких вариантов развития событий. Есть простенькая, но рабочая механика сражений, и есть возможность произносить заклинания, но в остальном это буквально multiple choice. Сюжет абстрактно-фэнтезийный, без метаиронии и особых изысков, но своей утилитарной цели он служит хорошо. Прошёл первые две части за два вечера в целом с интересом, рекомендую ознакомиться.
Sorcery! Part 3
К третьей части Inkle немножко подразогналась, и третья часть хоть и выполнена в том же стиле, но уже гораздо больше по размеру, загадки в ней стали куда масштабнее и сложнее, появились дополнительные механики, связанные с картой...
Но мне кажется, что это не пошло игре на пользу. Хотя суть происходящего вообще не изменилась, там единая история продолжается насквозь через все четыре части, от Sorcery! Part 3 я уже изрядно, как говорится, подзадушился. А может, просто надоело одно и то же, в итоге суммарно три книги-игры перевалили за десять часов. Да ещё и это постоянное ощущение, что ты пропускаешь много интересного, потому что оно скрыто за неочевидными действиями.
В итоге я кое-как, подсматривая в прохождение, дошёл до конца третьей части, но за четвёртую уже браться не стал. Но первую часть всё равно рекомендую попробовать, особенно если вы в целом любитель такой interactive fiction; то, что эти игры призваны делать, они делают хорошо.
❤11👍3
Давеча мне для одного проекта нужно было сделать широкий поиск по всем топ-конференциям в нашей области за последние годы. Это было кстати для того, чтобы попробовать способности GPT-5 к программированию (впрочем, я и более серьёзным проектом уже его тестировал, но тот показать вряд ли смогу).
В итоге GPT-5 написал мне прекрасный скрейпер для всех топ-конференций, и я задумался, что из этого можно сделать. Рисовать тематические кластеры полезно для дела, но уже давно совсем никому не интересно, very 2015. Вот первая небольшая идея, которую мы с GPT-5 реализовали на моём сайте:
Figure Roulette
Это игра "угадай статью по картинке": вам показывают иллюстрацию, вырезанную из статьи, и дают пять вариантов названия. Нужно угадать правильный; игра рудиментарно ведёт счёт внутри вашей сессии, но, конечно, никаких пользователей с авторизацией я к ней не прикручивал. Наверняка там куча багов и недоделок, но вроде забавная штука получилась, а если не работает, попробуйте full refresh.) Добавил пока два NeurIPS'а, но легко будет добавить и ещё, если вдруг это кому-то будет интересно.
Надо сказать, что даже в этой поделке спрятано довольно много нетривиальных подзадач:
— скрейпер, скачивающий статьи с конференций и отдельно ходящий к openalex и crossref за информацией об авторах (увы, её всё равно маловато, очень часто аффилиации нигде не находятся);
— скрипт, вырезающий картинки из pdf; он, конечно, на основе внешнего тула, pdffigures2, но всё равно скрипт немаленький вышел;
— порождение вариантов ответов; это тоже отдельная штука на основе ближайших соседей из paragraph-level embeddings (BGE-M3 в данном случае);
— фронтенд самой игры к моему сайту на next.js, а также ещё сопутствующие вещи вроде того, как и где хранить все эти картинки.
Оценить, лучше ли GPT-5, чем o3[-pro], которой я раньше пользовался, на паре примеров сложно, но одну вещь я уже точно заметил: в GPT-5 очень крутая работа с контекстом. У меня были два супер-длинных чатика, связанных с двумя проектами, и GPT-5 ни разу не потерял контекст, не зашёл в порочный круг, всё время отвечал по делу, и начинать новый чат ни разу не хотелось. Это были первые случаи в истории моего взаимодействия с LLM, когда обновлять контекст приходилось не потому, что для LLM так будет лучше, а потому, что само приложение начинало безбожно тормозить, загружая гигантские чаты.
Может быть, у вас есть идеи, что ещё сделать с этими данными? Считайте, что у меня есть все статьи с A*-конференций по AI за последние пару лет, включая абстракты и pdf.
В итоге GPT-5 написал мне прекрасный скрейпер для всех топ-конференций, и я задумался, что из этого можно сделать. Рисовать тематические кластеры полезно для дела, но уже давно совсем никому не интересно, very 2015. Вот первая небольшая идея, которую мы с GPT-5 реализовали на моём сайте:
Figure Roulette
Это игра "угадай статью по картинке": вам показывают иллюстрацию, вырезанную из статьи, и дают пять вариантов названия. Нужно угадать правильный; игра рудиментарно ведёт счёт внутри вашей сессии, но, конечно, никаких пользователей с авторизацией я к ней не прикручивал. Наверняка там куча багов и недоделок, но вроде забавная штука получилась, а если не работает, попробуйте full refresh.) Добавил пока два NeurIPS'а, но легко будет добавить и ещё, если вдруг это кому-то будет интересно.
Надо сказать, что даже в этой поделке спрятано довольно много нетривиальных подзадач:
— скрейпер, скачивающий статьи с конференций и отдельно ходящий к openalex и crossref за информацией об авторах (увы, её всё равно маловато, очень часто аффилиации нигде не находятся);
— скрипт, вырезающий картинки из pdf; он, конечно, на основе внешнего тула, pdffigures2, но всё равно скрипт немаленький вышел;
— порождение вариантов ответов; это тоже отдельная штука на основе ближайших соседей из paragraph-level embeddings (BGE-M3 в данном случае);
— фронтенд самой игры к моему сайту на next.js, а также ещё сопутствующие вещи вроде того, как и где хранить все эти картинки.
Оценить, лучше ли GPT-5, чем o3[-pro], которой я раньше пользовался, на паре примеров сложно, но одну вещь я уже точно заметил: в GPT-5 очень крутая работа с контекстом. У меня были два супер-длинных чатика, связанных с двумя проектами, и GPT-5 ни разу не потерял контекст, не зашёл в порочный круг, всё время отвечал по делу, и начинать новый чат ни разу не хотелось. Это были первые случаи в истории моего взаимодействия с LLM, когда обновлять контекст приходилось не потому, что для LLM так будет лучше, а потому, что само приложение начинало безбожно тормозить, загружая гигантские чаты.
Может быть, у вас есть идеи, что ещё сделать с этими данными? Считайте, что у меня есть все статьи с A*-конференций по AI за последние пару лет, включая абстракты и pdf.
👍18🔥8