Решение задачи про гномиков

Пришло время опубликовать ответ к предыдущей задаче

Есть такое понятие - бит четности. Оно используется в алгоритмах передачи данных. Суть следующая: при передаче последовательности бит (нулей/единиц) в последовательность добавляют еще один бит. Если количество единиц в последовательности четное, он равен единице, иначе нулю.

Эта идея используется в решении задачи. Пусть красные шапки - 0, синие - 1. Первый гном считает бит четности всех впереди стоящих гномов, называет его и умирает с вероятностью 50%. Второй гном считает бит четности по гномам впереди себя. Он сравнивает с ответом предыдущего гнома. Если значение бита четности изменилось, то на втором гноме шапка цвет которой мы приняли за 1, то есть синяя. Иначе красное.

7 сентября буду выступать на PracticalML Conf. Кажется будет хорошая конфа, приходите! (офлайн или онлайн)

https://pmlconf.yandex.ru/

Приложение для заметок, которое вас удивит

Я тут подсел на новый инструмент для ведения заметок - logseq

Заметки я веду очень давно, с 2010 года. Первой моей программой был Evernote. Со временем я использовал самые разные инструменты и последние несколько лет сижу на Notion.

Notion сперва отталкивал своей сложностью, но в какой-то момент он стал превосходить все остальные инструменты. И удобный интерфейс, и возможность делать мои любимые древовидные иерархии страниц, как в confluence, и поделиться с другими можно в один клик

Logseq на самом деле не замена Notion. Он закрывает совсем другую задачу. Notion хорошо подходит, чтобы структурировать информацию. Logseq нужен для заметок в потоке. Как это работает

Каждый день у вас есть bullet-лист для заметок. Вы в нем свободно пишете, попутно ставя теги. Теги превращаются в самостоятельные страницы, на которых можно писать, а также там есть все кусочки текста, в которых они упоминаются.

Таким нехитрым образом получается граф заметок. Подход logseq естественно подходит для записывания мыслей. Раньше в Notion у меня была заметка под названием черновик, которую периодически приходилось разбирать. Logseq делает процесс записи мыслей

Кому интересно, посмотрите вот это видео

#productivity

Подкаст после работы - обновления

Вышел второй выпуск Подкаста После Работы с замечательной Аней Бочкановой. Он получился интересным. Немного про работу, немного про жизнь.

На данный момент мы решили поставить выпуск на паузу, по крайней мере в таком формате, подкаст перейдет в руки Дани. Я очень рад тому, что мы по сути выпустили полноценный сезон годного контента. Даня, Макс, вы офигенные напарники, затащили огромный объем работы! 💪

Уверен, что через какое-то время вернусь к подкастингу и выпущу что-нибудь новое

А вот кстати видео моего доклада

#tech

Прорывы в нейронауках

Помимо основной работы я немного занимаюсь машинным обучением в нейронауках.

Сегодня хочу рассказать про исследование, которое в августе вышло в Nature, и которое меня поразило.

https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full

С помощью имплантированых в кору микроэлектродов (так называемая electocorticography, ECoG) удалось достичь распознавания речи на достаточном для повседневной жизни уровне. Такой имплант может вернуть речь людям, которые в силу заболеваний утратили возможность говорить.

Как работает такой имплант. Исследование проводилось на одном пациенте, 67-летней женщине с амиотрофическмм склерозом, которая в течении нескольких дней «записывала» заданные экспериментаторами предложения. На сигналах с 64 электродов обучали рекуррентную нейронную сеть на предсказание фонем. Модель выдавала вероятность фонем для каждого момента времени (с окном 80мс). Далее эти вероятности уточнялись с помощью языковой модели (т.е. модель, которая содержит вероятности какие фонемы после каких обычно идут)

В результате удалось получить распознавание речи в реальном времени с ошибкой в 21% на большом корпусе слов и 9% на 50 основных словах и скоростью распознавания более 60 слов в минуту.

Это феноменальный результат. Да, по сути нейросеть нужно обучать на каждом отдельном пациенте и это требует с его стороны немалых усилий. Но результат позволяет вернуть человеку речь.

Насколько я читал, имплант BrainGate2, используемый в данном исследовании, может устанавливаться на 10 лет.

#tech

Интервью Дарона Аджемоглу

Когда-то в этом канале я рекомендовал Гришу Мастридера, но честно говоря моя любовь к нему как-то угасла. Во многом потому что он начал заниматься инфобизнесом

Но за последнее время он выпустил пару интересных интервью. Одно с Даниилом Дубовым (топовым шахматистом). А вот теперь с автором книги Почему одни страны богатые, а другие бедные, Дароном Аджемоглу.

Книгу мне советовал Жора Таранов и на меня она произвела яркое впечатление. В общем, кто читал, да и все остальные думаю тоже, с удовольствием послушают интервью с этим очень интересным человеком

https://youtu.be/HNdUxFIIhwo?si=vPEN1TXgkU2iuvAt

Креативщикам респект 🔥 посмеялся от души 😂

Локация: по дороге от Филей к офису Сбера

Ps. Что получить промокод нужно запустить код на питоне)
Pps. Главное чтобы не под рутом запускали, а то будет как в меме про перловский однострочник

#memes

Фридман x Цукерберг. И про мое восприятие технологического роста

Кто не знает, Лекс Фридман - это американский Дудь, ведущий популярного подкаста. Однако он является AI исследователем и среди его гостей преобладают выдающиеся технологические предприниматели, ученые и другие интеллектуалы

Последний выпуск с Цукербергом прошел в VR шлемах. У меты получилось сделать фотореалистичные 3д модели. То, что хочет создать Марк - это смешанная реальность. Когда на конференции часть людей сидит вживую, а часть в виде голограмм. Или когда у вас не окон, но они создаются vr очками. В общем, очень интересный выпуск, советую посмотреть.

Я тем временем осознаю, что ошибался в скорости прогресса в машинном обучении и смежных технологиях. В 2018 году, когда я учился в ШАДе, я не ожидал такого быстрого прогресса в текстовых нейросетях и такого быстрого внедрения алгоритмов компьютерного зрения.

Зная принципы работы рекуррентный нейронных сетей, я не верил в то, что им удастся настолько эффективно работать. Ведь они просто выдают статистически подходящие слова, не понимая никакого смысла. Тем не менее появившийся в то время аттеншн координально улучшил перформанс существовавших алгоритмов, а увеличение мощностей позволило обучать огромные end-to-end модели, которым можно подать на вход буквально любую задачу.

С другой стороны, машинное обучение стало действительно сложным. И если когда я начинал им заниматься, было относительно несложно разобраться во всех основных алгоритмах, то теперь это не так. Машинным обучением занимаются сотни тысяч людей, и каждое направление стало отдельной областью. И возможно скоро специалисты машинного обучения из разных направлений перестанут друг друга понимать, как это произошло в математике.

Сейчас я вижу своей задачей, как прикладного инженера, уметь использовать существующие модели как чёрный ящик, дообучать их под свои задачи и строить готовые решения. Но находиться в мете становится все сложнее и сложнее.