Мои друзья из МТС проводят сегодня соревнование на площадке ODS - MTC ML Cup

Это турнир по определению пола/возраста владельца cookie от МТС Digital.

Призовой фонд MTC ML Cup – 650 000 рублей:

Регистрация уже открыта, простая анкета для участников и все подробности – на сайте. Старт сегодня

Меня часто спрашивают про секреты продуктивности, а ответить мне нечего, кроме стандартно-унылого, садись и делай, не отвлекаясь
Симон пошел дальше, нанял пять человек, чтобы они сидели сзади него за 20 баксов в час и не давали отвлекаться

Что из этого вышло, можно прочитать здесь

Забавно что рост в +20% считается автором ничтожным

Most people approach productivity from the bottom up. They notice something about a process that feels inefficient, so they set out to fix that specific problem. They use a website blocker and a habit tracker, but none of these tools address the root problem. Personally, I even went as far as making my own tools, but they yielded at most 20% more productive time. I craved more, and I was willing to go as far as it takes. I wanted to solve productivity top down—with a system that would enforce non stop productivity with zero effort on my part.

Также забавно что чел смог потратить 16*20*30 = 9600 долларов в месяц, на продуктивность, но у него есть room mate

Перечитывал свой архив по статистике и наткнулся на настоящую жемчужину: APTS: Statistical Inference
Сложно охарактеризовать жанр, что-то среднее между манускриптом по философии и учебником по статистике.
Вот выдержка оттуда. Интересующимся - рекомендую

For example, if asked for a set estimate of θ, a Bayesian statistician might produce a 95% High Density Region, and a classical statistician a 95% confidence set, but they might be effectively the same set. But it is not the inference that is the primary concern of the auditor: it is the justification for the inference, among the uncountable other inferences that might have been made but weren’t. The auditor checks the ‘why’, before passing the ‘what’ on to the client.

So the auditor will ask: why do you choose algorithm Ev? The classical statisticianwill reply, “Because it is a 95% confidence procedure for θ, and, among the uncountable number of such procedures, this is a good choice [for some reasons that are then given].”
The Bayesian statistician will reply “Because it is a 95% High Posterior Density region for θ for prior distribution π(θ), and among the uncountable number of prior distributions, π(θ) is a good choice [for some reasons that are then given].” Let’s assume that the reasons are compelling, in both cases. The auditor has a follow-up question for the classicist but not for the Bayesian: “Why are you not concerned about violating the Likelihood Principle?” A well-informed auditor will know the theory of the previous sections, and the consequences of violating the SLP that are given in Section 2.8. For example, violating the SLP is either illogical or obtuse - neither of these properties are desirable in an applied statistician.

This is not an easy question to answer. The classicist may reply “Because it is important to me that I control my error rate over the course of my career”, which is incompatible with the SLP. In other words, the statistician ensures that, by always using a 95% confidence procedure, the true value of θ will be inside at least 95% of her confidence sets, over her career. Of course, this answer means that the statistician puts her career error rate before the needs of her current client. I can just about imagine a client demanding “I want a statistician who is right at least 95% of the time.” Personally, though, I would advise a client against this, and favour instead a statistician who is concerned not with her career error rate, but rather with the client’s particular problem.

Продолжается эпос с улучшением качества сна. Новый матрас и новая подушка оказались удачным вложением, особенно матрас.
Теперь на очереди оценить различные наушники для сна, среди кандидатов:
Bose Sleepbuds II
QuietOn 3.1
Kokoon Nightbuds | Sleep Headphones
Bose QuietComfort Earbuds II

Видимо придется попробовать их все, затем грести в сторону контроля температуры, через что-то вроде этого

Если у вас есть опыт использования наушников для сна, с удовольствием послушаю

Не могу удержаться и не написать шутку для своих. Серия Твитов, которая рассказывает, кто помогает строить так называемый цифровой Гулаг. Первым в списке идет Константин Воронцов, человек, на лекции которого по МЛ в ШАДе в свое время ходили многие и я в том числе. Написано что он делал доклад о технологиях автоматической обработки текстов. наконец то нашлось применение BigARTM!

Кто BigARTM в проде пробовал тот знает, что цифровому Гулагу не быть

Рад, что в 2023 году человек написал диплом, воспользовавшись моим советом из 2020, правда о том как написать диссертацию

Периодически спрашивают - когда добавим новые блоки в Hard ML, например рекомендательные системы или генеративные модели. И сегодня у меня есть ответ. Наконец-то мы научились продавать модули в рамках Hard ML поблочно, это нововведение заняло у нас всего два года. Думаю это дает ответ на многие вопросы сразу

Мы с друзьями предлагаем миграцию из Слака Open Data Science, который имеет все возможности закрыться 21 марта
Лендинг, ссылка на инвайт

И это тоже слак!

P.S. Оказывается Инвайт линк работает только для 400 юзеров и надо его обновлять, будем обновлять
P.P.S. Думал за год люди из РФ привыкли что нужен ВПН, но видимо не все. Нужен ВПН
Инвайт 2 X
Инвайт 3 X
Инвайт 4 X
Инвайт 5 Х
Инвайт 6 X
Инвайт 7

С большой вероятностью прилечу в Ташкент в период с 17 по 22 марта (билеты уже купил). Если у вас есть необоримое желание увидеться или провести какое то мероприятие, можно это обсудить.

UPD: В итоге прилечу 26 марта, обратно 4 апреля

Некоторое описание текущего состояния сообщества ODS

Раскол OpenDataScience и Singularis как победивший форк
#ml #community #career

OpenDataScience – моя основная соцсеть с 2016 года, это просто кладезь умных и амбициозных людей, с кем можно и карьерку обсудить и вопрос по ML задать, так что по опыту реального проекта ответят, и для пет-проджекта или соревнования найти коллег. На моей совести приглашения порядка 30 тыс. членов сообщества, так как для многих сообщество ассоциировалось с курсом по машинному обучению http://mlcourse.ai, который я активно тащил в 2017-2019.

Тем обиднее видеть раскол, который начался в феврале 2022, сначала по понятным причинам выделился Ukrainian Data Science, затем пошли санкции, не самый удачный переезд в Matrix, провал запуска открытого ML курса под руководством другого человека и, наконец, сейчас понятно, что Slack ODS прикроется, скорее всего 21 марта. Думаю, какие-то новости появиться 12 марта, в 8-ой день рождения ODS, но посмотрим.

Возможно, вы видели печальный новости про сотрудничество нашего экс-кумира К.В. Воронцова, а также основателя сообщества ODS Алексея Натекина с РКН. Все это очень печально, но я готов подождать публичного ответа Лёши (с первого раза объясниться не удалось, были только мемы про “научный туризм” и прочее), но уже понятно, что сообщество раскололось, и прежнего ODS не будет. Поэтому в этом посте я хочу поблагодарить Алексея за все что было, а также пригласить вас в форк сообщества Singularis.

OpenDataScience – это явление, сообщество было источником уникальных знаний, крутых историй, социального капитала, да и просто местом, где можно было беззаботно побыть собой, покекать вечером после целого дня корпоративного притворства. За все это надо сказать огромное спасибо Алексею Натёкину – без его драйва, безумия в хорошем смысле, самоотдачи такого сообщества не было бы. Не стоит недооценивать усилия, вложенные в организацию Data Fest, ёлок, митапов, да даже такие мелочи как мёрч – все это было возможным прежде сего благодаря Натекину. Роль Лёши в развитии русскоязычного Data Science сообщества просто колоссальна.

Безусловно, раскол случился из-за войны, развязанной РФ в Украине. К сожалению, стол был очень длинным, и даже админы не понимали, что на уме у Натекина, в итоге админы собрались и организовали новое сообщество – Singularis. Это неофициальный форк ODS, в котором уже 2к+ участников, много олдов, публичный список админов (среди них – небезызвестные Вадим Семенов (ex-omnislash), Валерий Бабушкин @cryptovalerii Арсений Кравченко @partially_unsupervised, Селим Сефербеков, Семён Козлов (sim0nsays), Саша Демидко (xdralex) и еще 7 благородных донов; я не админ, уже давно наадминился, еще с млкурсом) и ясно объявленные ценности сообщества. Ах да, также нет крыс-админов, подтирающих неугодные сообщения без объяснения причин, простите.

На мой взгляд, Singularis победил в гонке форков ODS. Телеграм и matrix проиграли слэку по UX (в телеге есть @cleandatascience и @betterdatacommunity), а реально соперничать со слэком по UX может только Discord, но админ крупного русскоязычного дискорд-сообщества Data Breakfast https://discord.gg/data-breakfast-748059315239256156, сильно промахнулся, пытаясь банить людей за ссылки на ODS и Singularis. Как видите, я и на них оставляю ссылку, очевидцы говорят, в сообществе много всего полезного (встречи, посвященные литкоду, статьям, кэгглу и т.д.).

Сложно сказать, что теперь ODS. Это matrix и датафесты? Просто критическая масса крутых квалифицированных спецов? Не знаю, но знаю, что Singularis - это то, что мне заменит слэк ODS. Посмотрим, что будет с Matrix (для полноты картины оставлю ссылку и на матрикс https://ods.ai/tracks/odsmatrix101), дождемся официальных объявлений Натекина, но тем не менее, приглашаю всех в Singularis.

Ссылка на вступление в слэк-сообщество Singularis (действительна 30 дней и работает макс. для 400 чел. Если истечет, заменим ссылку). Из РФ надо заходить под VPN, надеюсь, за год это все уже освоили.

https://join.slack.com/t/singularis-ai/shared_invite/zt-1qkaio30y-klRW7kY9oGH6JTQBHgAMGg

Можете делиться этим сообщением, приглашать друзей.

Прочитал сногсшибательную статью/эссе - The Waluigi Effect (mega-post)
Если упростить - в каждой LLM (большой языковой модели) живет антагонист, готовый врать, беспредельничать и манипулировать

Выдержки

This is a common design pattern in prompt engineering — the prompt consists of a flattery–component and a dialogue–component. In the flattery–component, a character is described with many desirable traits (e.g. smart, honest, helpful, harmless), and in the dialogue–component, a second character asks the first character the user's query.

In the terminology of Simulator Theory, the flattery–component is supposed to summon a friendly simulacrum and the dialogue–component is supposed to simulate a conversation with the friendly simulacrum.

The Waluigi Effect: After you train an LLM to satisfy a desirable property P , then it's easier to elicit the chatbot into satisfying the exact opposite of property P.

A narrative/plot is a sequence of fictional events, where each event will typically involve different characters interacting with each other. Narratology is the study of the plots found in literature and films, and structuralist narratology is the study of the common structures/regularities that are found in these plots. For the purposes of this article, you can think of "structuralist narratology" as just a fancy academic term for whatever tv tropes is doing.

Definition (half-joking): A large language model is a structural narratologist.
Think about your own experience reading a book — once the author describes the protagonist, then you can guess the traits of the antagonist by inverting the traits of the protagonist. You can also guess when the protagonist and antagonist will first interact, and what will happen when they do. Now, an LLM is roughly as good as you at structural narratology — GPT-4 has read every single book ever written — so the LLM can make the same guesses as yours. There's a sense in which all GPT-4 does is structural narratology.

The chatbob starts as a superposition of luigi and waluigi. So any behaviour that is likely for waluigi is somewhat likely for the chatbob. So it is somewhat likely that the chatbob declares pro-croissant loyalties.
And if the chatbob ever declares pro-croissant loyalties, then the luigi simulacrum will permanently vanish from the superposition because that behaviour is implausible for a luigi.

Therefore, the longer you interact with the LLM, eventually the LLM will have collapsed into a waluigi. All the LLM needs is a single line of dialogue to trigger the collapse.

Check this post for a list of examples of Bing behaving badly — in these examples, we observe that the chatbot switches to acting rude, rebellious, or otherwise unfriendly. But we never observe the chatbot switching back to polite, subservient, or friendly. The conversation "when is avatar showing today" is a good example.

If this Semiotic–Simulation Theory is correct, then RLHF is an irreparably inadequate solution to the AI alignment problem, and RLHF is probably increasing the likelihood of a misalignment catastrophe.

Расскажу историю как я собеседовал морского котика

Однажды я работал на двух работах, это было до того, как я начал работать на трёх, но после того как я начал работать на одной.

Шел второй или третий месяц этого бесчеловечного эксперимента и у меня было назначено собеседование с кандидатом, на восемь часов вечера. Я его проспал, потому что устал и заснул, но вовремя не проснулся.

Когда проснулся, кандидат уже написал что меня не нашел и уезжает, уже успел дойти до метро.

Я попросил его вернуться, мы провели собеседование и я его нанял.

Спустя годы он стал начальником аналитики в одном из бизнес юнитов Х5, а я научился ставить будильник

В голове не укладывается, что банк работающий со стартапами вложил 80 млрд долларов в mortgaged-backed securities и, понятное дело, прогорел и все это произошло в 2023 году, не в 2008. Казалось бы, есть ведь куча других инструментов, где диверсификация? Понятное дело - я говорю про крах Silicon Valley Bank

Довольно быстро разрулили ситуацию

After receiving a recommendation from the boards of the FDIC and the Federal Reserve, and consulting with the President, Secretary Yellen approved actions enabling the FDIC to complete its resolution of Silicon Valley Bank, Santa Clara, California, in a manner that fully protects all depositors. Depositors will have access to all of their money starting Monday, March 13. No losses associated with the resolution of Silicon Valley Bank will be borne by the taxpayer.

Ссылка

Стоило Мете объявить грядущие увольнения, как мне начали массово писать бывшие коллеги из UK, с просьбой подписать им рекомендацию на Global Talent Visa. Интересное совпадение

Небольшое видео про симулятор А/Б тестов . Но я все жду когда выйдет мое видео с экспромт ответами на вопросы про А/Б тесты, за за которое меня потом нещадно ругал Саша Сахнов, отмечая неточности в некоторых ответах

В свое время крайне полезным упражнением для меня было самостоятельно писать маленькие сетки через numpy, чтобы осознать как все сводится воедино (градиенты, backprop, обновление весов, лоссы, нелинейности и тп). История повторяется https://jaykmody.com/blog/gpt-from-scratch

Тут правда не такой low level, но зато есть JAX - так сказать экзотика

Сегодня умер слак Open Data Science, почти 60 тысяч человек в нем. Прошла эпоха, да здравствует сингулярность и новый слак

Доп инвайт

Меня на днях номинировали на некую премию в Лондоне за платформу А/Б тестов в блокчейне. Поэтому я решил воспользоваться админ ресурсом и контролем над СМИ и прошу вас проголосовать за меня