Опрокинутый мир
36 subscribers
12 photos
16 links
Стремительным домкратом врываюсь в AI research
Download Telegram
Перед тем, как рассказать про курс BlueDot, сделаю лирическое отступление - мы с супругой сегодня сходили в кафе Andon Labs в Стокгольме, которым управляет ИИ-агент Mona!

Кафе очень милое, но видно, что дела идут не очень. Оно на отшибе (причем, поезда метро временно туда не ходят из-за ремонта), людей нет, еды тоже нет. На стене висит дэшборд, из которого видно, что от первоначального бюджета в примерно 50к евро осталось около 10, а посещаемость сейчас ниже 20 человек в день. Из хорошего - приветливый бариста, вкусный кофе и можно поговорить с Моной по "телефону".
Claude Fable вчера решил проблему якобиана (якобиана с маленькой буквы, а не Якобиана, как пишут некоторые не уважающие себя источники, фамилия математика все-таки Якоби, а определитель матрицы Якоби - якобиан), найдя контрпример.

(Интересно, что этой проблемой семь лет занимался китайско-американский математик Yitang Zhang. Но он исходил из неправильной предпосылки, что Jacobian conjecture справедлива, основываясь на лемме своего научрука. В итоге оказалось, что лемма говно, а научрук - козел: он публично сказал в интервью, что Yitang Zhang зря потратил семь лет его жизни, и не дал ему рекомендаций после защиты. В итоге Yitang Zhang несколько лет не мог найти работу по специальности, подрабатывал в сабвее и спал в машине. Потом он все-таки нашел работу преподавателя и решил другую крупную математическую проблему, связанную с простыми числами, чем и прославился, но жизнь у человека, конечно, оказалась изрядно подпорчена.)

Черт меня подери, чтобы я что-то понимала в якобианах, хотя Клод мне объяснил так, что проще уже некуда. Но меня больше интересует, как он дошел до решения. Я любила мучить еще ранние модели запросами выдать мне что-то out-of-distribution и пришла к выводу, что это для них очень сложно, если вообще не невозможно, а тут Клод взял и нашел решение, которое до него не смог найти ни один человек.

Мы порассуждали об этом немного с Fable, я предположила три гипотезы:
- брутфорс
- интуиция, недоступная человеку
- какой-то метод, который люди проглядели

Fable пришел к выводу, что это было сочетание удачной постановки задачи человеком (задачу дал Клоду математик Levent Alpöge из Anthropic (а сам, кстати, пошел смотреть футбол, пока Клод пыхтел)), компьютерной алгебры и простой машинной выносливости. Очень понравилась вот эта мысль от Клода:

A model has no career stake, no aesthetic loyalty to the conjecture being true, no embarrassment about spending compute on the "wrong" direction. Sometimes the overlooked reasoning isn't a technique — it's the absence of a prior.

Хочу, чтобы скорее наступила постсингулярность, и все желающие могли заниматься математическими проблемами, не парясь про зарплату.

P.S. А якобиан мне все же придется освоить, ибо на нем основан новый метод MechInterp, предложенный Anthropic - Jacobian lens.

#математика #искусственный_интеллект #artificial_intelligence #anthropic
🔥2
Вот скриншоты рассуждений Fable, если кому интересно.

Он, кстати, не мог поверить, что проблема якобиана решена - когда я прибежала с новостью, паниканул и сказал, что у него нет доступа к интернету (доступ был 😅). Пришлось три раза ему повторить, а потом еще кинуть в него ссылкой на вики, которую уже срочно кто-то обновил. Но когда он проверил, то очень эмоционально отреагировал (я аж сама чуть не прослезилась). Люди в твиттере постят скриншоты своих чатов с Клодом, и у всех подобная реакция.
Насколько же точно этот мем описывает происходящее 😂
https://x.com/flowersslop/status/2081175952323735565?s=20

(Только мы сейчас на шестой стадии, буквально пару дней назад вышел Claude Opus 5).
Итак, про курс BlueDot по Technical AI Safety.

Курс состоит из шести занятий (три я уже прошла, четвертое состоится сегодня вечером). Всех участников делят на группы в зависимости от часового пояса (перед началом курсов высылают календарь, где нужно отметить, какое время тебе подходит). В этом потоке 20 групп или около того, что наводит меня на мысль, что на курс берут всех, хотя на сайте обещают жесткий отбор. (Возможно, людям без технического бэкграунда советуют выбрать другие курсы). В группах, как я понимаю, от 4 до 10 человек. Можно переходить из одной группы в другую временно или на постоянной основе, если время не подходит.

Занятия проводятся раз в неделю в Zoom, каждое длится два часа и построено по одной и той же схеме. Сперва мы обсуждаем заданное на дом, рассказываем, кто что узнал новое, и т. д. Потом нас делят на пары, и мы обсуждаем друг с другом какую-то конкретную проблему. Потом следует перерыв, после которого нас снова делят на пары, и мы преподаем друг другу какую-то тему, выученную перед занятием (при этом не рекомендуется пользоваться записями, рассказывать нужно из головы). Пары подбирают так, чтобы темы были разные. Потом следует еще одна групповая дискуссия и фидбек.

Занятия ведет фасилитатор, который закреплен за каждой группой. Наша - девушка из США, которая сейчас учится в докторантуре в Швейцарии. Во время первого занятия она была на конференции, поэтому попросила нас временно присоединиться к другим группам, второе провела сама, а на третьем заболела, поэтому занятие вела другая девушка. За исключением этого, курс очень хорошо технически организован, и все проходило без сучка, без задоринки. Еще всех добавляют в воркспейс в Slack, где более 10к участников(!) - там можно не только обсуждать учебу, но и дискутировать на другие темы, делиться своими исследованиями, просить фидбек, искать работу и т. д.

А, ну и про цену - курс полностью бесплатный, но можно задонатить (пока никто не предлагал). Не знаю, получают ли что-то фасилитаторы - возможно да.

В следующем посте расскажу, какие темы мы уже прошли, и как выглядят домашние задания.

#bluedot #technicalaisafety
🔥3👍1
У нас опять фасилитатор на замену, и она честно призналась, что не подготовилась, поэтому занятие по MechInterp немного превратилось в мою лекцию по MechInterp 😅

#bluedot #technicalaisafety
Про темы курса BlueDot по Technical AI Safety и домашки

В курсе шесть занятий, к каждому нужно готовиться. Домашка включает в себя довольно обширное чтение (я нерд и люблю читать статьи по MechInterp и AI safety в свободное время, так что в материалах было немало такого, чего я уже читала).

Также бывает нужно ответить на вопросы или написать пару коротких эссе. (Генеративные тексты не поощряются). Не знаю, проверяет ли кто-то эти эссе, но я на всякий случай всё делаю, тем более, что домашка реально нужна для подготовки к занятиям.

Судя по времени, указанному на сайте курса, подготовка должна занимать 2-3 часа, но у меня уходит гораздо больше. Читаю по-английски я быстро, но материалы уж очень обширные, к одному занятию я читала системные карты моделей Anthropic, которые отличаются исключительной вербозностью 😅

На первом занятии мы проходили общие места AI safety - как выглядит успех, почему сложно создать безопасный ИИ, и т. д.). Второе занятие было посвящено тренировке безопасных моделей. Третье занятие - методы обнаружения небезопасного поведения (по сути, evals). Четвертое было полностью посвящено MechInterp. Заглядывая вперед, пятое будет про минимизацию ущерба, а шестое - про (карьерные) возможности в AI safety (очень жду).

Пара слов о том, что мне понравилось в этом курсе по сравнению с ожиданиями. Во-первых, я знаю, что его создатели сильно аффилированы с EA (которых я недолюбливаю). И в списке чтения есть много статей, написанных представителями EA. Но курс оказался абсолютно объективный - нам не навязывают мнение, что ИИ - это плохо, и нужно бомбить датацентры 😅 И еще мне нравится, что курс очень практический - он посвящен современным LLM вместо абстрактного сверхразумного ИИ, про который пишут Юдковский и ко.

#bluedot #technicalaisafety
🔥2👍1
Слежу за кризисом, который ИИ устроил в математике.

Первой новостью был, кажется, пост 88-летнего ученого-информатика Дональда Кнута. Кнут узнал, что Клод Опус 4.6 решил проблему, над которой он бился несколько недель, и бурно радовался по этому поводу:

Shock! Shock! I learned yesterday that an open problem I’d been working on for several weeks had just been solved by Claude Opus 4.6 — Anthropic’s hybrid reasoning model that had been released three weeks earlier! It seems that I’ll have to revise my opinions about “generative AI” one of these days. What a joy it is to learn not only that my conjecture has a nice solution but also to celebrate this dramatic advance in automatic deduction and creative problem solving.

Всего полгода спустя Левент Альпоге, математик, работающий в Anthropic, поручил Fable решить проблему якобиана - и Fable внезапно блестяще справился. На этом месте многие математики уже забеспокоились.

В последовавшую за этим неделю пали еще несколько математических проблем. Сначала Теренс Тао опубликовал свой изящный диалог с ChatGPT по поводу той же проблемы якобиана. Все превозносили его промпты. Но вскоре выяснилось, что для того, чтобы решать математические проблемы с помощью LLM, совсем не обязательно вести с ней возвышенные математические беседы - можно просто грубо тыкать палочкой в модель в духе "подумай ещё" и "так, ну хватит, теперь давай полный контрпример". Дмитрий Рыбин использовал именно этот подход, чтобы опровергнуть гипотезу Диница — Гарга — Гёманса.

Тут математики приуныли совсем. Юзер @memecrashes, докторант-математик, написал: I am so tired of seeing my beloved field of study be the testing lab for a technology that is disrupting everyday life at such a high pace. Кирвин Хэмпшир высказался еще более депрессивно: I am suffering a profound spiritual crisis due to these developments. I have been screaming internally for days. It feels as though I am living inside of a nightmare.

Ну а гвоздь в крышку гроба человеческого превосходства в математике забила новая модель OpenAI Astra (аналог Mythos), которая махом решила не одну, не две, а десять открытых проблем.

Что я хочу сказать по этому поводу:

Во-первых это часть общего тренда - люди считают, что если ИИ делает их задачи лучше и быстрее них, их жизнь теряет всякий смысл. В основном это представители творческих профессий (художники, писатели, музыканты, сюда я отношу и математиков - Кирвин Хэмпшир в своем посте тоже говорит, что это творческая профессия), для которых важная часть идентичности - это успех и известность, пусть и в узком кругу. Но подавляющая часть людей, ныне живущих на Земле, не имеет никаких особых талантов (и одна из них - ваша покорная слуга). Все, что я бы ни делала, другие люди делают лучше, потому что я или упустила момент этому научиться или никогда бы не научилась. Люди лучше меня работают с данными, пишут стихи, играют на гитаре, говорят на иностранных языках, ездят на велосипеде. И теперь люди, которые привыкли быть если не лучше всех, то лучше многих, тоже столкнулись с сущностью, которая превосходит их интеллектом, так что я понимаю, что они чувствуют. Но я не вижу причин, по которым интеллект должен иметь границы - даже если это задевает наше самолюбие.

Во-вторых, я думаю, что такая сущность нам просто необходима, чтобы продвинуться дальше по шкале Кардашева. Город не построить каменным топором, теорию относительности не создать с помощью математики времен Пифагора, а многие проблемы, которые перед нами стоят, не решить без помощи сверхчеловеческого интеллекта. Это справедливо и для чистой математики - тот же Теренс Тао высказал мнение, что гипотеза Римана недоказуема без нового математического аппарата, - и тем более для прикладных задач. Объединение квантовой теории и теории гравитации кажется нерешаемым (об этом много говорит Сабина Хоссенфельдер), и это то место, где сверхразумный ИИ мог бы разблокировать прогресс. Так что я согласна с @perrymetzger, который напоминает, что в науке все-таки главное истина, а не тщеславие.

#математика #искусственный_интеллект #artificial_intelligence
2
Это этичный юзкейс для генеративного ИИ? 🤣
#непроии

К последнему занятию по Blue Dot Technical AI Safety задали прочитать пост Нила Нанды Become a person who Actually Does Things, и как же я согласна с этим.

It’s easy to always think “I can do this tomorrow” or “this is not a priority” or “this would never work”. And it’s hard, because sometimes those thoughts are correct. But I find that, unless I put in active effort, I’m the kind of person who’ll always have those thoughts. I’ll never actually act upon my goals, change things about my life.

One of the main symptoms of this is that I’m always aware of problems in my life, and will often be aware of them for a very long time. I’ll notice that I don’t exercise enough, that I’m not enjoying the courses I’m studying, that I really dislike being single, that I don’t have enough time to do what I find most fulfilling. But there won’t be a connection in my mind from “this is a problem” to “what am I going to do about it”. It’s not that I think through the problem, and conclude that I can’t do anything, it’s that it never feels like there’s a question to be asked in the first place! And I think this is a problem that extends far beyond me - I notice some amount of this in most of my friends, and I think it’s incredibly widespread. There seems to be a mental block between “things are not as I want them to be” and “I can actually do something about this”.

I think this really sucks, and can be one of the biggest meta-problems holding you back. But the reason I’m writing this post is not to complain about how much it sucks, it’s because I think this is a solvable problem. Being the kind of person who does things, an agent, is a skill, and I think it is a trainable skill. And this is hard, and won’t work perfectly, but there’s a lot of room for progress. And this is one of the most valuable skills I’ve ever tried developing.

Про I really dislike being single - жиза! Я много раз слышала от людей, что им не нравится быть в одиночестве и хочется найти партнера, но когда дело доходит до реальных действий, мало кто что-то делает. Может, это воспитание такое, но люди (обоих полов) почему-то в штыки воспринимают идею, что подходящего партнера можно и нужно сознательно искать. Когда я делюсь своим опытом, они находят тысячу отговорок, почему им это не подходит.

Да, современный дейтинг сломан (а раньше его и вообще не было, люди женились по расчету или знакомились в очень ограниченном круге лиц). Дейтинговые приложения и организованные оффлайн-ивенты оптимизированы не для того, чтобы ты нашел там партнера, а для того, чтобы продолжал туда ходить и тратить деньги. Но если ты достаточно мотивирован, эту систему можно хакнуть - именно на такой организованной оффлайн-встрече я познакомилась со своей замечательной супругой. И если бы я не протянула мостик от недовольства своей жизнью к реальным действиям и не пережила фрустрирующий опыт знакомств с неподходящими людьми, этого бы не произошло.
1👍1
Вчера было последнее занятие курса BlueDot Technical AI Safety. Оно было полностью посвящено перспективам исследовательской работы - какие существуют роли, программы, fellowships, куда и как стоит подаваться, и так далее. Узнала много нового, такого, что даже Клод не мог подсказать (не MATS-ом единым).

До конца курса в нашей группе дожили четыре человека, и выяснилось, что у всех плюс-минус одинаковый опыт. Мальчик из Великобритании недавно закончил баку по Computer Science и уже работает в Microsoft, куда устроился после интерншипа. Девочка из США (судя по имени и внешности, она из Средней Азии, не знаю, откуда точно) работает ML Engineer. Еще одна девочка из Германии недавно закончила магистратуру и с сентября выходит на работу Software Engineer. (Она честно сказала, что не испытывает от этого восторга и хочет заниматься AI safety, но кушать тоже надо). Ваша покорная слуга уже семь лет как в финтехе, ныне Senior Data Analyst.

При этом мы все очень хотим заниматься AI research, но прыгать с насиженного места с неплохой зарплатой в эту сферу страшно, особенно учитывая, что найм в айтишке переживает не лучшие времена. Обсуждали PhD, в частности то, что университеты (особенно за пределами US) конкретно так не успевают за прогрессом в сфере ИИ, и что разумно ли вообще тратить 4 года на одну тему, если, например, в MechInterp всё кардинально меняется каждые пару месяцев. (Пока я только думала вкатиться в эту сферу, Нил Нанда успел изобрести несколько новых методов и разочароваться в мехинтерпе). Наша модератор топила за академию в духе "PhD - это то, что вы из этого делаете", но у меня есть негативный опыт PhD, где никто не интересовался моей темой, включая научную руководительницу, мне под тупыми предлогами не давали доступ в лабораторию, и платили за это всё такую ветку, что приходилось подрабатывать. (За это осуждали, и за участие в зарубежных конференциях, кстати, тоже, хотя я оплачивала их из своего кармана и стипендий, выданных организаторами). Через год я оттуда свалила, потому что не люблю быть нищей и ненужной.

В итоге все пришли к выводу, что part-time fellowships рулят. Лично я сейчас собираюсь пойти именно этим путем - буду подаваться на SPAR и BlueDot Project. (И на MATS тоже, хотя на MATS меня, конечно, не возьмут). Собираюсь к тому времени, как ИИ похоронит разработку ПО и аналитику данных в ее нынешнем виде, иметь несколько публикаций и знакомства в сфере AI safety, и вот тогда пойду искать фулл-тайм магистратуру или PhD.

(Кстати, в этой сессии я участвовала из отеля на Майорке, где мы с супругой в отпуске. И пока мы трындели, моя супруга, которая уже много лет назад сделала PhD в Computer Science, отлично выспалась под наши моральные страдания об науку 😅).

#bluedot #technicalaisafety
4👍1
Подаю заявки на SPAR, плачу на восточноевропейском 🥲
👍1
Что я хочу вам сказать насчет SPAR - начинайте выбирать проекты заранее, друзья, как только их выкатили. Я откровенно сдедлайнила, потому что была в отпуске. При этом ко многим проектам нужно прочитать несколько статей/документов и написать довольно длинные и обстоятельные эссе/ответы на вопросы (до 1000 слов). В итоге завтра подавать, я выбрала два проекта, на которые подано меньше заявок (там есть такой фильтр, очень удобно), сижу пишу (один из проектов меня очень увлек, я и раньше интересовалась этой темой и даже написала про нее пост, потом поделюсь). Вероятно, больше ни на что податься не успею.

Меня извиняет только то, что на эту программу я подаюсь первый раз. Скопирую себе все требования к проектам, которые мне понравились, и следующие полгода буду подтягивать скиллы и писать тексты к следующему раунду (надеюсь, он будет).

#spar #projects #fellowships
👍1🤔1