Вышло интересное исследование о том, насколько люди доверяют AI: участникам задавали сложные вопросы и разрешали в любой момент сказать "не знаю". Без LLM так отвечали в 40% случаев, а c LLM - всего в 3-6%.

Итог:
• точность упала с 28% до 9%
• уверенность выросла с 30% до 76% 🙂

К дизайну исследования есть небольшие вопросы, но оно довольно надежно в одной теме - как люди себя ведут, когда на сложный вопрос под рукой есть неправильный/непроверенный ответ LLM.

С LLM люди отвечали на больше вопросов, но давали меньше правильных ответов. То есть LLM не закрывала пробелы в знаниях, а превращала в ошибки ответы, которые человек знал или мог восстановить сам.

1️⃣ С одной стороны, можно сделать очевидный вывод: не стоит слепо доверять LLM, нужно все перепроверять. Это разумно, особенно в важных вопросах - здоровья, карьеры, отношений, своего будущего и т.д.

Кстати гугление менее проблемное: добавляется трение в виде "открыть ссылки, все прочитать, сопоставить, выбрать правильное". А LLM просто выдает надежный на первый взгляд ответ, в который хочется поверить.

2️⃣ С другой стороны, большинство вопросов, которые мы задаем ллм - не жизни и смерти, а всякие мелочи, цена ошибки которых невелика.

Кроме того, почти у всех нас либо неточная картина мира, либо вообще неправильная. Например есть миллиарды религиозных людей, которые чудовищно неправы со своим магическим мышлением. Но какая разница, если они с этим всем находят единомышленников и живут более счастливую жизнь, чем рациональные скептики?

Может AI не рассказывает истину, нередко ошибается, но хотя бы дает ощущение заполнения своей картины мира. Что возможно важнее, чем правда, и является основой спокойствия и уверенности в себе ("знаю, как этот мир устроен! не пропаду")

Добавил ли вам AI ощущения уверенности в своих силах?

@kyrillic

Статистика победителей международных олимпиад по математике, информатике, физике: куда они уезжают жить и работать?

Диди Дас, партнер Menlo Ventures, собрал интересные данные с 2001 года, по топ-странам - 🇨🇳 Китай, 🇮🇳 Индия, 🇸🇬 Сингапур, 🇻🇳 Вьетнам, 🇰🇷 Корея и 🇷🇺 Россия, всего 1700+ победителей (твит, крупно, данные).

1️⃣ Все, кроме россиян, в основном переезжают в США: из России больше всех остаются дома (более половины!), треть россиян едет в Европу.

Причем это не после 2022-года: в статистике по когортами видно, что '21-25 по в США из всех стран переезжает меньше. Наверное потому что и переезд усложнился, и просто не успели - бюрократия, поиск оффера, места и т.д.

Видно, что для талантов уровня победителей международных олимпиад 2022-й год не закрыл возможности в США.

2️⃣ Выбор США/неСША сильно зависит от культуры страны и контекста: уже писал, что Корея смотрит только на Америку (пост), поэтому оттуда либо в США, либо никуда.

А Россия из всех перечисленных стран ближе всего к европейской культуре, так что в Европу едут много. Из России до 2015-го года больше ехали в Европу, после - в США.

3️⃣ В США в сумме живет больше победителей олимпиад, чем во всех перечисленных странах вместе взятых. Довольно грустная статистика. Но с другой стороны, нам понятно, что в ближайшие десятилетия вряд ли кто-то пошатнет технологическое, а значит и экономическое лидерство США, и именно туда нужно ехать самым амбициозным и талантливым.

4️⃣ Среди вас аномально много участников олимпиад, в том числе международных (опрос). Так что всем нам стоит присмотреться к этой статистике!

@kyrillic

Новые Requests for Startups от YC! Это список идей и направлений стартапов, которые ищут партнеры Y Combinator, самого успешного фонда ранних стадий в мире.

Прошлые посты про RFS, которые полезны всем фаундерам: S26, W26, S25 ч.1, S25,ч.2, X25, W25, S24.

1️⃣ Про RFS часто говорят "фигня какая-то" или "YC уже не тот". Я напишу то, что многие не понимают про Y Combinator:

По большому счету, YC - это продукт для инвесторов, которые приходят на демодень, смотрят стартапы и инвестируют. Главные KPIs YC - это сколько подняли (всего и в среднем), и по каким оценкам. Эти метрики должны расти от батча к батчу (и они растут!)

Поэтому RFS прежде всего отвечают на вопрос "во что будут инвестировать виси через полгода". Что далеко не всегда совпадает с качеством идей в глазах обывателя и потенциалом стартапов в контексте получения прибыли здесь и сейчас.

2️⃣ Можно даже посмотреть так: если на ранней стадии идея венчурного стартапа не кажется тупой обывателям, то скорее всего ее уже пробовали реализовать тогда, когда она казалась тупой. И тут надо смотреть, что было с прошлыми попытками.

Горизонт венчура - 7-10 лет, поэтому инвестировать в непонятное, сложное и рискованное - нормально.

3️⃣ А еще, какую бы "фигню" вы не прочитали в RFS, ее перепечатали все tech-медиа мира и обмусолили в подкастах и соцсетях. Просто попадание идеи в этот список делает ее не такой уж плохой, потому что весь мир проявил внимание. А как мы знаем, есть охваты - есть венчур.

Короче говоря, YC сначала формирует у инвесторов консенсус о том, что модно, а через полгода привозит на демодень компании ровно из этих категорий.

4️⃣ В общем RFS - это суперважное в мире стартапов! Но только венчурных, с которых не стоит брать пример, если хочется с большей вероятностью зарабатывать деньги.

Идеи текущего RFS хорошо расписаны, я только на свой вкус разложу их по категориям о том, насколько реально такое сделать с нашим с вами ru-контекстом (и заработать):

⭐️ S tier
• AI native комплаенс (куда уж без комплаенса в сегодняшнем мире! Регуляций будет только больше)
• Облако для маленьких AI приложений (как гуглдок, а не aws)
• Самообслуживающиеся API (такое могут делать несколько разрабов, собравшихся в кофаундеры)

🟢 A
• Персональный AI репетитор для детей
• Инфраструктура для определения человека (борьба с дипфейками, но это так завуалировали сами знаете что)
• Совместная работа людей над одним агентом

🟡 B
• AI для пожилых (в силу демографии развитого мира, перспективен любой "X для пожилых")
• Криптоинфраструктура (сегодня фокус и капитал из крипты перешел в AI, но крипторынок стал предсказуемее, в т.ч. из-за регуляций)
• Сбор данных физического мира с помощью новых возможностей AI

🟠 C
• Массовые consumer-продукты (из-за удешевления инференса может наступить новая b2c волна. Первая закончилась лет 14 назад)
• ОС и софт для работников физического труда (сложно, потому что все на рынок США)

🔴 D
• Оборонные технологии для армии США
• Дата центры в море

@kyrillic

Про эффективность труда с AI. Один из опросов, результаты которого меня удивили - Что ближе всего к вашему пониманию фразы "AI повышает эффективность труда"? (тут). Более половины из вас ответили "тот же объем работы делается быстрее", а за "правильные" варианты - с упоминанием экономического эффекта, проголосовали всего несколько процентов!

Рост эффективности труда - это рост создания добавленной стоимости. И если ее нет, то и эффективности/продуктивности нет.

1️⃣ Можно сказать, что AI ускоряет внутренний цикл - написать код, что-то проанализировать, создать презентацию и др. Но это ускорение не имеет смысла, если все упирается во внешний цикл - всякие ревью, согласования, тестирования и т.д.

У меня об этом много постов, в основном со ссылками на хорошие исследования (раз, два - тут ссылки; пост, как считать добавленную стоимость и др.)

2️⃣ Недавно вышла статья AI and productivity от Stripe Economics, там хороший анализ AI производительности труда. TLDR: на рынке США роста НЕ ВИДНО. Это не означает, что его не будет в будущем, но сегодня, через почти 4 года AI хайпа, пока так.

Вывод не так уж пессимистичен: по мере улучшения моделей, роста внедрения и перестройки рабочих процессов микровыигрыши со временем могут проявляться и в макро. Но пока внедрение слишком тонкое, сигнал слабый, а узкие места сохраняются (главное из которых - человек).

Технология не повышает продуктивность - ее повышает использование технологии. Главное, чтобы это было не что-то вроде блокчейн-технологии 🙂

3️⃣ Там еще есть ссылки на исследование Банка Кореи: экономия времени от AI почти не связана с ростом выпуска, если у работников нет автономии или стимулов перераспределить сэкономленное время.

Можно сказать, что от AI сегодня может выигрывать тот, у кого есть возможность распорядиться сэкономленным временем, а точнее - конвертировать его в дополнительный доход. В найме на сэкономленное время обычно можно только взять новых задач 🥲

4️⃣ Самое интересное, что макропроизводительность в США выросла (2,5% против 1,6% исторических), но не из-за AI у работников, а просто из-за утилизации капитала.

То есть рост от того, что уже построенные заводы/серверы работают дольше и плотнее под спрос на сам AI, от стройки датацентров, а не от того, что кто-то быстрее пишет код.

5️⃣ Считаю что мой опрос явно иллюстрирует тренд "ощущаю, что стал(а) в разы эффективнее", который не является трендом "стал(а) в разы эффективнее". У меня кстати был и другой опрос "Есть ли для вас очевидный измеримый прирост рабочей эффективности благодаря AI?", где больше зарабатывать стали только около 10% (напомню, что это опрос, а не данные).

6️⃣ Короче говоря, AI пока не делает нас эффективнее, но дает такое ощущение.

Хорошая новость для тех, кто проголосовал в опросе "неправильно": чтобы сделать доселе невиданный, супер-пупер буст в карьере, можно просто поработать над собственным восприятием эффективности труда. Потому что сейчас оно, скажем так, неидеально.

По-простому: не важно, сколько я старался, сколько потратил времени, сколько страдал. Важен только результат участия в экономической деятельности, причем выраженный ТОЛЬКО в деньгах. Если прироста в деньгах нет, то нет ни эффективности, ни продуктивности. Больше успеваю? Значит просто стало больше работы за те же деньги 🥲

@kyrillic

Наткнулся на сайт сравнения городов, где дотошно собрана данные по налогам, стоимости жизни и т.д. Никогда не видел настолько детально - вплоть до того, что по странам есть учет например режима Бэкхема в Испании или FIG в Британии.

https://cityparity.com/

Можно просто выбрать два города, указать все свои детали. Если доход удаленный, то в разделе add more details в поле target gross salary нужно указать еще раз текущий доход.

Сравнил несколько городов, стоимость жизни в которых более-менее знаю - цифры показались точными. И видно, что они актуальны не локалам, а именно экспатам.

Короче говоря, это пока лучший сравниватель городов, который я видел! Намного полезнее numbeo.

@kyrillic