🔬 Как легко пообщаться с автором научной статьи?

Последние 4 года я хотел начать читать научные пейперы. Я тогда заметил, что все мои любимые книги основаны на научных статьях, которые вышли как минимум 6 лет назад. Вопрос: зачем мне ждать, пока кто-то напишет книгу с обобщением, если я могу иметь доступ к актуальным знаниям.

Я попытался, но столкнулся с трудностями — сложный текст. Оставалось либо углубляться и фундаментально начать разбираться в теме, либо пропускать сложные участки. Во втором случае смысл терялся, знания не приходили, и внедрить привычку не получалось. Тогда я и смирился на какое-то время, что это больше для умных ребят, а пока что стоит подтягивать базу.

До последнего времени это действительно было проблемой, но теперь у меня появились инструменты как справляться со сложностью научных статей:
1) Задаю ChatGPT вопросы в стиле Ричарда Фейнмана — "объясни мне простыми словами", "расскажи из первых принципов", "сделай так, чтобы понял 5-летний ребенок". Очень круто, но неудобный UX — приходится копировать и вставлять фрагменты статьи.

2) Новый продукт ChatPDF — заливаю файл и просто начинаю общаться в интерфейсе чата с текстом этой статьи: прошу раскрыть тему или уточнить непонятное. Это совсем новый подход к обучению, когда исходишь не из текста, а из своих вопросов, любопытства. Как будто беседуешь с автором статьи и не стыдно задавать глупые вопросы.


Постоянно думаю про будущее образования. Это один из примеров того, каким оно будет: персонализированным, адаптирующимся под твой уровень знаний, интересов и любопытства.

@prod1337

🔮 Последние дни в Ванкувере проходил TED 2023

Это такой тип мероприятия, где собираются умнейшие люди планеты, общаются и выступают.

В этом году все ожидаемо крутилось вокруг AI. Пока вышло только два видео: выступление президента OpenAI Грега Брокмана и QA-cессия с CEO Тиктока. Остальные видео будут выходить еще месяцами.

А пока что может почитать пост Андрея Дороничева с краткими итогами. Лично мне отлкинулись несколько мыслей:

1. Цитирует Ленина: бывают десятилетия, когда не происходит ничего, а бывают недели, когда происходят десятилетия. Консенсус такой, что в грядущих неделях нас ждут как раз эти десятилетия.

2. В остальном широкий разброс мнений от AI-оптмистов, которые видят в нем рост ВВП и уровня жизни И пессимистов с другой стороны, которые подводят к уничтожению человечества.

3. Тут процитирую Андрея целиком: «1. AGI возможен, и мы на пути к нему 2. Нужны еще 1-2 больших прорыва типа «трансформеров» 3. Экстенсивным путем улучшать LLMки долго не получится 4. Нам всем придется снова перепридумать как мы работаем»

👀 Почему AI заменит разработчиков (и это ближе, чем вы думаете)

Заметил, что разработчиков больше, чем других триггерит от развития AI (в данном случае языковых моделей). И это нормальная реакция: не так легко принять, что привычный уклад жизни меняется — появляется отрицание и гнев. Ровно поэтому я не упустил возможности написать кликбейтный заголовок. И раз это уже привлекло ваше внимание — давайте разбираться в деталях.

Для начала: не поймите меня неправильно, я не утверждаю что это произойдет в один момент. Я исхожу из текущих трендов. Они ведут, к тому что неминуемо начнется процесс замены разработчиков при помощи языковых моделей. Процесс начнется с простых задач и неизвестно как далеко он зайдет.


🤩 Что уже сейчас может GPT-4:
1. Отлично писать код на уровне функции, реже на уровне файла и микро-проекта.
2. Проектировать архитектуру из бизнес-описания.
3. Писать тесты из кода и бизнес описания.
4. Составить для себя список задач, которые потом может выполнить.


😒 Что мешает делать больше:
1. Маленький контекст: можно ввести только 4k токенов (коротких английских слов). Все остальное приходится либо обрезать, либо саммаризировать. Если даже в ChatGPT скормить исходный код двумя сообщениями, то ему придется его сжать → большая вероятность потерять важный контекст.
2. Устаревшая документация: датасет из 2021, многие библиотеки уже прошли несколько мажорных релизов и обновились без поддержки старых версий, код просто не заведется (привет react-router).
3. Ручная работа: все равно приходится много работать руками и головой. Точно ли модель тут все правильно поняла? Не потерял ли важный контекст из примера кода, который я добавил?

Результат: сложно положиться на аутпут модели. Есть шанс свалиться в “да проще руками сделать, чем столько танцев с бубном делать вокруг”.


🚀 Какие тренды я вижу:
Теперь поговорим о самом интересном, из чего я делаю вывод, что отказ от разработчиков скоро все-таки начнется.

1. Увеличение контекста модели: вместе с GPT-4 представили версию на 32k токенов — в 8 раз больше. Уже больше похоже на то, что влезет документация или код среднего проекта. Доступа пока что нет почти ни у кого.
2. Техники оптимизации контекста: мощно растет рынок векторных БД (Pinecone, Chroma) и языковых фреймворков (Langchain). Это решает задачу «как мне передать в контекст только информацию, которая будет сейчас полезна, а не всю разом, чтобы она точно уместилась». Работает отлично, текущие решения занимают ~50 строк.
3. Мультимодальный ввод: еще одна вещь которую показали вместе с GPT-4. Заливаем изображение, и общаемся о нем с моделью. На демо был клевый пример, где сайт верстался из прототипа от руки. Здесь снова пока ни у кого нет доступа, но есть уже открытая модель Mini-GPT от комьюнити, в другом посте рассказал уже про нее.


🤖 Самый важный и объединяющий тренд:
AI-агенты: позволяют связывать между собой запросы в языковую модель: cписок задач → архитектура → реализация.

1. Агенты из коробки работают с веткорными хранилищами и умеют оптимизировать контекст даже на 4к моделях. Это позволяет работать с кодом на уровне проекта, с длинной документацией, при этом не терять важную информацию.
2. Агенты дают возможность работать с файловой системой, не только писать код и тесты, но и запускать → решать что делать дальше после анализа результатов выполнения.
3. У агентов есть доступ к интернету, откуда они могут брать свежую документацию.

Таким образом на апрель 2023 мы находимся в точке: агенту можно поставить четкое ТЗ → он его декомпозирует на задачи → найдет актуальную документацию → напишет код и тесты → запустит их → будет это итеративно делать, пока код не заведется, как описано в тз. А теперь вспомните про мульти-модальность. Пока не видел готовых демо, но ничто не помешает передать агенты и макет.


Ну что, какие мысли? Продолжать тему?

@prod1337

📖 Помните я писал несколько дней назад про будущее образования?

Наткнулся тут на пост Наташи Бабаевой. Она копает последние годы тему образования, делает курсы и рассылки, чтобы лучше в изучать в процессе интересные темы. Да и вообще у меня один из первых постов на канале с описанием концепции с ее курса.

В том посте она рассказывает, что в процессе подготовки последнего курса нашла для себя новый способ обучения — «потянуть за ниточку». Это когда ты начинаешь с интересной теме темы или человека, углубляешься, находишь смежное и изучаешь его тоже. В результате все идет от начального любопытства-интереса, и ты можешь дойти очень далеко расширяя свои знания темы.

Мне это отликается по нескольким причинам:

1️⃣ Это следование принципу (моего любимого) Навала Равиканта о том, что нам следует «pursuing our genuine curiosity». Самые крутые продукты получаются, когда человек следует за любопытством и развивает в процессе specific навык, и делает затем это круче чем 99.9% людей в мире.

2️⃣ Когда я впервые начал пользоваться ChatGPT, то одно из первых применений, которые я придумал — «on-demand graph wikipedia». Ты задаешь вопрос по теме — получаешь ответ и тут же список смежных вопросов, на которые тоже можешь получить ответ → так до бесконечности. Я как раз на днях наткнулся на такой продукт, поэтому не буду слишком углубляться в описание.

Для меня «тянуть за ниточку» выглядит ровно так. Если добавить к этому персонализацию, чтобы ответы генерились с учетом твоего бэкграунда, то получится лучший образовательный продукт, доступный сейчас.

3️⃣ Читаю сейчас книжку Andrew Chan про сетевые эффекты — «The Cold Start Problem». Но делаю это необычно, а с тем же процессом, что я завел для научных пейперов. Заливаю целиком книгу в чат и задаю ей ней вопросы — создается ощущение общения с автором.

Уже спустя день могу сказать, что давно не получал такого кайфа от чтения и давно так не погружался в книгу с головой. И это для меня тот же самый принцип «тянуть за ниточку». В коментарии закину, как выглядит «процесс чтения».


❓Как-то уже успели поменять свой процесс обучения за последние месяцы? Может есть какие-то хаки?

@prod1337

✈️ Эмиграция — это стартап

Несколько месяцев назад у меня промелькнула мысль: текущая волна эмиграции породит большое количество стартап-фаундеров. За этой мыслью лежит простая логика:

1️⃣ Основное препятствие, которое останавливает людей от создания стартапа — это страх перемен. И часто это не конкретные страхи, а абстрактные и неизвестные вещи. Стартап с самого начала ставит основателя в ситуацию неопределённости. В обычной жизни мало механизмов, которые могли бы подготовить к такому вызову.

2️⃣ Научно доказанный лучший способ борьбы со страхами — это терапия погружением (exposure therapy). Простыми словами это можно описать как «закрыть глаза и шагнуть туда, где страшно». Вот почему каждый следующий стартап начинать становится все проще — неопределенность прошлого уровня становится обыденостью. Так что, лучшая подготовка к стартапу — это запуск самого стартапа.

3️⃣ Если перейти на уровень психологии, то такие механизмы и навыки можно описать как «адаптивность» и «толерантность к страху». Адаптивность — это о том, как быстро и эффективно я меняюсь, когда меняется окружающая среда. Толерантность к страху отражает базовый уровень страшного, который человек способен перенести. Применительно к стартапам, с каждым новым проектом планка возрастает, и человек готов вынести больше, а за счет адаптивности это происходит быстрее.

4️⃣ Так вот, эмиграция — это та самая ситуация, когда ты попадаешь в совершенно новые условия, которые ранее казались страшными. Аренда жилья, подготовка документов, взаимодействие с незнакомыми людьми, которые не говорят даже на английском. Это все повышает тот базовый уровень, который ты готов вынести. И снова — каждая следующая эммиграция идет проще предыдущей за счет того, что базовая планка страха поднимается.

5️⃣ После опыта эмиграции стартап уже не покажется насколько страшным. Это просто ещё одна неопределённость, с которой я могу справиться. Ведь если я сумел адаптироваться в новой стране, преодолеть языковой барьер, культурные различия, то запуск стартапа — это просто следующий челлендж, который я в состоянии принять. Эта волна эмиграции приведет к тому, что миллионы людей повысят свою планку, окажутся ближе к запуска стартапа.

6️⃣ Нередко люди после опыта эммиграции возвращаются обратно. Точно так же нередко люди после опыта стартапа возвращаются в найм. Здесь нет универсального верного пути. Но мне кажется крутым сам факт того, что больше людей окажутся дальше по воронке процесса запуска стартапа, и мы неминуемо увидим сотни новых успешных стартапов.

📹 На этот пост меня натолкнуло выстулпение Balaji Srinivasan в YC Startup School 2013. Он там выводит концепцию Exit, которая покрывает и «увольнение из компании, чтобы основать стартап» и «эмиграцию из страны» и раскарывает почему это мощный драйвер изменений и инноваций.

@prod1337

📺 Как я экономлю часы на просмотре ютуб-видео

В предыдущих постах я уже рассказал, как я эффективно читаю научные пейперы и книги через GPT. Теперь пришло время рассказать, как я подхожу к видео на ютубе.

Подход простой: сначала прочитать краткое содержание с основными мыслями из видео → затем уже решать стоит ли посмотреть его целиком. Я давно уже пытался внедрить такой процесс в ручном режиме. Для популярных видео или курсов я искал сначала саммари с основными мыслями, но такое находилось редко.

🤖 У меня наконец получилось автоматизировать этот процесс (почти) для любого видео при помощи расширения от команды Glasp. Работает так: у каждого видео на ютубе есть автоматическая транскрипция в текст. Расширение берет этот текст, открывает окно с ChatGPT, вставляет туда и просит саммаризировать до основных мыслей. В отличии от предыдущего сервиса — понадобится активный аккаунт OpenAI. Также если есть платный аккаунт, то GPT-4 дает результаты в несколько раз лучше.

👨‍🔬 Выше я написал, что это работает почти для любого видео. Тут вступает в силу вопрос длины контекста. Напомню: в текстовое поле ChatGPT помещается около 4k коротких английских слов или 1k на русском. В пересчете на минуты английского видео — это в районе 10 полных минут разговора. Ребята из Glasp это предусмотрели и написали код, который равномерно берет куски текста из всего транскрипта так, чтобы они гарантировано поместились.

✅ Классные результаты получаются на английских видео длиной до 30 минут. В коментарии к посту закину результат саммаризации видоса от Balaji из вчерашнего поста. Никто не запрещает запустить расширение и на часовом видео, но там большая вероятность потерять важные мысли из видоса. На русском языке не рекомендую запускать — даже на очень коротких видео получал посредственные результаты.

😎 Pro tips: 1) расширение удобнее всего запускать по хоткею Cmd+X+X; 2) Расширение также работает для страниц в интернете, статей, документации — запускается тоже по хоткею.

@prod1337

📝 Промпты — это новый язык программирования

Год назад люди начали массово использовать промпты для генерации картинок. Тогда же заговорили, что промпт-инжиниринг — это навык будушего, который нужно будет всем освоить. Затем появились критики такого подхода. Они выступают за то, что у чистых промптов слишком сложный UX и нам нужно строить над ними интерфейсы. Я думаю, что правда есть и там, и там.

⚙️ Для примера я возьму промпт в формате JSON для создания персонального учителя. Мне он нравится тем, что он раздвигает границы обычного использования языковой модели. Такой промпт показывает, каких результатов можно достичь, если подробно и четко сформулировать свой запрос. JSON здесь используется не просто так — это структурированный формат для компьютеров. У него есть свои правила и именно поэтому ChatGPT его считывает лучше, чем обычный человеческий язык.

🎨 В то же время большинству пользователей намного привычнее было бы выбрать эти значения в интерфейсе и просто запустить чат. Да, языковые модели уже достаточно умные, чтобы можно было использовать последующие сообщения в чате для настройки. Но таким паттернам обучиться сложно, это точно не подойдет для дальнейшего распространения языковых моделей.

🧪 Еще важно учесть, что разработать и переделать любой интерфейс занимает время. А вот чистые промпты позволяют моментально тестировать гипотезы и менять поведение. Поэтому если мы находимся на стадии экспериментов, то покрывать промпты интерфейсом — не лучшая идея. В этом контексте, я предлагаю рассматривать промпты, как язык программирования над языковой моделью. Как и в классической разработке — часто самый быстрый способ проверить техническую гипотезу — это голый функциональный код. И только после таких проверок этот код покрывается интерфейсом.

🔮 Поэтому я считаю, что чистые промпты действительно останутся с нами надолго и работа промпт-инженеров будет востребованной. Но нам понадобятся и классные интерфейсы, чтобы снижать когнитивную нагрузку и привлекать новых пользователей в такие продукты.

@prod1337

🔍 Как улучшить поиск в интернете в 10 раз? (заменяем Гугл и ChatGPT)

Продакт-менеджеры знают, как сложно пересадить пользователя с привычного решения на новое. Считается, что для этого нужно сделать 10х продукт по сравнению со старым. Тем не менее, я стал использовать гугл-поиск на 90% меньше с декабря прошлого года. Оказалось, что формулировать вопросы в свободном формате и получать ответы текстом намного удобнее, чем исследовать поисковую выдачу.

🕸 В первом релизе ChatGPT классно закрыл сценарии работы с информацией, для которой не нужна актуальность и достаточно свежести конца 2021 года. А с появлением плагинов и веб-браузинга чат начал закрывать и сценарии, где требуется свежая информация. Неудивительно, что внутри Гугла все последние месяцы бьют тревогу — уже перестроили стратегию, структуру компании и развивают свой Bard.

🌐 Как я уже писал, веб-браузинг в ChatGPT плохо, но к счастью есть решение. В этом нам поможет продукт Perplexity. Это полноценный поиск с встроенным GPT-4 и классным дизайном. На днях они релизнули режим Copilot: теперь можно задать даже абстрактный вопрос вроде «какие есть интересные события в июне в Белграде» или «собери мне план курса по Langchain». Копайлот задаст в ответ уточняющие вопросы и в итоге распишет ответ с ссылками на актуальные сайты-источники. После этого можно продолжить общение в чате и уточнить свой запрос.

🤖 Обычный поиск там работает без регистрации, а для режима копайлота нужно будет авторизоваться через гугл. Также удобно, что результат можно зашарить с другими — вот к примеру результаты моего запроса про курс по Лангчейну. Рекомендую начать пробовать для сценариев, в которых вы бы хотели использовать ChatGPT, но требуется актуальная информация.

🔮 Всё это натолкнуло меня на мысли про будущее контент-маркетинга и SEO. Давайте соберем здесь 30 реакций и я сделаю про это отдельный пост.

@prod1337