Выше в канале я затрагивал тему непонимания рынка запусков тяжелых ракет индустрией и обещал раскрыть тему. Мысли в основном из этой статьи (перевод на русский тут).

Вот есть Falcon Heavy, способный закидывать на орбиту 63 тонны - это 1/7 МКС. Вторую станцию, конечно, строить резона нет - но запускать отдельные исследовательские или промышленные модули вполне осмыслено. Но почему же за 5 лет с момента первого демонстрационного запуска было выполнено всего 5 миссией?

Всё дело в полезной нагрузке: спроектировать новый спутник или модуль это вам не пальцами щелкнуть. У современной промышленной компании это займет лет 5, у крупной бюрократичесной машины NASA+Boeing 10 лет, у России - 15-17. Так как раньше запуски были безумно дорогими (программа Falcon снизила цену за килограмм примерно в 5-10 раз), то никто и не думал такими категориями, как вывод на орбиту целых махин.

Со Starship ситуация грустнее - он должен снизить цену ещё на порядок, и при этом отодвинуть ограничения на объем и массу груза. Для сравнения: объем грузового отсека 1,100м3 (на МКС 388 кубометра жилого объема и 1,005м3 всего). Выводимая масса - от 100 до 250 тонн (25%-60% от МКС). Целевая цена запуска в возвращаемой конфигурации - $10 миллионов. Не миллиардов - миллионов. Я не хочу говорить, что можно отстроить МКС за 3-4 пуска, всё немного сложнее, но на фоне общей стоимости программы выходит, что запуски вообще бесплатные.

С такими данными любые оптимизации оборудования и фюзеляжа, использование очень дорогих легких сплавов больше не имеет смысла. Доллар, потраченный на оптимизацию массы, больше не экономит доллар, сэкономленный на стоимости запуска. Он ничего не экономит. Пришло время поднять масштаб наших амбиций и мыслить гораздо шире.

При тех же годовых затратах, что и программа Артемида от NASA, Starship мог бы доставить на Луну и обратно в 100 раз больше грузов, что означает, что вместо 2 или 3 маленьких десятитонных жилищ для экипажа в течение следующего десятилетия мы могли бы за год или два построить и запустить базу, способную разместить 1000 человек. Скорее всего, мы этого не сделаем, но мы могли бы.

Starship изменит то, как мы ведем дела в космосе, и сейчас самое время начать готовиться. Притворство, что его не существует, не является адекватной стратегией хеджированием рисков, независимо от того, полетит ли Starship в 2022, 2025 или никогда. Это просто фактор, который нельзя игнорировать.

Сейчас производство одного марсохода Perseverance обходится в $2.2 миллиарда. Почему? Потому что это сделанный на заказ, оттестированный до малейших деталей высокоустойивый к отказам штучный экземпляр. Но все мы знаем, как сильно дешевеет производство при переходе на конвеер - Генри Форд всем показал. Уже не будет важно, что из партии в 100 штук 15 сломались в первый месяц работы - хрен с ними, остальные 85 продолжают изучение. В общем случае увеличение бюджета не потребуется, это не доп. расходы для NASA - но нужно менять парадигму, готовиться к массовому произсодству, менять или дорабатывать технологии.

НО НИЧЕГО ЭТОГО НЕ ДЕЛАЕТСЯ. Причём сложно сказать, что NASA не знает про Starship или не верит в него - ведь SpaceX должны помочь вернуть человека на Луну уже в 2025м году. То есть по плану тех же NASA в 2025м будет существовать корабль, способный садиться на другие небесные тела, с объемом полезной нагрузки 1000 кубометров...и ничего.

После успеха Starship, Caterpillar, Deere или КАМАЗ смогут с минимальными изменениями вывести в космос свои существующие продукты и эксплуатировать их в космосе. Если немного поспекулировать, то какой-нибудь огромный карьерный грузовик Caterpillar уже является чрезвычайно прочным и механически надежным. McMaster-Carr уже поставляет тысячи деталей, которые работают в шахтах, на нефтяных вышках, и в любом другом количестве ужасно агрессивных сред, по сравнению с которыми вакуум космоса — восхитительная благодать :)

Раз уж AI всё ещё на хайпе;) У нас всё ещё есть возможность оседлать новую волну в NLP. Поэтому, если Вам интересна эта тема или Вы хотите к ней приобщиться, вот Вам воскресняя подборка выступлений моих хороших знакомых и меня конечно же.

1. Лекция о том, как строят при помощи NLP голосовых ассистентов: продуктовый, retrieval, generative подход.
2. Выступление на DataFest2022 NLP секция про KNN LM (кстати всё ещё очень актуальный подход). Часть 1, часть 2. Автор @seeyouall.
3. Наше последнее в 2022 году представление об современном retrieval и как в нём помогает RL-critic.
4. Рассказ об ChatGPT от AIRI @anvarki. Спасибо за приглашение, Анвар ;)

Всем продуктивного вечера)

Обнаружил, что мой приятель-тимлид Саша недавно завёл свой ТГ канал. Мы с Сашей часто общаемся по поводу новых и старых подходов в NLP, обсуждаем статейки и делимся друг с другом опытом/наблюдениями.
На канале уже есть крутые посты с разбором статей, которые у меня ещё только в ридинг-листе на будущее отложены (например).

Увидел вот пост с обзором разных подходов, был приятно удивлён, что затесались сюда и мои лекции :)

В общем, если хочется чуть более технического погружения, или вы искали, чем полезным заняться/что посмотреть в воскресенье - welcome.

P.S.: напоминаю, что у меня в канале нет рекламы, и я рекомендую или форваржу только то, что читаю сам (см. запиненное сообщение сверху).

ChatGPT в массы!

OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).

Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.

Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.

Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.

И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in

Теперь данные клиентов не будут использоваться для дообучения в будущем!

Ещё интересного - теперь модели будут обновляться, дообучаась на новых примерах с некоторой периодичностью.

С одной стороны плюс - будут up to date, и в теории должны работать чуть лучше с каждой итерацией. С другой - можно выстрелить себе в ногу, если вдруг произойдет деградация качества - ну вот перестали ваши промпты волшебные работать, и всё! Бизнес можно закрывать...

Сейчас, например, доступна модель gpt-3.5-turbo-0301, то есть от первого марта. Указано, что она будет поддерживаться до 1го июня 2023го, то есть 3 месяца, и не будет получать обновлений.

Посмотрел семинар Стэнфорда про Open Pretrained Transformers (OPT)- GPT-3 от Facebook, которая была выпущена и опубликована в первой половине 2022го года (открыто доступны модели до 66 миллиардов параметров, самая большая как GPT-3 - только по заявке, с описанием, зачем вам).
Рассказчица - Susan Zhang, поработавшая до этого в OpenAI над нейронкой, которая играла в DotA 2 (и выигрывала кожаных!). Это, как я понимаю, был её первый проект в Facebook.

Из интересного - узнал, что первые 3 месяца (из 4) проектом занималась команда из всего 5(!) человек. Да, была ещё поддержка с инфрастуктурой, но без выделенных специалистов - в общем порядке, как и любой другой пользователь кластера. Вероятно, была поставлена задача любыми силами до конца 2021го года обучить что-то сравнимое с GPT-3, так как несколько раз в презентации Susan ссылается на то, что сроки поджимали, и вообще горело.

В обучении больших трансфомреров две проблемы:
1) ошибки в инфраструктуре, драйверах или видеокарточках, когда отключается одна - и останавливается вся тренировка. В итоге для обучения модели было сделано 56 запусков (с восстановлением из предыдущего сохранения). Люди буквально сидели и мониторили сутками дэшборды, выискивая на графиках неисправности, и в таком дежурном режиме и доучили модель.
2) нестабильность, когда малейшие изменения параметров приводят к тому, что модель расходится и перестаёт обучаться совсем. Проект как раз и начали с того, что собрали все практики внутри фейсбука, и пробовали обучать с ними, но чем больше поджимало время - тем больше они перезаимствовали наработки OpenAI по обучению GPT-3, а также Megatron-LM от Microsoft. Какой-то системности я не обнаружил, но это и ожидаемо - людей мало, полкой подгоняют, ужас!

В этом плане мне куда больше понравился рассказ от ребят из Яндекса про их YaLM, какие трудности решались для непрерывного обучения модели на 100B параметров. Кому интересно углубиться в технические детали - рекомендую ознакомиться. Разработка происходила параллельно OPT, то есть модели +- ровесники в плане технологий, которые были на этапе обучения.

В MIT Economics вышла очень интересная статья (ссылка на pdf).

Проводится эксперимент, в котором 444 людям предлагается решать какие-то задачи, связанные с написанием текстов: составление пресс-релизов, кратких отчетов, аналитических планов и рабочих имейлов, примерно по 20-30-минут каждая.

Случайно выбранные 50% участников получают указание зарегистрироваться в ChatGPT между первым и вторым заданием, затем им рассказывают, как его использовать, и говорят, что разрешается прибегать к помощи ChatGPT во втором задании, если они находят это полезным.

Результаты показывают, что ChatGPT существенно повышает среднюю производительность: затрачиваемое время уменьшается, а качество выполнения задач повышается (см.картинку). Причем, неравенство между работниками уменьшается, поскольку ChatGPT приносит большую пользу работникам с низкими способностями (определенными с помощью оценки на первой решаемой задаче).

ChatGPT в основном заменяет части работы людей, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не написание драфтов/черновиков. Знакомство с ChatGPT повышает удовлетворенность работой (серьёзно, людям больше понравилось выполнять задачи!) и эффективность.

Незаметно для многих осенью 2022го года OpenAI анонсировали программу инвестирования в стартапы на $100M, а также свой собственный акселератор Converge. Идея такова, что они хотят отобрать примерно 10 идей, проинвестировать в них по $1М и - самое главное - предоставить ранний доступ к своим внутренним разработкам. Это пятинедельная программа с жёстким отбором для выдающихся инженеров, дизайнеров, исследователей и разработчиков продуктов, использующих ИИ.

Хочу напомнить, что СЕО OpenAI - это Sam Altman, бывший директор самого престижного и одного из старейших стартап-инкубаторов Y Combinator (с этой истории я начинал свой канал, см. вот этот пост). Дядька, в общем, явно с опытом и насмотренностью, с чётким видением и далеко идущими планами.

Основной фокус же фонда OpenAI - это стартапы, которые будут трансформировать с помощью ИИ очень важные индустрии вроде здравоохранения, изменения климата, образования, а также те, которые могут совершить прорывы в продуктивности людей с помощью умных AI-ассистентов вроде ChatGPT.

В конце января стало известно, какие стартапы туда прошли - см. картинку, на ней указаны названия и краткое описание направления работ.

Занятно, что первый батч стартапов запустился 5го декабря, а закончился 27го января. То есть команды очень тесно работали почти два месяца со спецами OpenAI в эпоху расцвета ChatGPT и ассистента в Bing, и, вероятнее всего, получают огромное количество ценнейшего hands-on опыта работы как с этими моделями, так и с preview-версиями условной GPT-4.

Блестяще, мистер Альтман!

Пара слов про стартапы, в которые закинули деньги (с офф. страницы самого фонда):

Harvey (Specter?) - интуитивно понятный интерфейс для всех юридических рабочих процессов, тесно связанный с языковыми моделями и чатботами. Их технология расширяет возможности юриста за счет использования AI-ассистента, чтобы сделать утомительные задачи, такие как исследование/подготовка, анализ и даже общение с клиентами проще и эффективнее. Это экономит время юристов и в конечном итоге позволяет им предоставлять более качественные услуги большему количеству клиентов. Понятно (и приятно), что нейронка не забудет какой-то важный закон или поправку, принятую буквально позавчера в последнем чтении, а для прецедентных судебных систем (например, в США) так вообще будет сканировать все 100500 преступлений за века и "подсказывать", какие из них можно использовать как аргументы.

Mem - аналог Notion, но, как вы уже поняли, с AI-ассистентом, который подключается к разным источникам данных и подсказывает вам во время написания текстов, какая информация будет наиболее актуальна в заданном контексте (брейншторм/драфт письма/питч/подготовка к выступлению..)

Speak - очевидный юзкейс помощи людям в изучении языков. Для большинства задач не нужен человек, слушать произношение, проводить диалог с внедрением новых изучаемых слов, отлавливать грамматические ошибки - ведь всё это автоматизируется. В общем, их цель состоит в том, чтобы сделать общение на английском языке более доступным и, в конечном итоге, помочь сотням миллионов людей обрести языковые навыки. Верю, что уже мои дети будут изучать не только языки, но и вообще все предметы с помощью таких ассистентов (но и людей, конечно, тоже).

интересная картинка "метрика". Guess what happened :)

(мем вышел слишком сложным)
Дам альтернативную подпись к картинке: "Последнее изобретение человечества".

Вышла! Вышла! Вышла!

Я думал, что с таких слов и криков восторга начну сообщение в день, когда OpenAI опубликует статью по GPT-4. Время шло, статьи или даже блогпоста не было, зато в наш мир пришла ChatGPT. Про неё, кажется, слышали уже все - даже три моих преподавателя по английскому (из трёх!) спрашивают про эту модель!

Однако есть очевидная проблема - очень мало кто понимает, по каким принципам работает ChatGPT, что за магия происходит у неё внутри? А главное - пора ли уже перемещать весь цикл фильмов про Терминатора в раздел «документальное кино» на Кинопоиске?

Ответы на эти и бесчисленное множество других вопросов мы запихнули в новую статью под названием «Эволюция нейросетей от Т9 до ChatGPT: объясняем на простом русском, как работают языковые модели».

Я пишу "мы" потому, что эта статья - результат совместной работы с Павлом Комаровским, автором канала @RationalAnswer про разумные ответы на жизненные вопросы про финансы. Я его читаю уже больше года точно, и был ОЧЕНЬ удивлён предложению поработать вдвоём над объяснением для широких масс от столь опытного автора.

Мы потратили много усилий и времени, чтобы сделать материал интересным и понятным для каждого, особенно для не-технарей.

Читать статью: https://habr.com/ru/company/ods/blog/716918/

Если текст вам понравился, то мы будем благодарны за ваши лайки. Вопросы в комментариях тут и на сайте - приветствуются!

P.S. Не забудьте еще посмотреть на контент из канала @RationalAnswer Павла, уверен, что сейчас его советы и опыт актуальны для людей как никогда - всё таки человек больше 10 лет трудился в сфере фин. аудита и консалтинга (привет рыбятам из Маккинзи). Все его лонгриды я перечитал на два раза за последние 3 месяца, так как регулярно перелетаю из одной страны в другую 🙃 Но помимо этого есть куча познавательных видео и интервью, да хоть с тем же Вастриком.

Поздравляю всех женщин с Международным женским днем! Сегодня мы празднуем ваши достижения и вашу силу, стойкость и решимость перед лицом невзгод. Вы вдохновляете нас каждый день своим великолепием, творчеством и состраданием, и мы благодарны вам за все, что вы делаете, чтобы сделать мир лучше.

Сегодня мы также признаем, что еще многое предстоит сделать для достижения равенства и обеспечения того, чтобы женщины имели те же возможности, права и свободы, что и мужчины. Но благодаря вашему лидерству, вашему мужеству и вашей непоколебимой приверженности справедливости и равенству мы знаем, что можем добиться прогресса на пути к более справедливому и равноправному миру.

Итак, всем женщинам - мы салютуем вам! Спасибо за все, что вы делаете, и пусть вы продолжаете ярко сиять и вдохновлять всех нас своим невероятным духом и своим безграничным потенциалом.

Be the change you wish to see in the world.
— — — — —
Текст: ChatGPT + я
Картинка: Midjourney