Умный ассистент Siri появился больше 10 лет назад, в 2011. Кажется, что многие тогда думали "ухххх через 10-то лет будет такой умной! Настоящий ИИ!"

Парень с твиттера прикрутил к Siri в Apple Watch вызовы GPT-4. Далее он сказал своим часам, мол, мне надо в репозиторий с моим проектом добавить вот такую кнопку, так и так, можешь помочь?". Дальше происходит магия, и на GitHub появляется пулл-реквест от GPT-шки, с написанным кодом.

Ухххх поскорее бы аналог Джарвиса из "Железного Человека"...

3-минутное видео с демонстрацией: https://fxtwitter.com/i/status/1641204093074145281

В гугле происходит шото непонятное. Так действительно можно на горизонте года растерять всё наработанное преимущество.

Вот статья TheInformation, которая рассказывает про внутренние проблемы. Среди прочего там говорится, что известный исследователь из Google в области искусственного интеллекта ушел в отставку после того, как предупредил генерального директора Сундара Пичаи и других руководителей высшего звена о том, что Bard — конкурент Google для ChatGPT... готовы? воздуху набрали?

...использует данные ChatGPT. Это запрещено лицензией OpenAI: нельзя использовать результаты работы модели для создания и обучения моделей-конкурентов.

Если какой-то исследовательский продукт на гитхабе (вроде Alpaca) - это ещё не понятно, конкурент или просто поделка, то такой-же чатбот от Google..тут уже без сомнений.

Где-то сейчас сидит один Sam Altman и считает бюджет на обучения GPT-6:
1. Прес качат
2. $10 милилардов от Microsoft получат
3. Иск к Google на $20 миллиардов подават

Вот и экономика сошлась!

Мем в тему дня.

На фото - Eliezer Yudkowsky, специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ. Ключевая фигура сообщества рационалистов.

Он уже больше 20 лет пытается вместе с группой ученых пододвинуться к решению проблемы AI Alignment.

Суть в том, что у нас нет никаких защитных гарантирующих методов, которые позволяют контролировать Искусственный Интеллект.

Не поймите неправильно - он не кричит, мол, GPT-4 это AGI, и мы все умрем! Он просто говорит о том, что нужно придумать щит до того, как появится меч, нужно подготовиться.

Сегодня в Time вышла статья от него, некоторые тезисы которой весьма спорны, и их сложно назвать рациональными. Среди прочего, предлагается начать плотно следить за датацентрами, в которых могут обучать нейросети, и если появляется несанкционированный - бомбить его (airstrike, я не шучу)

Разбора статьи не будет, в ближайшие 3-4 дня, думаю, об этом будут говорить все - а там глянем, что получилось.

https://www.youtube.com/watch?v=AaTRHFaaPG8

А вот и подоспело свежее интервью c Eliezer'ом на целых 3 часа. Если хотите лучше понять его точку зрения - уверен, там достаточно много детале. Спойлер: он не городской сумасшедший, который требует невозможного (вроде остановки прогресса человечества).

За ссылку спасибо нашему постоянному гостю Всеволоду из Эстонии

UPD: Только не отказывайте себе в просмотре видео по той причине, что "ну он про бомбардировку датацентра написал"...

Маск сказал - Маск сделал

Твиттер опубликовал весь исходный код системы рекомендаций площадки.
Репозиторий на гите: тык

Интересно, как быстро умельцы найдут баги, и сколько новой информации для себя другие компании вытащат.

За ссылку спасибо каналу @j_links

UPD: для мл-моделек тоже есть репозиторий.

это я когда увидел сколько статей хочется разобрать из числа вышедших за последние трое суток

Но разборов (пока) не будет, поэтому вот вам так называемый МЕМ с сайта levels.fyi (для сравнения зарплат и уровней/должностей в разных компаниях):

🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.

Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting

Всё это позволило добиться впечатляющего качества на различных доменах генераций.

FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).

Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace

Спасибо всей команде за слаженную и качественную работу - испытываю несказанное признание каждому🔥

@complete_ai

⚡️SpaceX официально уведомили NASA о том, что намерены осуществить тестовый полёт Starship 10 апреля с резервными днями 11 и 12 апреля соответственно.

Напомним, что лицензии на запуск от FAA нет до сих пор, но судя по всему спейсы уверены, что получат её в ближайшее время

Наткнулся на занятную статью "8 вещей, которые надо знать о больших языковых моделях"

Краткое содержание:
1. LLM предсказуемо становятся более "способными" с увеличением затрат в $, даже без крутых инноваций. Главное тут - предсказуемость, что было показано в статье про GPT-4: учили 5-7 маленьких моделек с бюджетом 0.1% от финального, а затем по этому делали предсказание для огромной модели. Для общей оценки перплексии и метрик на подвыборке одной конкретной задаче такое предсказание было очень точным.

2. Однако конкретные важные навыки, как правило, возникают непредсказуемо как побочный продукт увеличения затрат на обучение (дольше тренировать, больше данных, больше модель) - практически невозможно предсказать, когда модели начнут выполнять определенные задачи. Подробнее об этом мы писали в статье про историю развития GPT-моделей, которую, надеюсь, многие из вас читали. На картинке - распределение роста качества моделей в разных задачах. В трети маленькие модели ничего не показывают, средние в целом тоже, а большие БАХ! И учатся решать.

3. LLM часто выучивают и используют представления внешнего мира. Тут приводится много примеров, и вот один из них: модели, обученные играть в настольные игры на основе описаний отдельных ходов, никогда не видя изображения игрового поля, выучивают внутренние представления о состоянии доски на каждом ходу.

4. Не существует надежных методов управления поведением LLM. Хотя и был достигнут некоторый прогресс в понимании и смягчении разных проблем (в том числе ChatGPT и GPT-4 с обучением из обратной связи), нет единого мнения о том, сможем ли мы их решить. Растет обеспокоенность, что проблемы alignment'а станут катастрофическими, когда проявятся в более крупных системах будущего.

5. Эксперты пока не могут интерпретировать внутреннюю работу LLM. Yе существует методики, которая позволила бы каким-либо удовлетворительным образом изложить, какие виды знаний, рассуждений или целей использует модель, когда она генерирует какой-либо результат.

6. Качество выполнения задач человеком не является верхней границей для LLM. Хотя они и обучены в первую очередь имитировать поведение человека при написании текста, но всё равно потенциально могут превзойти нас во многих задачах. Так происходит в более узких задачах вроде шахмат или игры в Го.

7. LLM не должны выражать ценности своих создателей или ценности, закодированные в выборке из интернета. Они не должны повторять стереотипы, теории заговора или стремиться оскорбить кого-либо.

8. Оценки способности модели по первым впечатлениям часто вводят в заблуждение. Очень часто нужно додумать правильный промпт, подсказать модели, может, показать примеры - и она начнёт справляться куда лучше. То есть она "умнее", чем кажется на первый взгляд.

Картинка ко второму пункту.

Если ориентироваться на выборку из 202 задач из датасета BIG-Bench (специально делался сложным, чтобы языковые модели тестировать от и до), то как правило (в среднем) модели демонстрируют повышение качества с увеличением масштаба, но по отдельности метрики в задачах могут:
— улучшаться постепенно
— улучшаться резко
— оставаться на одном уровне
— ухудшаться
— колебаться

Все это приводит к невозможности уверенно экстраполировать производительность какой-либо будущей системы.

Особенно интересна зелёная часть - это как раз где показатели качества резко скачут вверх ни с того, ни с сего.

Человечество vs. Искусственный интеллект

Обещанный коллаб с Вастриком из @vas3k_channel и Павлом Комаровским из @RationalAnswer наконец подъехал! Там почти всё написал сам Вастрик – а мы так, стояли и сбоку подсказывали (следующая статья из серии зато на мне и Паше будет).

В статье мы обсуждаем проблемы и риски от развития искусственного интеллекта – и фокусируемся на будущем и (не)далёкой перспективе, с разбором ситуаций, которые происходят уже сейчас. В общем, хочется призвать людей ко вдумчевому общественному обсуждению и дискуссии вместо тыкания пальцем "ну вот Юдковский предлагает бомбить датацентры ахахах шизыыыы!"

Читать статью: https://habr.com/ru/companies/ods/articles/727158/

Текст можно прочитать и на VC, и на Хабре (и даже на DTF), и у самого Вастрика в Блоге – если вам понравится, будем благодарны за лайк на любой из площадок, где вам удобнее читать

В четверг, 13 апреля, в 15 по Лондону делаем аудио чат в этом канале вместе с Игорем планируем разбирать различные твиты и контр-твиты, вроде этого, где делаются следующие заявление:
Relax.

The industrial revolution changed every aspect of daily life for every human on earth. The only other comparable event in our history was the adoption of agriculture.

The invention of HTTPS was a much bigger turning point than GPT-4 can ever be.

Или

This seems very short sighted. In the span of a few months we’re seeing insane evolution. I think it’s becoming quite obvious that GPT / LLMs will keep evolving at an even faster pace and affect almost every aspect of our lives deeply.

Industrial Revolution-level? In terms of jobs created / destroyed and impact on society, of course it will be, possibly more.

Будем высказывать свое бесценное мнение, троллить, провоцировать и отвечать на вопросы слушателей. Подключайтесь

Буквально со второй недели ведения канала у меня в голове витала мысль, что с одной стороны длинные посты не то чтобы людям хочется читать, а с другой - мне хочется делать какую-то подводку и давать бэкграунд, что это за проблема, какие есть решения, в чем польза и так далее.

Поэтому я размышлял над аудиоформатом. Скажем, делаю средней длины пост, а после него записываю 5-10 минутное аудиосообщение, которое могут послушать те, кому реально хочется деталей.

Так вот, на следующей неделе пойду в гости к своему (пока) бывшему боссу, Валере Бабушкину. У него, как ясно из форварда ниже, есть свой канал @cryptovalerii. Я бы мог долго распинаться, что у опытного менеджера, который и был топ-менеджером в одном из крупнейших офлайн-ритейлеров, и лидировал команды в Фейсбуке, можно многому научиться, но лучше сами перейдите вот в этот пост посмотреть хэш-теги, покликать и почитать ранее написанное.

Ну и ясен красен ждём всех читателей в виде слушателей в следующий четверг!

Только что от автора Сиолошной узнала, что прямо сейчас на Ютубе идёт беседа Эндрю Ына с Яном ЛеКуном. Беседуют про вот эту идею остановить разработку мощного ИИ на 6 месяцев. ЛеКун против этой идеи (высказывался об этом сразу после публикации петиции), поэтому и разговор называется "Why the 6-month AI pause is a bad idea"

Начали всего 20 минут назад. К видео есть форма для вопросов и живой чат.

Смотреть тут

Ровно 7 лет назад первая ступень Falcon 9 впервые успешно села на плавучую баржу в океане. Видео обязательно смотреть со звуком, чтобы прочувствовать радость команды SpaceX.

Тогда это казалось чем-то невероятным и фантастическим, ведь обычно как бывает?
— Мы запускаем ракету, и где-то вот в Сибири или в Тихом океане на огромной площади посреди ничего упадут ОБЛОМКИ.
— (Маск, ухмыляясь) Я нарисую крестик на маленькой барже, и хреновина высотой с 11-этажный дом (41.2 метра) попадет чётко в её центр, ок?

А теперь это стало рутиной, я сам где-то через года 3 после этого перестал смотреть на запуски. Уж слишком всё стабильно, никакой интриги! Садится как по часам!

До этого ступень лишь 1 раз успешно села на землю (за 4 месяца до этого).

Но главное не забывать, что сейчас мы ждём первого орбитального полёта Starship, который, надеюсь, мягко приводнится, дав тем самым старт частым пускам и испытаниям. А то надоело ждать!