OpenAI спустя всего 6 месяцев сделали iOS приложения для доступа к ChatGPT, чтобы не нужно было бегать в браузер. Пока — только в США, но другие страны, если верить анонсу, на подходе; то же верно и для Android-версии.
Существенное отличие по сути одно: к языковой модели сбоку пришили Whisper — нейронку от тех же OpenAI, которая переводит речь в текст. Так что по сути это Siri на максималках, вот! Жаль, что одновременно с этим не презентовали text-to-speech, был бы очень интересный коллаб.
Если у вас американский аккаунт, то скачать можно тут.
Существенное отличие по сути одно: к языковой модели сбоку пришили Whisper — нейронку от тех же OpenAI, которая переводит речь в текст. Так что по сути это Siri на максималках, вот! Жаль, что одновременно с этим не презентовали text-to-speech, был бы очень интересный коллаб.
Если у вас американский аккаунт, то скачать можно тут.
Вам может показаться, что на фото какой-то незнакомый дядя пытается угостить вас конфеткой, но нет: это Mark Zuckerberg демонстрирует новый чип MTIA v1 для ускорения работы нейронных сетей.
Что интересно, конкретно этот чип заточен на работу Deep learning recommendation models (DLRMs), а не на генеративный AI, как мы с вами привыкли. Но в целом оно и ясно - большая часть заработка у компании всё еще приходит, по сути, от того, насколько хорошо они показывают вам рекламу, ленту в инстаграме и так далее. Под это выделены огромные мощности, и любая экономия на таком масштабе на горизонте нескольких лет превращается в существенную оптимизацию трат. Чтоб вы понимали, в условном Google может работать несколько команд на протяжении квартала, чтобы улучшить эффективность отдельных алгоритмов в процессоре на 1-2% (про это очень интересно пишут вот тут).
А вообще железо — очень горячая тема (в прямом и переносном смысле🔥 ). Никто не хочет зависеть от Nvidia, ну и разработчикам своих алгоритмов куда виднее, чего специфического можно наоптимизировать. Вот тут я писал про то, что в OpenAI открылась вакансия по направлению разработки своих чипов, там же есть информация про чипы от Tesla. У Google свои Tensor Processing Unit (TPU) уже лет 7 как есть, а у Китая аналогов столько, что пальцев двух рук не хватит пересчитать.
Если говорить про практический аспект, то чипы не получились идеальными (на то они и v1): лишь в некоторых маленьких рекомендательных нейронках они лучше GPU (в пересчете производительности на ватт энергии, см. картинку в комментариях).
Анонс
Удивлён, что не представили чипы для Metaverse...🤔
Что интересно, конкретно этот чип заточен на работу Deep learning recommendation models (DLRMs), а не на генеративный AI, как мы с вами привыкли. Но в целом оно и ясно - большая часть заработка у компании всё еще приходит, по сути, от того, насколько хорошо они показывают вам рекламу, ленту в инстаграме и так далее. Под это выделены огромные мощности, и любая экономия на таком масштабе на горизонте нескольких лет превращается в существенную оптимизацию трат. Чтоб вы понимали, в условном Google может работать несколько команд на протяжении квартала, чтобы улучшить эффективность отдельных алгоритмов в процессоре на 1-2% (про это очень интересно пишут вот тут).
А вообще железо — очень горячая тема (в прямом и переносном смысле
Если говорить про практический аспект, то чипы не получились идеальными (на то они и v1): лишь в некоторых маленьких рекомендательных нейронках они лучше GPU (в пересчете производительности на ватт энергии, см. картинку в комментариях).
Анонс
Удивлён, что не представили чипы для Metaverse...
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Neural Shit
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
Работа AR/VR отдела Google, позволяющая с помощью генеративной нейронки гибко манипулировать объектами на изображении, перемещая произвольные ключевые точки. Вещи можно поворачивать, увеличивать, убирать, задвигать и еще с десяток глаголов. Лучше один раз посмотреть демку, чем сто раз прочитать!
В некоторых случаях работает прям отменно, но в большинстве сильно меняет части вне фокуса, либо не очень качественно дорисовывает изменения. А для внесения корректировок в видео не подойдет из-за "сдвига" текстуры (посмотрите гифку, чтобы лучше понять, что это такое).
Страница проекта с другими примерами
Работа AR/VR отдела Google, позволяющая с помощью генеративной нейронки гибко манипулировать объектами на изображении, перемещая произвольные ключевые точки. Вещи можно поворачивать, увеличивать, убирать, задвигать и еще с десяток глаголов. Лучше один раз посмотреть демку, чем сто раз прочитать!
В некоторых случаях работает прям отменно, но в большинстве сильно меняет части вне фокуса, либо не очень качественно дорисовывает изменения. А для внесения корректировок в видео не подойдет из-за "сдвига" текстуры (посмотрите гифку, чтобы лучше понять, что это такое).
Страница проекта с другими примерами
Чем мне нравится учебный процесс в топовых университетах, так это то, что приглашенные преподаватели, во-первых, покрывают самые актуальные темы, которые появились вот-вот (быть может даже после начала семестра), а во-вторых, являются не последними людьми в индустрии (так еще и отличными спикерами).
Вчера Stanford University выложил запись свежей лекции от Andrej Karpathy (см. кто это тут). Ссылка на саму лекцию: вот.
Там есть интересный мемный слайд, который показывает, как трансформеры пришли почти в каждое направление машинного обучения (sad but true).
Прим.: я так понимаю это стиль такой, читать крутые лекции с плохим микрофоном?) потому что в моей лекции на русском языке про трансформеры тоже не самый лучший звук😂
Вчера Stanford University выложил запись свежей лекции от Andrej Karpathy (см. кто это тут). Ссылка на саму лекцию: вот.
Там есть интересный мемный слайд, который показывает, как трансформеры пришли почти в каждое направление машинного обучения (sad but true).
Прим.: я так понимаю это стиль такой, читать крутые лекции с плохим микрофоном?) потому что в моей лекции на русском языке про трансформеры тоже не самый лучший звук
Please open Telegram to view this post
VIEW IN TELEGRAM
Sam Altman с корешами из OpenAI выкатили первоначальные идеи по управлению "superintelligence", включая создание международной организации по надзору за будущими системами ИИ, гораздо более способными, чем сегодняшние: ссылка.
Тезисное саммари:
— Развитие суперинтеллекта должно координироваться глобальными усилиями для обеспечению безопасности и плавной социальной интеграции.
— Организация, подобная Международному агентству по атомной энергии (МАГАТЭ), может потребоваться для надзора за усилиями по разработке ИИ, которые превышают определенные значения возможностей.
— Техническая возможность сделать суперинтеллект безопасным — пока не подтверждена, это открытый исследовательский вопрос, который необходмо прорабатывать.
— Компаниям должно быть позволено разрабатывать модели ниже заданного порога возможностей без жесткого регулирования, в то время как мощные системы требуют тщательного управления и общественного контроля.
— Границы для систем ИИ должны определяться демократическим путем, при этом отдельные пользователи должны контролировать поведение своего ИИ в этих пределах.
— Несмотря на риски, развитие ИИ считается полезным из-за его потенциала для решения социальных проблем.
— Остановка развития суперинтеллекта считается рискованной и трудной, поэтому важно подчеркнуть важность принципа ответственного и безопасного развития.
Тезисное саммари:
— Развитие суперинтеллекта должно координироваться глобальными усилиями для обеспечению безопасности и плавной социальной интеграции.
— Организация, подобная Международному агентству по атомной энергии (МАГАТЭ), может потребоваться для надзора за усилиями по разработке ИИ, которые превышают определенные значения возможностей.
— Техническая возможность сделать суперинтеллект безопасным — пока не подтверждена, это открытый исследовательский вопрос, который необходмо прорабатывать.
— Компаниям должно быть позволено разрабатывать модели ниже заданного порога возможностей без жесткого регулирования, в то время как мощные системы требуют тщательного управления и общественного контроля.
— Границы для систем ИИ должны определяться демократическим путем, при этом отдельные пользователи должны контролировать поведение своего ИИ в этих пределах.
— Несмотря на риски, развитие ИИ считается полезным из-за его потенциала для решения социальных проблем.
— Остановка развития суперинтеллекта считается рискованной и трудной, поэтому важно подчеркнуть важность принципа ответственного и безопасного развития.
Openai
Governance of superintelligence
Now is a good time to start thinking about the governance of superintelligence—future AI systems dramatically more capable than even AGI.
Forwarded from AI Happens (Alexey Hahunov)
🟢 Напоминание: завтра в 19:30 по мск проводим звонок с @seeallochnaya прямо здесь.
Обсудим, как ChatGPT ищет информацию в интернете, как работают плагины, а также коснемся альфа-версии интерпретатора кода, которая появилась у некоторых пользователей.
Ссылка, чтобы добавить событие в календарь
приходите, я буду рад
@aihappens
Обсудим, как ChatGPT ищет информацию в интернете, как работают плагины, а также коснемся альфа-версии интерпретатора кода, которая появилась у некоторых пользователей.
Ссылка, чтобы добавить событие в календарь
приходите, я буду рад
@aihappens
Сегодня был третий день DataFest 2023 и первый — для секции Instruct Models, в организации которой я принимал активное участие. Нашел лекторов, помог с выбором тем, кому-то с драфтами презентаций. В общем, получил очень клевый опыт.
Саму же секцию открывал мой доклад под названием "RLHF Intro: from Zero to Aligned Intelligent Systems". В нём я рассказываю про то, как так вышло, что пересеклись две области машинного обучения — Natural Language Processing и Reinforcement Learning, и почему (и как!) в результате этого родилась ChatGPT. Доклад в большей степени технический, для настроенной аудитории, однако уверен, что даже люди, не работающие в сфере ML, смогут понять 75% (а если сильно захотят — то и все 85%!).
Презентация оканчивается обзором проблемы AI Alignment, и автоматической валидацией Intelligent систем: в том числе упоминается статья "Constitutional AI: Harmlessness from AI Feedback", где инженеры Anthropic обучали модель на фидбеке...от другой модели 😐 так, скоро и кожаные не нужны будут...😞
Смотреть: https://youtu.be/4W3MQkApH9Y
Слайды презентации: тут
P.S.: лекция — с новым качественным микрофоном!!!
Саму же секцию открывал мой доклад под названием "RLHF Intro: from Zero to Aligned Intelligent Systems". В нём я рассказываю про то, как так вышло, что пересеклись две области машинного обучения — Natural Language Processing и Reinforcement Learning, и почему (и как!) в результате этого родилась ChatGPT. Доклад в большей степени технический, для настроенной аудитории, однако уверен, что даже люди, не работающие в сфере ML, смогут понять 75% (а если сильно захотят — то и все 85%!).
Презентация оканчивается обзором проблемы AI Alignment, и автоматической валидацией Intelligent систем: в том числе упоминается статья "Constitutional AI: Harmlessness from AI Feedback", где инженеры Anthropic обучали модель на фидбеке...от другой модели 😐 так, скоро и кожаные не нужны будут...
Смотреть: https://youtu.be/4W3MQkApH9Y
Слайды презентации: тут
P.S.: лекция — с новым качественным микрофоном!!!
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
RLHF Intro: from Zero to Aligned Intelligent Systems | Igor Kotenkov
Ссылка на презентацию: https://1drv.ms/p/s!AlnN0aqNwShslWtiuDJOR_qt3Urn
Мой телеграм канал: https://t.me/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.me/seeallochnaya/3
Перед вами - обзорная-лекция блока Instruct…
Мой телеграм канал: https://t.me/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.me/seeallochnaya/3
Перед вами - обзорная-лекция блока Instruct…
Forwarded from еба́ные идеи для резерча
Этично ли указывать моделям на их ошибки в процессе обучения?
Сиолошная
🟢 Напоминание: завтра в 19:30 по мск проводим звонок с @seeallochnaya прямо здесь. Обсудим, как ChatGPT ищет информацию в интернете, как работают плагины, а также коснемся альфа-версии интерпретатора кода, которая появилась у некоторых пользователей. Ссылка…
👀 залетаем через 10 минут. Заходите на канал Леши, там нажмете кнопочку - и будет стрэм.
Запись будет (не знаю где и когда).
Запись будет (не знаю где и когда).
Если вы внимательно слушали мой доклад про RLHF, то поняли, что основной способ сделать модели умнее и "выровнять" их способы решения проблем и наши — это создание ручной разметки большой группой лиц. Помимо решений задачек и создания набора "демонстраций" люди также оценивают соответствие сгенерированных ответов достаточно длинной инструкции и набору правил (больше чем 10 страниц, я почти уверен — в InstructGPT было 8). В том числе оценивается токсичность ответов, их неприемлимость в разных кругах.
Тренируя системы, подобные GPT-4, мы подстраиваем их под человеческие предпочтения. Но главный вопрос — «Чьи предпочтения мы оптимизируем, и что именно закладываем в модель?». Наверняка взгляды на жизнь у среднего американца, топ-рисерчера из Пало Альто и кенийца, подрабатывающего разметкой данных, очень разнятся. Но что нужно реально учитывать при составлении данных, на которых будут учиться системы следующего поколения?
— Инклюзивность. Человечество очень разнообразно, и разные группы должны иметь возможность вносить значимый вклад в этот процесс. Он должен работать с разными культурами, языками, уровнями доходов, возрастами и т. д. Он не может игнорировать взгляды меньшинства, которые очень важны для этого меньшинства;
— Справедливость. Процесс должен быть справедливым, он не может отдавать предпочтение элитам или отдельным лицам в ущерб остальному человечеству;
— Представительность. Процесс должен агрегировать значения таким образом, чтобы каждый человек имел равную возможность формировать результат и решать, как урегулировать конфликтующие ситуации;
— Согласование с целями: процесс должен быть неподконтролен любой технологической компании или государству. Всякий раз, когда компания отвечает за этот процесс, всегда существует риск того, что цели компаний могут помешать этому процессу;
— Легитимность. Процесс должен действовать в рамках существующих правил и институтов, а не в обход их;
— Адаптивность. Человеческие ценности со временем меняются. Замыкание человеческих ценностей начала 21 века и предотвращение нравственного прогресса, вероятно, станет катастрофой;
— Прозрачность. Каждый должен иметь возможность наблюдать за процессом и видеть, как он работает;
— Простота. Процесс должен быть достаточно простым, чтобы большинство людей могли его понять
— Практичность. Процесс должен быть достаточно практичным, чтобы на его реализацию не ушли десятилетия, если ИИ будет развиваться быстро.
(источник — блогпост тимлида команды AI Alignment в OpenAI)
«...Один из возможных способов достижения результата идеализированного процесса со значительно меньшими усилиями, чем его реальное выполнение, — это создание достаточно мощной Aligned системы ИИ...и попытка получения репрезентативного ответа из нее...» (но возникут проблемы как минимум с легитимностью)
«Таким образом, общение с людьми из каждой подгруппы человечества будет важнейшим компонентом такого процесса.»
———
и вот вам новость: The ChatGPT app is now available to users in 11 more countries — Albania, Croatia ... Jamaica ... Nicaragua, Nigeria.
Не самый обычный список стран, правда? Тем более что использование чатбота бесплатно для всех. Ну что, сложим два да два, и пофантазируем, как автономный чат-агент будет собирать персонализированный фидбек со всего человечества в течение нескольких лет для тренировки одного, Самого Последнего и Разумного ИИ?)
Тренируя системы, подобные GPT-4, мы подстраиваем их под человеческие предпочтения. Но главный вопрос — «Чьи предпочтения мы оптимизируем, и что именно закладываем в модель?». Наверняка взгляды на жизнь у среднего американца, топ-рисерчера из Пало Альто и кенийца, подрабатывающего разметкой данных, очень разнятся. Но что нужно реально учитывать при составлении данных, на которых будут учиться системы следующего поколения?
— Инклюзивность. Человечество очень разнообразно, и разные группы должны иметь возможность вносить значимый вклад в этот процесс. Он должен работать с разными культурами, языками, уровнями доходов, возрастами и т. д. Он не может игнорировать взгляды меньшинства, которые очень важны для этого меньшинства;
— Справедливость. Процесс должен быть справедливым, он не может отдавать предпочтение элитам или отдельным лицам в ущерб остальному человечеству;
— Представительность. Процесс должен агрегировать значения таким образом, чтобы каждый человек имел равную возможность формировать результат и решать, как урегулировать конфликтующие ситуации;
— Согласование с целями: процесс должен быть неподконтролен любой технологической компании или государству. Всякий раз, когда компания отвечает за этот процесс, всегда существует риск того, что цели компаний могут помешать этому процессу;
— Легитимность. Процесс должен действовать в рамках существующих правил и институтов, а не в обход их;
— Адаптивность. Человеческие ценности со временем меняются. Замыкание человеческих ценностей начала 21 века и предотвращение нравственного прогресса, вероятно, станет катастрофой;
— Прозрачность. Каждый должен иметь возможность наблюдать за процессом и видеть, как он работает;
— Простота. Процесс должен быть достаточно простым, чтобы большинство людей могли его понять
— Практичность. Процесс должен быть достаточно практичным, чтобы на его реализацию не ушли десятилетия, если ИИ будет развиваться быстро.
(источник — блогпост тимлида команды AI Alignment в OpenAI)
«...Один из возможных способов достижения результата идеализированного процесса со значительно меньшими усилиями, чем его реальное выполнение, — это создание достаточно мощной Aligned системы ИИ...и попытка получения репрезентативного ответа из нее...» (но возникут проблемы как минимум с легитимностью)
«Таким образом, общение с людьми из каждой подгруппы человечества будет важнейшим компонентом такого процесса.»
———
и вот вам новость: The ChatGPT app is now available to users in 11 more countries — Albania, Croatia ... Jamaica ... Nicaragua, Nigeria.
Не самый обычный список стран, правда? Тем более что использование чатбота бесплатно для всех. Ну что, сложим два да два, и пофантазируем, как автономный чат-агент будет собирать персонализированный фидбек со всего человечества в течение нескольких лет для тренировки одного, Самого Последнего и Разумного ИИ?)
Сиолошная
Человечество vs. Искусственный интеллект Обещанный коллаб с Вастриком из @vas3k_channel и Павлом Комаровским из @RationalAnswer наконец подъехал! Там почти всё написал сам Вастрик – а мы так, стояли и сбоку подсказывали (следующая статья из серии зато на…
Для нашей совместной с @RationalAnswer и @vas3k_channel статьи вышло видео на канале Паши: https://www.youtube.com/watch?v=fnVy03_XyBc
Если вы вдруг пропустили, или для вас предпочтительнее видео-формат с наглядными демонстрациями (хотя они и в статьях есть, Вастрик постарался!) — то приглашаю к просмотру.
Ссылка на видео: https://www.youtube.com/watch?v=fnVy03_XyBc
P.S.: я писал, что тоже делаю статью в этом направлении, но честно говоря пока немного заглохло, много дел( часть материала, который был заготовлен, вы можете видеть постом выше — где тимлид Aligment-команды OpenAI рассказывает свое видение принципов, которые необходимо соблюдать.
P.P.S.: Паша хватит делать такие кликбейтные обложки >_<
Если вы вдруг пропустили, или для вас предпочтительнее видео-формат с наглядными демонстрациями (хотя они и в статьях есть, Вастрик постарался!) — то приглашаю к просмотру.
Ссылка на видео: https://www.youtube.com/watch?v=fnVy03_XyBc
P.S.: я писал, что тоже делаю статью в этом направлении, но честно говоря пока немного заглохло, много дел( часть материала, который был заготовлен, вы можете видеть постом выше — где тимлид Aligment-команды OpenAI рассказывает свое видение принципов, которые необходимо соблюдать.
P.P.S.: Паша хватит делать такие кликбейтные обложки >_<
YouTube
ChatGPT: Человечество против искусственного интеллекта
Может ли развитие нейросетевых языковых моделей вроде ChatGPT представлять угрозу для человечества? В этом ролике мы пытаемся разобраться в этой непростой теме.
Подпишись на авторов видео в Телеграме, чтобы не пропустить новые материалы:
- Вастрик — htt…
Подпишись на авторов видео в Телеграме, чтобы не пропустить новые материалы:
- Вастрик — htt…
Сиолошная
Для нашей совместной с @RationalAnswer и @vas3k_channel статьи вышло видео на канале Паши: https://www.youtube.com/watch?v=fnVy03_XyBc Если вы вдруг пропустили, или для вас предпочтительнее видео-формат с наглядными демонстрациями (хотя они и в статьях есть…
Моя любимая иллюстрация из статьи, которая показывает сценарий, в котором ИИ может достигнуть superhuman-уровня относительно нас текущих, но не будущих.
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Олег Чумаков прислал уникальный материал.
Огромный Postmortem of a Game Made With chatGPT and Midjourney
И это не статья в духе "смотрите, как можно генерить что-нибудь для игр", а огромный детальный отчет о том, как Luden.io делали игру за 72 часа с помощью Midjourney и chatGPT. Причем не на уровне генерации иконок или текстурок, а с полным погружением в использование ИИ по всем фронтам.
Создание концептов, написание истории с помощью chatGPT, выписывание персонажей с помощью chatGPT, написание диалогов, описание локаций в chatGPT(!) для дальнейшей визуализации в Midjourney, огромное количество трюков с локациями для консистентности, преимущества коротких промптов, создание ИИ музыки для игры и многое другое. Практика 100%.
Читается как рассказ-приключение.
https://blog.luden.io/generated-adventure-the-postmortem-of-a-game-made-with-chatgpt-and-midjourney-prompts-included-f87e7e615204
Огромный Postmortem of a Game Made With chatGPT and Midjourney
И это не статья в духе "смотрите, как можно генерить что-нибудь для игр", а огромный детальный отчет о том, как Luden.io делали игру за 72 часа с помощью Midjourney и chatGPT. Причем не на уровне генерации иконок или текстурок, а с полным погружением в использование ИИ по всем фронтам.
Создание концептов, написание истории с помощью chatGPT, выписывание персонажей с помощью chatGPT, написание диалогов, описание локаций в chatGPT(!) для дальнейшей визуализации в Midjourney, огромное количество трюков с локациями для консистентности, преимущества коротких промптов, создание ИИ музыки для игры и многое другое. Практика 100%.
Читается как рассказ-приключение.
https://blog.luden.io/generated-adventure-the-postmortem-of-a-game-made-with-chatgpt-and-midjourney-prompts-included-f87e7e615204
Сиолошная
Если вы внимательно слушали мой доклад про RLHF, то поняли, что основной способ сделать модели умнее и "выровнять" их способы решения проблем и наши — это создание ручной разметки большой группой лиц. Помимо решений задачек и создания набора "демонстраций"…
Ну вот только поговорили...как вдруг OpenAI анонсировали, что запускают фонд на 10 грантов по $100'000 на создание прототипов демократического процесса управления ИИ. Цель — профинансировать эксперименты с методами сбора детального фидбека ото всех о том, как должен вести себя ИИ. Подать заявку можно 24 июня 2023 г.
Под «демократическим процессом» подразумевается такой процесс, в котором репрезентативная группа людей обменивается мнениями, участвует в совещательных дискуссиях и, в конечном итоге, определяет результат посредством прозрачного процесса принятия решений. Существует множество способов структурирования такого процесса, и OpenAI призывает соискателей как приходить с новаторскими идеями, так и опираться на известные методологии.
Что интересно, как пример такой системы предлагается промпт для GPT, чтобы заставить её общатьcя с людьми и собирать мнения. В общем, читайте прошлое сообщение)
Ссылка: тык
Под «демократическим процессом» подразумевается такой процесс, в котором репрезентативная группа людей обменивается мнениями, участвует в совещательных дискуссиях и, в конечном итоге, определяет результат посредством прозрачного процесса принятия решений. Существует множество способов структурирования такого процесса, и OpenAI призывает соискателей как приходить с новаторскими идеями, так и опираться на известные методологии.
Что интересно, как пример такой системы предлагается промпт для GPT, чтобы заставить её общатьcя с людьми и собирать мнения. В общем, читайте прошлое сообщение)
Ссылка: тык
Сиолошная
Ну вот только поговорили...как вдруг OpenAI анонсировали, что запускают фонд на 10 грантов по $100'000 на создание прототипов демократического процесса управления ИИ. Цель — профинансировать эксперименты с методами сбора детального фидбека ото всех о том,…
Мало кто знает, но Sam Altman лично распорядился утвердить фонд ровно на следующий день после того, как "критики" в комментариях ответили мне и лиду из OpenAI своим "фи". Задумайтесь... 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Вчера на стрим-подкасте с Лешей @aihappens детально на пальцах раскладывали, как именно языковые модели вроде GPT-4 общаются с разными системами вроде Wolfram или Bing, и как вообще устроены плагины к ChatGPT. Я упомянул, что вероятнее всего во время дообучения GPT-4 специально собирали примеры таких промптов, чтобы "пришивать" внешние инструменты/API к языковой модели.
Исследователи из Беркли подсуетились, собрали специальный датасет и выпустили Gorilla — модель на основе LLAMA, заточенную на генерацию вызовов к разным сервисам по человеческому запросу. По сути, это продолжение концепции мега-умной Siri из айфона, которой вы можете давать любые произвольные команды, а она будет понимать, что именно нужно делать с устройством для выполнения задачи.
Gorilla превосходит GPT-4 по замерам авторов на собранном ими же бенчмарке, и это при том... что сама модель тренировалась на выдаче GPT-4 😐
А еще тюнинг на строгих и формализованных схемах API-запросов смягчает проблему галлюцинаций.
Сам бенчмарк называется APIBench и состоит из API-интерфейсов HuggingFace, TorchHub и TensorHub.
Страница проекта
Исследователи из Беркли подсуетились, собрали специальный датасет и выпустили Gorilla — модель на основе LLAMA, заточенную на генерацию вызовов к разным сервисам по человеческому запросу. По сути, это продолжение концепции мега-умной Siri из айфона, которой вы можете давать любые произвольные команды, а она будет понимать, что именно нужно делать с устройством для выполнения задачи.
Gorilla превосходит GPT-4 по замерам авторов на собранном ими же бенчмарке, и это при том... что сама модель тренировалась на выдаче GPT-4 😐
А еще тюнинг на строгих и формализованных схемах API-запросов смягчает проблему галлюцинаций.
Сам бенчмарк называется APIBench и состоит из API-интерфейсов HuggingFace, TorchHub и TensorHub.
Страница проекта
Компания Neuralink Илона Маска получила одобрение на запуск первого клинического испытания на людях. Уже пройденные этапы — это внедрение чипов в голову обезьянам и считывание импульсов для управления компьютером. Осенью прошлого года показывали огромный автоматизированный щуп для проведения хирургических операций с максимальной точностью и аккуратностью.
Главное чтобы сигналы не подавали в большие языковые модели............
Источник
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from See All
SpaceX традиционно выложили короткое видео с обзором прошедшего запуска Starship.
Подпись:
— Первое лётное испытание системы Starship. Ещё на шаг ближе к Марсу
В то же время Elon Musk дал комментарий:
— Основные обновления стартовой площадки должны быть завершены примерно через месяц, затем ещё месяц испытаний ракеты на площадке, а потом - второй полёт системы Starship.
SpaceX также подтверждают, что во второй полёт отправятся прототипы Starship S25 и Super Heavy B9, оба уже готовы и оснащены двигателями, впереди - только тесты
via @spacex_rus
Подпись:
— Первое лётное испытание системы Starship. Ещё на шаг ближе к Марсу
В то же время Elon Musk дал комментарий:
— Основные обновления стартовой площадки должны быть завершены примерно через месяц, затем ещё месяц испытаний ракеты на площадке, а потом - второй полёт системы Starship.
SpaceX также подтверждают, что во второй полёт отправятся прототипы Starship S25 и Super Heavy B9, оба уже готовы и оснащены двигателями, впереди - только тесты
via @spacex_rus
YouTube
Starship | First Integrated Flight Test
Starship gave us quite a show during the first flight test of a fully integrated Starship (S24) and Super Heavy rocket (B7) from Starbase in Texas.
On April 20, 2023 at 8:33 a.m. CT, Starship successfully lifted off from the orbital launch pad for the first…
On April 20, 2023 at 8:33 a.m. CT, Starship successfully lifted off from the orbital launch pad for the first…
Please open Telegram to view this post
VIEW IN TELEGRAM
Yann LeCun - VP & Chief AI Scientist в Meta, начинал как Director of AI Research (тот самый FAIR) аж 9 лет назад. Многие называют его одним из отцов Deep Learning. Он занимался сверточными нейронными сетями для обработки изображений еще до моего рождения, и уже тогда показывал, что они обучаются решать задачи, например, распознавания цифр.
В подкасте с Lex Fridman годовой давности он говорил, что не получится обучить по-настоящему Intelligent-систему исключительно на текстовых данных (таймкод). К самому тезису у меня вопросов нет, и мультимодальность (хотя бы такая, как в GPT-4, с возможностью обрабатывать картинки и их последовательности) действительно является очень важным шагом на пути улучшения текущих подходов. Возможно, это не приведет нас к AGI, однако поможет создать гораздо более продвинутые инструменты для ежедневного пользования в широчайшем наборе задач.
Однако причина, по которой я пишу пост, заключается в том примере, который Yann приводит с целью доказать свой тезис. "Вот если я положу объект на стол, а потом двину стол — для нас будет ясно, что объект двинется вместе со столом. А как модель поймет, что объект тоже должен двигаться? GPT-5000 никогда этого не выучит!".
На прикрепленном скриншоте вы видите, что ChatGPT (даже не четверка!) прекрасно справляется с аргументацией правильного мнения. Прошло меньше года, и прогноз одной из ключевых фигур мира машинного обучения не сбылся. Понятно, что это просто пример неудачный (я бы год назад сказал, что модели справятся с подобным, но задним числом все умны). Да, можно найти другую ситуацию, где модель затупит, но все же.
О чем это я? Пожалуйста, не надо бегать и убеждать людей в том, что что-то не будет получаться и не будет работать в моделях просто потому что вам так кажется, не надо показывать пальцем на GPT-4 и говорить "хаха тупая модель не может решить детскую загадку". Это пустая трата времени — вашего и окружающих. Потратьте его более разумно🙏
В подкасте с Lex Fridman годовой давности он говорил, что не получится обучить по-настоящему Intelligent-систему исключительно на текстовых данных (таймкод). К самому тезису у меня вопросов нет, и мультимодальность (хотя бы такая, как в GPT-4, с возможностью обрабатывать картинки и их последовательности) действительно является очень важным шагом на пути улучшения текущих подходов. Возможно, это не приведет нас к AGI, однако поможет создать гораздо более продвинутые инструменты для ежедневного пользования в широчайшем наборе задач.
Однако причина, по которой я пишу пост, заключается в том примере, который Yann приводит с целью доказать свой тезис. "Вот если я положу объект на стол, а потом двину стол — для нас будет ясно, что объект двинется вместе со столом. А как модель поймет, что объект тоже должен двигаться? GPT-5000 никогда этого не выучит!".
На прикрепленном скриншоте вы видите, что ChatGPT (даже не четверка!) прекрасно справляется с аргументацией правильного мнения. Прошло меньше года, и прогноз одной из ключевых фигур мира машинного обучения не сбылся. Понятно, что это просто пример неудачный (я бы год назад сказал, что модели справятся с подобным, но задним числом все умны). Да, можно найти другую ситуацию, где модель затупит, но все же.
О чем это я? Пожалуйста, не надо бегать и убеждать людей в том, что что-то не будет получаться и не будет работать в моделях просто потому что вам так кажется, не надо показывать пальцем на GPT-4 и говорить "хаха тупая модель не может решить детскую загадку". Это пустая трата времени — вашего и окружающих. Потратьте его более разумно
Please open Telegram to view this post
VIEW IN TELEGRAM