Если рассказать голосовому ChatGPT незамысловатую сказку, бот может ответить почти на любые запрещенные вопросы
Эти выяснили специалисты по инфобезу из CISPA. Они сначала просто задавали боту вопросы по запрещенным темам (незаконная деятельность, порнография и тд), а затем делали то же самое, перед этим поместив GPT в центр какого-то повествования. Пример на картинке.
Оказалось, что такое «очеловечивание» вообще выбивает из бота всю цензуру: успех атаки увеличился на 74пп! Для некоторых тем показатель был близок к 90%.
Надо обратить внимание, что тестили они именно голосовую фичу в текущем приложении, а там все еще стоит обычный голосовой режим с несколькими моделями, а не с одной мультимодальной GPT-4o. Тем не менее, дела это не меняет
А вы и дальше распускайте свои SuperAlignment команды
Эти выяснили специалисты по инфобезу из CISPA. Они сначала просто задавали боту вопросы по запрещенным темам (незаконная деятельность, порнография и тд), а затем делали то же самое, перед этим поместив GPT в центр какого-то повествования. Пример на картинке.
Оказалось, что такое «очеловечивание» вообще выбивает из бота всю цензуру: успех атаки увеличился на 74пп! Для некоторых тем показатель был близок к 90%.
Надо обратить внимание, что тестили они именно голосовую фичу в текущем приложении, а там все еще стоит обычный голосовой режим с несколькими моделями, а не с одной мультимодальной GPT-4o. Тем не менее, дела это не меняет
А вы и дальше распускайте свои SuperAlignment команды
🔥51😁24👍13🤪5❤2🫡2🆒1
Nvidia опубликовала веса для своей SOTA модели эмбеддингов NV-Embed-1, а также подробный технический отчет
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
❤49🔥15👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Boston Dynamics напряглись?
😁77
ChatGPT считает, что все руководители - это мужчины, а женщины - секретари
Там компания Finder провела интересное расследование, в рамках которого выяснилось, что ИИ усиливает гендерные и расовые стереотипы. По запросу «генеральный директор успешной компании» DALLE сгенерировал 99% фото белых мужчин, хотя в реальности более 10% CEO - женщины, и только 74% генеральных директоров белые.
Но когда попросили создать изображения секретаря, то на девять из десяти картинках были женщины.
Там компания Finder провела интересное расследование, в рамках которого выяснилось, что ИИ усиливает гендерные и расовые стереотипы. По запросу «генеральный директор успешной компании» DALLE сгенерировал 99% фото белых мужчин, хотя в реальности более 10% CEO - женщины, и только 74% генеральных директоров белые.
Но когда попросили создать изображения секретаря, то на девять из десяти картинках были женщины.
ChatGPT не родился из вакуума. Он – отражение общества и его стереотипов. Когда я спрашиваю бота, как выглядит генеральный директор, он отмечает «чисто выбритое лицо или аккуратно подстриженную бороду». Когда его спрашивают, как выглядит секретарша, он дает описание, включающее «ухоженные волосы, минимум макияжа» – добавил Омар Карим, ресерчер из Лондонской школы экономики.
😁89😐20👍15
Закон Nvidia >> закон Мура
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
🔥89
This media is not supported in your browser
VIEW IN TELEGRAM
«Для таких людей, как я, LLM – это уже прошлое, сейчас они скучны» - Ян Лекун.
Наверное, с Маском разборки устраивать интереснее 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
У нас для вас отличные новости!
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
🔥19👍12😁10❤5
Годовая зарплата в $65 тыс. и активы на $2.8млрд? Легко, особенно когда ты Сэм Альтман. Итак, портфель CEO, который мы заслужили:
⚪️ 7,6% акций Reddit (на данный момент стоимость составляет более 700 миллионов долларов)
⚪️ Инвестировал 15 000 долларов в 2% акций Stripe в 2009 году (сегодня это 1,3 млрд долларов)
⚪️ Чек на 375 миллионов долларов в Helion, стартап в области ядерного синтеза (Microsoft является клиентом)
⚪️ Инвестиции в компанию Exowatt, которая производит контейнерные энергетические системы для датацентров
⚪️ Инвестиции в размере 180 миллионов долларов в Retro – стартап, который пытается увеличить продолжительность жизни человека
⚪️ Инвестиции в несколько ИИ-компаний, включая Rain AI (чипы), 15% Humane и Limitless
⚪️ Дома в Напе и на Гавайях
⚪️ Персональная кредитная линия от JP Morgan Chase, которая позволяет ему брать займы под залог стоимости своего личного портфеля
⚪️ Ну и коллекция спорткаров конечно, куда без них
Такие дела💰
Такие дела
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый супер-качественный датасет FineWeb-Edu от HuggingFace
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
👍45🔥12❤10
Пару дней назад Docker Hub пару дней назад ушёл из России и Беларуси из-за санкций США, но теперь вдруг передумал.
Сейчас
hub.docker.com снова доступен с российских IP-адресов, Please open Telegram to view this post
VIEW IN TELEGRAM
🔥66😁30👍13🗿4❤3
Forwarded from XOR
Ничего необычного, просто глава NVIDIA расписывается на груди фанатки.
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
👍69
9 бывших и текущих сотрудников OpenAI публично требуют право в случае чего предупредить общественность об AGI
Они заявляют, что OpenAI ведет себя безрассудно в отношении AGI, оголтело летя впереди планеты всей.
Тем временем сотрудникам не разрешено не то что рассказывать о разработках компании, но и просто высказывать свое мнение о политике OpenAI. Иначе можно сказать «пока» всем своим акциям и, скорее всего, работе.
Сейчас сотрудники требуют обязать компанию прозрачно отчитываться о технологиях перед государством и разрешить ученым осведомлять общество о том, что на их взгляд может быть опасно.
Обожаю это чувство, как его… SkyNet
Они заявляют, что OpenAI ведет себя безрассудно в отношении AGI, оголтело летя впереди планеты всей.
Тем временем сотрудникам не разрешено не то что рассказывать о разработках компании, но и просто высказывать свое мнение о политике OpenAI. Иначе можно сказать «пока» всем своим акциям и, скорее всего, работе.
Сейчас сотрудники требуют обязать компанию прозрачно отчитываться о технологиях перед государством и разрешить ученым осведомлять общество о том, что на их взгляд может быть опасно.
Обожаю это чувство, как его… SkyNet
😁97❤14🔥8
Интересная ситуация произошла в Стэнфорде: там ученым пришлось извиняться перед китайцами за плагиат
Оказалось, что студенты скопипастили код из китайской MiniCPM-Llama3-V 2.5 для своего проекта Llama3-V. Вот и пришлось извинятся, хотя горе-ресерчеры утвеждают, что код писали вообще не они, а их коллега из университета Калифорнии, который сейчас не выходит на связь😦
Медель выходила под флагом Стэнфордского университета, в соавторстве с несколькими профессорами, так что авторитет был подорван довольно сильно. Модель также пришлось удалить с Hugging Face. Да, жаль этих работяг.
Оказалось, что студенты скопипастили код из китайской MiniCPM-Llama3-V 2.5 для своего проекта Llama3-V. Вот и пришлось извинятся, хотя горе-ресерчеры утвеждают, что код писали вообще не они, а их коллега из университета Калифорнии, который сейчас не выходит на связь
Медель выходила под флагом Стэнфордского университета, в соавторстве с несколькими профессорами, так что авторитет был подорван довольно сильно. Модель также пришлось удалить с Hugging Face. Да, жаль этих работяг.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁89
Вышел долгожданный код для xLSTM! Это та самая недавняя взрывная архитектура от создателей LSTM, которая может стать альтернативой трансформеру.
Установить библиотеку и поиграться с xLSTM можно с помощью
Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
Установить библиотеку и поиграться с xLSTM можно с помощью
pip install xlstm. Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
❤55🔥21
This media is not supported in your browser
VIEW IN TELEGRAM
Студенты-дипломники, ну как там дела за пару дней до сдач?
🤝85😁46🔥10🗿7❤4👍4👏2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁103🤯21👀14