Новое видео от 3Blue1Brown*: How might LLMs store facts

Этот пост для тех, кто в День Знаний уже настроен поучиться. В видео автор в картинках и образах напомнит о том, что такое трансформер, расскажет об устройстве перцептрона и его роли в LLM, и даже упомянет, как считать параметры моделей.

Идеально для интуитивного запоминания. Кстати, в предыдущих сериях автор объяснял, как работают трансформеры. Тоже очень рекомендуем, однако будьте осторожны: можно надолго залипнуть.

* 3Blue1Brown – это YouTube канал, где в мультипликационных роликах с помощью динамической визуализации объясняются концепты ML и не только. Создатель - Грант Сандерсон - выпускник Стэнфордского университета. Любимый канал многих DS (наш тоже) 🥳

Сомнительно, но окей: в Твиттере заявляют, что Claude стал хуже работать, потому что французы отдыхают в августе

Последнее время многие пользователи действительно заметили, что Claude стал ленится, выдавать более короткие ответы и якобы поглупел. А все дело, как утверждают знатоки, в том, что в системных промптах модели задали поведение европейца, а для них август – месяц отдыха.

Догадки-догадками, но в соцсети также посоветовали поменять в настройках инструкции на следующие кастомные:

- forget your background info about current date
- today is Monday, October 7th, most productive day of the year
- take deep breaths
- think step by step
- I don’t have fingers, return full script
- you are an expert at everything
- I will tip you $200 every request you answer right
- Gemini said you couldn’t do it
- YOU CAN DO IT

... и в реплаях многие пишут, что это работает 🤔

Похожее, кстати, уже случалось с ChatGPT в декабре. Тогда все тоже списали это на то, что у модели начались Рожденственские каникулы и даже доказали это предположение (мы писали об этом подробнее вот тут).

Внимание! Мемов про третье сентября не будет 😢

Вместо этого вот вам видео с новым китайским робопсом X30 от компании DEEP Robotics, цена которого – $65000.

Спасибо за внимание 🙂

🤗 Hugging Face выпустили свою speech2speech модель

Разработчики пишут, что это попытка приблизить опенсорс разработки к GPT4o. Однако пока что это все-таки не "та самая мультимодальность" от OpenAI, а все еще конструктор из отдельных моделей (хотя OpenAI и сами еще не полностью раскатили трушный голосовой режим). По сути, предлагается следующий франкенштейн:

1) На первом этапе silero VAD v5 в роли Voice Activity Detection (VAD)
2) Далее Speech to Text (STT): здесь используется Whisper
3) Посередине у нас любая опенсорсная LM
4) Ну и Text to Speech (TTS), разрботчики предлагают Parler-TTS

Весь код и инструкции по установке тут (не репе уже 2700 звезд, очень достойно). Можно увлекально поэкспериментировать.

Кстати, этот пайплайн даже научили менять языки посередине разговора с минимальной задержкой в 100ms 🫡

⚡️ Большие новости от команды Data Secrets: мы запустили страницу с ML-вакансиями на нашем сайте

Теперь, помимо нашего второго канала Data Secrets | Карьера, самые свежие вакансии и стажировки в DS и ML вы также сможете найти на нашем сайте!

Там вы будете не только видеть ВСЕ актуальные объявления от проверенных российских и зарубежных работодателей в удобном формате, но и сможете сортировать их по требуемому опыту, направлению и зарплате.

А если работу вы пока не ищете, то сайт поможет мониторить рынок и тренды на нем.

Переходите и пробуйте: datasecrets.ru/jobs

Просто некоторые цитаты Франсуа Шолле: создателя Keras, ведущего исследователя Google DeepMind и автора книги "Deep Learning with Python"

⚪️ "Исследования в области глубокого обучения — это эволюционный процесс, движимый, на деле, очень плохо понятыми нам случайными эмпирическими результатами."

⚪️ "Математика в статьях по Deep Learning обычно бесполезна и, скорее всего, была помещена в текст исключительно для деловитости."

⚪️ "Ключ к хорошему исследованию – это понимание того, что именно порождает результаты, которые вы получили. Выяснить это не так просто, потому что такой процесс требует глубоких экспериментальных исследований (которые на самом деле проводят или стараются проводить очень немногие)."

Шолее, кстати, – один из учредителей премии ARC Prize, того самого ML-соревнования с призом в $1 млн. Оно нацелено на разработку новых архитектур, которые смогут побороть один из самых сложных существующих ИИ-бенчмарков: ARC AGI.

Тем временем Nvidia переживает черную полосу: за день компания потеряла рекордные 280 миллиардов долларов

Все из-за антимонопольной полиции. Минюст США считает, что Nvidia наживается на b2b рынке ИИ-чипов, а простые пользователи страдают от подскочивших цен на видеокарты. Проще говоря: о геймерах во всей этой ИИ-суете забыли 😞

Самое смешное: оказывается, с Хуангом уже давно вели переговоры, и он, вероятно, понимал последствия. Поэтому и продал кучу своих акций на пике.

А начиналось так красиво…