Вчера в нашем чате активно обсуждалось, стоит ли все-таки учить PyTorch или TensorFlow. Для тех, кто выбирает первый вариант, наш сегодняшний гайд по изучению торча:

1) Первым делом стоит изучить прекрасный туториал для бегинеров от самого торча: там вы найдете базовую информацию о тензорах, датасетах и даталодерах, training лупах и др. Еще есть в виде сериала на YouTube.

2) Посмотрите на примеры. Их можно найти в ноутбуках на Kaggle по поиску или вот тут, в туториалах торча. Там вы найдете точно правильно и чисто написанный код, так еще и с объяснениями.

3) Все, что было до этого - это 10% усилий. Остальные 90% - это практика. Заходите на Kaggle, ищете соревнование, в котором можно применить сеточки, и вперед!

Концепцию сверточных нейросетей предложил Ян Лекун в 1988 году. Это было 36 лет назад!

Мы обнаружили знаковое видео, на котором молодой Лекун в 1989 демонстрирует, как его сеть распознает цифры в различном стиле написания.

Сэм Альтман в своем свежем интервью отвечает на вопрос «Как много стартапов еще убьет OpenAI»

Если кратко: есть два варианта развития событий. Первый: модели OpenAI больше не развиваются, и те стартапы, которые занимались надстройками над моделью, живут и радуются.

Второй (который случится со слов Сэма с 95% вероятностью) : модели развиваются, появляется GPT-5, стартапы из варианта один – банкроты. Выживут только те, кто получает тем больше, чем лучше модели выпускает OpenAI.

«Это не потому что мы кого-то недолюбливаем, просто у нас есть миссия»

Выдал базу.

До сих пор не понимаете, как обучаются LLM? Мы нашли для вас самое прозрачное видео-объяснение.

Претрейн, прогон на бенчмарке, Reinforcement Learning from Human Feedback – все по полочкам

POV: к вам в команду пришел джун и пытается решить все задачи нейронками

PyTorch в тренде: они представили альфа-релиз библиотеки для end-to-end настройки LLM

Новая либа с красивым названием torchtune включает инструменты для:

– скачивания и подготовки датасетов
– построения архитуктур с помощью разнообразных строительных блоков (как в torch)
– логирования
– квантизации моделей
– файнтюнинга и расстановки чекпоинтов
– оценки моделей на классических бенчмарках
– запуска локального инференса
– и многого другого.

Уже выложили код и туториалы, а еще, чтобы лучше осознать возможности библиотеки, можно почитать блогпост.

Сегодня День Рождения LISP!

С этого языка началось функциональное программирование и анализ данных. Его изобрели ученые из MIT ровно 64 года назад. Вот статья, в которой он впервые упоминается.

Сегодня LISP все еще активно используется. На нем работает система обработки данных Apache Storm, текстовый анализатор Grammarly, софт, который мониторит состояние самолетов, программа, управляющая лондонским метро и многое другое.

Кстати, язык разрабатывался специально для ИИ. В основе лежала эта идея:

Чтобы искусственный интеллект работал как настоящий, он должен быть устроен точно так же. А раз наш интеллект основан на мыслях, которые мы можем выразить словами, то нам нужно научить компьютер разбираться в словах, их смыслах и взаимосвязи между ними.

С др, короче

Если ваш шопинг выглядит не так, не зовите меня

Сайты пытаются выпутаться из нейросетей

Российские СМИ начали запрещать «Яндексу» использовать свой контент для нейросетевых сервисов, которые пересказывают содержание веб-страниц, позволяя пользователям получать ответы без посещения сайтов.

Вот вам и Нейро

График, с помощью которого можно сравнить LLM сразу по трем категориям: длина контекста, цена и рейтинг на чат-бот арене.

Напоминаем, что менее, чем через 24 часа, ИИ-ряды также пополнит Llama-3.

Красивое

У Microsoft вышла VASA-1, которая очень реалистично оживляет фотографии

Становится все сложнее различать, что реально, а что нет: в VASA можно контролировать эмоции, направление взгляда и даже расстояние до камеры, а синхронизация губ просто поражает.

И кроме того, сила VASA в том, что она может поддерживать онлайн-генерацию видео 512х512 со скоростью до 40 кадров в секунду. До этого такой скорости мы еще не видели.

Под капотом, что интересно, не прямая генерация видеокадров, а генерация динамики лица и движения головы в латентном пространстве на основе звуковой дорожки (тут работает диффузионный трансформер). На это пространство затем навешивается декодер.

Декодер, кроме кодов из пространства, принимает также фичи лица, которые вытаскивает энкодер из фото, а на выходе из декодера мы уже получаем реалистичное видео.

Больше интересных примеров можно найти в блогпосте. Больше про архитектуру – в статье.