Неожиданный поворот произошел с OpenAI. Их антивоенная идеалогия тихо сменилась милитаризмом. Но журналисты из The Intercept не дремлют. Следим за ходом событий:
🔑 В 2023 году в октябре состоялся учебный семинар Министерства обороны по ИИ-грамотности, на котором Microsoft провели презентацию "GenerativeAl with DoD Data" с общим содержанием о том, как Пентагон может использовать инструменты ML OpenAI, включая ChatGPT и DALL-E. Начиная от анализа документов и заканчивая обслуживанием машин. На тот момент пресс-секретарь OpenAI Лиз Буржус говорит, что OpenAI не участвовала в презентации Microsoft и что она не продала никаких инструментов Министерству обороны.
🔑 В начале января этого года OpenAI тихо удалил пункт, прямо запрещающий использование его технологии в военных целях, из своей политики. После этого вице-президент OpenAI по глобальным вопросам, Анна Маканджу, сообщила Bloomberg о начале сотрудничества с Пентагоном, отмечая, что некоторые случаи использования инструментов OpenAI для обеспечения национальной безопасности, в целом, соответствуют миссии компании.
🔑 Почему это стало важно сейчас? На днях независимый журналист Джек Поулсон опубликовал детальное расследование презентации Microsoft. Один пункт в разделе "Продвинутое обучение компьютерному зрению" гласит: "Системы управления боями: использование моделей DALL-E для создания изображений для обучения систем управления боями".
Ситуация классическая: новые технологии -> бежим применять в военном деле.
Ситуация классическая: новые технологии -> бежим применять в военном деле.
Please open Telegram to view this post
VIEW IN TELEGRAM
🕊47🫡20🗿12😨10🤯3🌚3👍2😐2😁1🐳1🙈1
Вчера в нашем чате активно обсуждалось, стоит ли все-таки учить PyTorch или TensorFlow. Для тех, кто выбирает первый вариант, наш сегодняшний гайд по изучению торча:
1) Первым делом стоит изучить прекрасный туториал для бегинеров от самого торча: там вы найдете базовую информацию о тензорах, датасетах и даталодерах, training лупах и др. Еще есть в виде сериала на YouTube.
2) Посмотрите на примеры. Их можно найти в ноутбуках на Kaggle по поиску или вот тут, в туториалах торча. Там вы найдете точно правильно и чисто написанный код, так еще и с объяснениями.
3) Все, что было до этого - это 10% усилий. Остальные 90% - это практика. Заходите на Kaggle, ищете соревнование, в котором можно применить сеточки, и вперед!
1) Первым делом стоит изучить прекрасный туториал для бегинеров от самого торча: там вы найдете базовую информацию о тензорах, датасетах и даталодерах, training лупах и др. Еще есть в виде сериала на YouTube.
2) Посмотрите на примеры. Их можно найти в ноутбуках на Kaggle по поиску или вот тут, в туториалах торча. Там вы найдете точно правильно и чисто написанный код, так еще и с объяснениями.
3) Все, что было до этого - это 10% усилий. Остальные 90% - это практика. Заходите на Kaggle, ищете соревнование, в котором можно применить сеточки, и вперед!
👍41❤11🔥8👏3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Концепцию сверточных нейросетей предложил Ян Лекун в 1988 году. Это было 36 лет назад!
Мы обнаружили знаковое видео, на котором молодой Лекун в 1989 демонстрирует, как его сеть распознает цифры в различном стиле написания.
Мы обнаружили знаковое видео, на котором молодой Лекун в 1989 демонстрирует, как его сеть распознает цифры в различном стиле написания.
👍153🔥68❤18👏5❤🔥4👌1
This media is not supported in your browser
VIEW IN TELEGRAM
Сэм Альтман в своем свежем интервью отвечает на вопрос «Как много стартапов еще убьет OpenAI»
Если кратко: есть два варианта развития событий. Первый: модели OpenAI больше не развиваются, и те стартапы, которые занимались надстройками над моделью, живут и радуются.
Второй (который случится со слов Сэма с 95% вероятностью) : модели развиваются, появляется GPT-5, стартапы из варианта один – банкроты. Выживут только те, кто получает тем больше, чем лучше модели выпускает OpenAI.
Выдал базу.
Если кратко: есть два варианта развития событий. Первый: модели OpenAI больше не развиваются, и те стартапы, которые занимались надстройками над моделью, живут и радуются.
Второй (который случится со слов Сэма с 95% вероятностью) : модели развиваются, появляется GPT-5, стартапы из варианта один – банкроты. Выживут только те, кто получает тем больше, чем лучше модели выпускает OpenAI.
«Это не потому что мы кого-то недолюбливаем, просто у нас есть миссия»
Выдал базу.
👍68😁24🔥9❤2
This media is not supported in your browser
VIEW IN TELEGRAM
До сих пор не понимаете, как обучаются LLM? Мы нашли для вас самое прозрачное видео-объяснение.
Претрейн, прогон на бенчмарке, Reinforcement Learning from Human Feedback – все по полочкам
Претрейн, прогон на бенчмарке, Reinforcement Learning from Human Feedback – все по полочкам
🔥61😁44👍12🗿7
Вышел WizardLM 2, но есть один нюанс 🤡
Вообще, у ребят все круто: модель демонстрирует высокий перформанс, есть открытые веса и другие радости.
WizardLM-2 8x22B вообще по качеству сравнима с GPT-4-1106-preview. Модель на 70B - SOTA на своем размере, а 7B даже достигает метрик, сравнимых с ведущими опенсорс моделями, в 10 раз более крупными.
Но есть одно НО: модель пришлось отовсюду удались, потому что она не прошла элементарный тест на токсичность. Теперь ресерчеры в режиме турбо исправляют ситуацию и обещают скоро все перевыложить.
Пока что смотрим на 404
Вообще, у ребят все круто: модель демонстрирует высокий перформанс, есть открытые веса и другие радости.
WizardLM-2 8x22B вообще по качеству сравнима с GPT-4-1106-preview. Модель на 70B - SOTA на своем размере, а 7B даже достигает метрик, сравнимых с ведущими опенсорс моделями, в 10 раз более крупными.
Но есть одно НО: модель пришлось отовсюду удались, потому что она не прошла элементарный тест на токсичность. Теперь ресерчеры в режиме турбо исправляют ситуацию и обещают скоро все перевыложить.
Пока что смотрим на 404
😁36🔥14👍4🤪3❤1🤓1
PyTorch в тренде: они представили альфа-релиз библиотеки для end-to-end настройки LLM
Новая либа с красивым названием torchtune включает инструменты для:
Уже выложили код и туториалы, а еще, чтобы лучше осознать возможности библиотеки, можно почитать блогпост.
Новая либа с красивым названием torchtune включает инструменты для:
– скачивания и подготовки датасетов
– построения архитуктур с помощью разнообразных строительных блоков (как в torch)
– логирования
– квантизации моделей
– файнтюнинга и расстановки чекпоинтов
– оценки моделей на классических бенчмарках
– запуска локального инференса
– и многого другого.
Уже выложили код и туториалы, а еще, чтобы лучше осознать возможности библиотеки, можно почитать блогпост.
🔥54👍11❤8😁2🥰1🕊1🏆1
This media is not supported in your browser
VIEW IN TELEGRAM
Вам так понравилось историческое видео с Яном Лекуном, что мы решили вкинуть еще одно ⏹
На нем пророк Стив Джобс говорит, что однажды компьютеры будут генерировать ответы, как люди. И тогда начнется новая эра.
Пока все жили в 80-х, он жил в 2023.
На нем пророк Стив Джобс говорит, что однажды компьютеры будут генерировать ответы, как люди. И тогда начнется новая эра.
Пока все жили в 80-х, он жил в 2023.
Please open Telegram to view this post
VIEW IN TELEGRAM
👏69👍10😁9🔥6❤2
Сегодня День Рождения LISP!
С этого языка началось функциональное программирование и анализ данных. Его изобрели ученые из MIT ровно 64 года назад. Вот статья, в которой он впервые упоминается.
Сегодня LISP все еще активно используется. На нем работает система обработки данных Apache Storm, текстовый анализатор Grammarly, софт, который мониторит состояние самолетов, программа, управляющая лондонским метро и многое другое.
Кстати, язык разрабатывался специально для ИИ. В основе лежала эта идея:
С др, короче
С этого языка началось функциональное программирование и анализ данных. Его изобрели ученые из MIT ровно 64 года назад. Вот статья, в которой он впервые упоминается.
Сегодня LISP все еще активно используется. На нем работает система обработки данных Apache Storm, текстовый анализатор Grammarly, софт, который мониторит состояние самолетов, программа, управляющая лондонским метро и многое другое.
Кстати, язык разрабатывался специально для ИИ. В основе лежала эта идея:
Чтобы искусственный интеллект работал как настоящий, он должен быть устроен точно так же. А раз наш интеллект основан на мыслях, которые мы можем выразить словами, то нам нужно научить компьютер разбираться в словах, их смыслах и взаимосвязи между ними.
С др, короче
❤48🎉21🔥4👍2👏1🏆1
Google опять мерится не будем говорить чем миллиардами с Microsoft
Главу DeepMind спросили, как Google ответит на план Microsoft и OpenAI создать суперкомпьютер за $100млрд.
Демис Хаббис не ударил в грязь лицом и ответил, что Google потратит столько же на инвестиции в ИИ. «А может и больше!» – довольно добавил он.
Google такой:
Главу DeepMind спросили, как Google ответит на план Microsoft и OpenAI создать суперкомпьютер за $100млрд.
Демис Хаббис не ударил в грязь лицом и ответил, что Google потратит столько же на инвестиции в ИИ. «А может и больше!» – довольно добавил он.
Google такой:
I’m rich too, bitch🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
😁75🏆4👨💻3🗿3🤨1
Сайты пытаются выпутаться из нейросетей
Российские СМИ начали запрещать «Яндексу» использовать свой контент для нейросетевых сервисов, которые пересказывают содержание веб-страниц, позволяя пользователям получать ответы без посещения сайтов.
Вот вам и Нейро
Российские СМИ начали запрещать «Яндексу» использовать свой контент для нейросетевых сервисов, которые пересказывают содержание веб-страниц, позволяя пользователям получать ответы без посещения сайтов.
Вот вам и Нейро
😁103👍13🤯7👏3
This media is not supported in your browser
VIEW IN TELEGRAM
У Microsoft вышла VASA-1, которая очень реалистично оживляет фотографии
Становится все сложнее различать, что реально, а что нет: в VASA можно контролировать эмоции, направление взгляда и даже расстояние до камеры, а синхронизация губ просто поражает.
И кроме того, сила VASA в том, что она может поддерживать онлайн-генерацию видео 512х512 со скоростью до 40 кадров в секунду. До этого такой скорости мы еще не видели.
Под капотом, что интересно, не прямая генерация видеокадров, а генерация динамики лица и движения головы в латентном пространстве на основе звуковой дорожки (тут работает диффузионный трансформер). На это пространство затем навешивается декодер.
Декодер, кроме кодов из пространства, принимает также фичи лица, которые вытаскивает энкодер из фото, а на выходе из декодера мы уже получаем реалистичное видео.
Больше интересных примеров можно найти в блогпосте. Больше про архитектуру – в статье.
Становится все сложнее различать, что реально, а что нет: в VASA можно контролировать эмоции, направление взгляда и даже расстояние до камеры, а синхронизация губ просто поражает.
И кроме того, сила VASA в том, что она может поддерживать онлайн-генерацию видео 512х512 со скоростью до 40 кадров в секунду. До этого такой скорости мы еще не видели.
Под капотом, что интересно, не прямая генерация видеокадров, а генерация динамики лица и движения головы в латентном пространстве на основе звуковой дорожки (тут работает диффузионный трансформер). На это пространство затем навешивается декодер.
Декодер, кроме кодов из пространства, принимает также фичи лица, которые вытаскивает энкодер из фото, а на выходе из декодера мы уже получаем реалистичное видео.
Больше интересных примеров можно найти в блогпосте. Больше про архитектуру – в статье.
👍44🔥13😁11❤6
Новый робот от Boston Dynamics конечно очень крут, но ощущение, как будто находишься в хорроре Звонок.
Сами создатели шутят: «зато вы точно знаете, что внутри нет человека и это не обман».
А еще оцените схожесть со SkyNet. Хорошая попытка приближения конца света, BD
Сами создатели шутят: «зато вы точно знаете, что внутри нет человека и это не обман».
А еще оцените схожесть со SkyNet. Хорошая попытка приближения конца света, BD
❤39🔥13😁12👍6👏3🌭2🏆1🗿1
Breaking! Llama-3 уже здесь и рвет лидерборды!
Две модели - на 8B и 70В – уже ворвались, одна – на 400B – еще тренируется. Обе вышедшие модельки стали лучшими в своем весе.
Единственное, чем модели не могут похвастаться – контекст. У обеих он составляет всего 8k.
Приятным бонусом идет интервью с Цукербергом о Llama-3, вышедшее пару минут назад.
Блогпост | Попробовать новую ламу
Две модели - на 8B и 70В – уже ворвались, одна – на 400B – еще тренируется. Обе вышедшие модельки стали лучшими в своем весе.
Единственное, чем модели не могут похвастаться – контекст. У обеих он составляет всего 8k.
Приятным бонусом идет интервью с Цукербергом о Llama-3, вышедшее пару минут назад.
Блогпост | Попробовать новую ламу
👍34🔥11❤7🥰1🏆1