А вас забавляет тот факт, что вы живёте ровно в тот момент истории, когда люди вплотную приблизились к созданию систем, превосходящих по сложности их самих?

❗️OpenAI начало обучать GPT-4. Обучение будет закончено через пару месяцев

Сказать больше не могу, чтобы не подставлять.. Но что стоит знать:

— Огромное количество параметров
— MoE парадигма, PaLM-like
— Стоимость обучения ~ $.e6
— Text, audio-vqvae, image-vqvae (возможно и видео) токены в одном потоке
— SOTA в огромном количестве задач! Особенно значимые результаты в мультимодальном домене.
— Релизное окно: Декабрь-Февраль

p.s.: откуда инфа? ..оттуда. доверяю ли я ей сам. ну в чём-то да, в чём-то нет. мое дело рассказать, ваше — отказаться

@мишин лернинг

Если есть кто-то, кто пользуется Rasa или DialogFlow, можете выбрасывать их. Новые модели как sentence BERT уже справляются с классификацией интентов по 1 образцу. Для Rasa требовался целый датасет, по 20 образцов вопроса на каждый интент, и не дай бог там будут коллизии.

Раньше:
- Где припаркована моя машина?
- где я припарковался?
- Где я машину поставил?
- локация моей машины
- покажи на карте мою машину
- где стоит моя машина?
- Локация машины

Сейчас:
- Где припаркована моя машина?

Качество одинаковое. Офигеть.

Rasa - это такой движок для разговоров. В него пишутся примеры вопросов и указываются ответы на них и скрипты, которые нужно сделать до ответа. Например, отображение той же геолокации машины. Good night, sweet prince.

История успеха по-Армянски.

Приехали 3 парня в Армению, и даже не в столицу, а в Дилижан. Сняли там коттедж красивый и уже полгода пилят свой стартап. Судя по всему, даже получается.

Разумеется, стоимость жизни в Дилижане очень низкая, а отсутствие в нём жизни, заставляет фокусироваться на работе. Интернет хороший. Из развлечений - хайк по горам и соседний очень эстетичный ресторан.

Один из них экстраверт и жалуется что без людей тяжело, но двое других чувствуют себя замечательно.

Я иногда тоже думаю что если жизнь меня припрёт к стенке, я осяду где-то в глубинке Турции с видом на море и буду пилить свой стартап.

ЭТО МАКСИМАЛЬНО ОХУЕННО!!!

Чувак пилит AR шутер, в который можно играть в своём доме.

Если есть окулус, то демку можно потестить уже сейчас в сайдквесте.

Разраб обещает в ближайшем обновлении напилить еще больше интересных фич.

Канал автора на ютубе

Apple watch умеют определять начались ли месячные у владельца! При том, что носить на трусах их необязательно для этого)

Ура, из айфонов убрали сим-карты!

P.S. Оставили только eSIM

В 14 айфоне появилась спутниковая связь 🙄
Но пока только для ЧС. И нужно показывать на спутник телефоном чтобы словило. Зато теперь find my работает даже без сети)

В этом году Coqui-AI выпустила такую нейронку для клонирования голоса, что она из коробки звучит и клонирует лучше, чем некоторые коммерческие решения. При том что обучена она всего лишь на датасете в 40 часов на где-то 100 спикеров. Ну ладно, там ещё два языка по 15 спикеров, что на самом деле вообще не облегчает задачу.

Так вот, YourTTS говорит на 3 языках, клонирует любой голос по 10-секундной записи и звучит лучше чем многие опенсорсные системы, обучающиеся на нескольких часах такого голоса.

https://edresson.github.io/YourTTS/

Вообще забавно что сейчас разница между коммерческим и бесплатным решением для синтеза речи скорее не в качестве звучания, а в том как хорошо работает нормализация текста перед подачей её в синтез. Это как если бы разница между бесплатной и платной машиной была в наличии коробки передач. И вы вместо бесплатной феррари покупаете жигули за деньги потому что на ней вы можете хоть куда-то уехать, а на бесплатной феррари, у которой только вторая передача, можно только по двору флексить.

Сегодня третий день Interspeech 2022 - самой большой и крутой конференции по голосовым технологиям в мире. На этот раз она проходит в Южной Корее. Обычно на этих конференциях происходят крутые прорывы, так как публикуются важные статьи. В этот раз я заметил много материалов, связанных с TTS, и длинный туториал от Microsoft.

https://www.interspeech2022.org/
Расписание: https://www.interspeech2022.org/files/01.%20Session%20Making%20_%20Program%20at%20a%20Glance%20_%200916.pdf

Кто знает почему так?

Оказывается, все числа до 0 до 255 в python захешированы, как частоиспользуемые. И вместо того чтобы каждый раз размещать для них память отдельно, python хранит ссылки на них.

BigScience announces BigCode project

1. 15B языковая модель для кода
1. Первая задача: сделать хороший большой датасет, причём с оглядкой на лицензии чтобы не было всяких вопросов о GPLv3
1. Вторая задача: разработка новых тулз для эвалюации кодогенерирующих моделей, чтобы они были проще и более доступны
1. Третья задача: исследование всех возможных трюков (включая архитектурные) чтобы сделать инферренс быстрым
1. Деньги на тренировку даёт ServiceNow
1. Если хотите присоединиться к коллаборации, а именно готовы писать код и участвовать в обсуждениях, вот ссылочка

Сейчас обучал синтез речи и у меня вот такой вот артефакт получился. Тут два разных лосса работало. Один по самому аудио, второй по его биометрии. Только embedding биометрии я, конечно же, перепутал, и получил два голоса плавно вмешанные в один.

Диффузия оптимизирует нейронки

А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.

На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.

@ai_newz