iFlexible
814 subscribers
2.16K photos
142 videos
65 files
53 links
Все вопросы: https://t.me/proxy3d
Download Telegram
Хочу поблагодарить @a_vilkov за идеи анализа звуков неживых объектов.

Я постарался обяснить, что делаю.

Анализ неживых объектов:

Распределение частот и энергии:
Неживые объекты, такие как метла или мотор зубной щетки, имеют узкое распределение плотности энергии. Основная энергия сосредоточена на определенных частотах, связанных с их физическими характеристиками (например, резонансные частоты двигателя). Нет плавного распределения плотности энергии по широкому диапазону частот.

Кластеризация углов наклона:
Для неживых объектов углы наклона частот остаются стабильными в узком диапазоне. Это связано с предсказуемостью вибраций или движения механических частей, что ограничивает их акустическую вариативность.

Отсутствие сложных закономерностей:
Неживые объекты показывают однотипные колебания, без характерных изменений, связанных с переходами между частотами, как это наблюдается у речи.

Я проанализировал два варианта звуков, как
-слышит ухо
-они есть

Надо ещё построить окружающей среды: море, ветер и тд.
🔥1
Это пост, чтобы объяснить физический смысл речевых градиентов и их отличие от других параметров.

1) градиент описывает пространство движения артикуляторов (языка, мелон, вибрирующего зада или крыльев насекомых и т.д.) Он универсальный.
2) благодаря ему мы видим, что не смотря на разную биологическую форму артикуляторов - речь у всех формируется одинаково, но с разными начальными параметрами (обеспечивают многообразие - частоты, длительность, разные звуки взяты за основу), но все в рамках данного пространства.
3) Сейчас для изучения артикуляции языка и голосовых связок крепят сложное оборудование. Больше это не нужно.
4) речевое пространство живого и неживого отличается.
5) наличие фазового пространства и ненормальное распределение (хотя и схожее) с хаосом на краях, намекает о том что речь является странным аттрактором. Если так, то она самоподобна, сильно зависит от начальных условий, хаотична (но не случайна) и т.д.
6) позволяет выявлять скрытые артикуляторы или их развитие, как у пчел и дельфинов.
👍3
Сейчас я пытаюсь сделать анализ пауз для определения ритма и темпа для слуха и синтеза речи. Это позволило понять:

1) в тональном языке нет пауз на уровне слов (могут быть, но не как функция разделения). Отсюда и пение птиц, китов и тд

2) более ранний анализ биомов (среды обитания) вместе с текущими открытиями позволил понять, для чего произошло разделение на тональный и нетональные языки на уровне биологии, социума и физики звука. Вода-воздух, тепло-холод, хищник-жертва - три главных катализатора

3) градиенты впервые помогли соотнести три базовых типа звука дельфина, с тремя базовыми типами звука человека. Именно за счёт уровней, растяжения звуков, распределения энергии, градиентов. Без градиентов такое сделать невозможно

4) переход от тональных сигналов к не тональным был плавным (смешенным)

Зачем мне это?
1) мне нужно определять ритм и темп для нейронки слуха и синтеза.
2) я делаю метод анализа произвольной вокализации на слова, фразы для оценки их сложности. Для этого нужно правильно разделять слова
👍4🔥4
Я закончил анализ пауз. Сейчас готовлю по ним посты.

А пока, небольшое объяснение того, почему градиенты колебаний частоты речи позволили увидеть то, чего раньше ни кто не видел.
1) градиент отражает динамику процесса

2) показывают скрытые движения артикулятора, даже если звука нет, так как язык все равно движется

Про паузы, несколько недель анализа дали результат.
Общие:
- человек ~4,2 слова на выдохе
- животные ~3,2-3.4 слова на выдохе. Люди чуть-чуть ушли вперёд
- распределение кол-ва слов на выдохе, похоже на распределение Пуассона с хаосом
- паузы наглядно показали галлюцинации речи как в LLM и их причины
- объяснили как строится грамматика и речь

Я разобью на несколько мелких постов про паузы.

В частности они помогли объяснить трансформеры, какие биологические процессы те реализуют.

Примеры галлюцинаций на одном выдохе как в LLM:
гришина семнадцать там человек гришина пятнадцать стоит человек на улице едим дальше вот такой маршрут

астана да да да да со стороны травмпункта со стороны травмпункта