Всем продуктивной недели. Не обижайте языковые модели, они наши друзья.

Следующую серию языковых моделей предлагаю называть по видам пальмовых.

#TrahykarpusGPT

#language_facts

Разбираю старые научно-полуярные книжки по лингвистике, поэтому вот вам пара забавных фактов про языки и восприятие цвета.

🔸 Синие светофоры в Японии

В Японии часто можно встретить светофоры, в которых привычный нам зелёный сигнал будет с оттенком синего. Связано это с тем, что оттенки синего и зелёного цветов в японском языке раньше обозначались одним словом ао (青, あお). И когда в 1930-е годы в Японию были импортированы первые светофоры, зелёный свет на них назывался aoshingō (青信号, あおしんごう).

Со временем, слово ao стало обозначать "синий", а значение "зелёный" сохранилось только относительно зелени и овощей — зелёные яблоки и сейчас это "ao ringo", а непосредственно зелёный цвет стал обозначаться словом midori ( 緑, みどり). Чтобы не переименовывать разрешающий сигнал в midori shingō ("зеленый сигнал"), 1973 году японцы подогнали реальность под язык и сделали светофоры более синими.

🔸 Синий и голубой

В 2008 году в Стенфорде провели следующий эксперимент. Испытуемым предлагалось три квадрата в сине-голубой гамме (как на картинке) и нужно было определить, какой из двух нижних квадратов того же цвета, что и верхний. Замеряли время ответа, о чём, для чистоты эксперимента, испытуемым не сообщали.

Интересным оказался результат для носителей русского языка. Когда верхний квадрат был на границе синего и голубого цветов, но ближе к синему, а нижний неправильный квадрат был на пару оттенков ближе к голубому, то время ответа было существенно меньше чем то же задание, сдвинутое в чисто синюю или чисто голубую гамму. У носителей английского такого эффекта не наблюдалось. Этот эффект связали с тем, что в русском языке это отдельные цвета, а в английском оба обозначаются словом blue.

Таким образом, восприятие мира во многом связано с языком и культурой, в которой мы живем. И вообще я задумался, представляем ли мы в своей голове один и тот же цвет, когда говорим, что небо синее, а трава зеленая?

Посетил Армению, поэтому вот вам пара заметок про армянский язык.

🔸 Алфавит придумал Месроп Маштоц ещё в 405 году, за 4-5 веков до кириллицы. С тех пор добавились три буквы, остальные не менялись (сейчас их 39).
🔸 Если в Ереване обращать внимание на вывески и дорожные указатели, то через пару дней можно научиться писать ԹՌԱՆՍԼԻԹՈՄ. Но только заглавными буквами.
🔸 За городом есть прекрасное место, под названием Аллея букв. Можно погулять и поискать буквы своего имени.
🔸 Полезные фразы, которые посоветовал запомнить экскурсовод — «барев дзес» (здравствуйте), «шноракалутюн» (спасибо) и на всякий случай «погх чка» (денег нет).

#отпуск

Когда меня не станет,
Я буду кодить руками
Моих джунов.

🔺 XGen 7b

Salesforce обучили и выложили очередную LLM. Она, как водится, бьёт все предыдущие аналогичные модели в своей весовой категории, включая LLaMA и Falcon.

🔸 Обучали на датасете RedPajama (там русского нет), на 22 википедиях, включая русскую. И на почищенном Commom Crawl (оставляли только похожие на вики статьи), про фильтрацию языков не пишут, значит русский там тоже должен быть.
🔸 На первом этапе показали 1.37T токенов, затем взяли код из The Stack и показали еще 110B токенов, чтобы улучшить понимание кода.
🔸 Изначальный контекст был 2048 токенов, затем дообучили на 4k и 8k токенов. За архитектуру взяли аналогичную LLaMA.
🔸 Есть отдельная версия на инструкциях XGen-7B-{4K,8K}-inst. Инструкции из датасетов OpenAssistant, Dolly и других публичных.

P.S. График лосса слишком уж красивый, в конце даже ускоряться начал.

👉 Пост | github | xgen-7b-8k-inst