Пример трибанка для арабского языка.

IP - intellectual property (интеллектуальная собственность)

Sora

Тут новая новость: вышел музыкальный клип, полностью сгенеренный нейросетью Sora.
Авторы отмечают, что почти не использовали пост-эдитинг (post-editing). То есть вручную не редактировали сгенерированные видео. Только кое-где нарезали кусочки и составили вместе. Я посмотрела, каэш, клипец. Не сказать, чтобы там все гладко. Похоже на очень яркий сон или какой-то сюрный мульт типа “В синем море, в белой пене”. Но, конечно, есть атмосфера, вайбы. Вспоминается, как исчезла в привычном понимании профессия переводчика, благодаря Google Translate. Году примерно к 2010 остались ровно столько переводчиков, чтобы делать хороший пост-эдитинг или уметь вертолет починять в Африке, если вдруг от вас понадобится не только перевод с английского, французского или суахили.
Sora - это модель типа “текст-в-картинку” (text-to-image) (точнее уже в видео) на основе более раннего продукта OpenAI под названием Dalle. Нейронная архитектура модели называется diffusion (дифьЮжн, диффузия / диффузионная). Сначала по текстовому запросу модель генерирует много случайных пикселей, а потом denoises (денОйзез, обесшумливает) их. То есть оставляет “хорошие” пиксели и убирает “плохие”. Затем на месте плохих генерятся новые пиксели и снова оценивается результат. Повторяем, пока новая генерация не будет оценена как “ничем не лучше предыдущей”. В механизме денойзинга используется визуальный трансформер (vision transformer, вижн трансфОмэ). Это как для NLP, только матрица эмбеддингов строится для пикселей, а не для токенов. Весь процесс называется sampling (сЭмплинг, сэмплирование). Разные сэмплеры дают разный эффект на итоговом изображении. Особенностью Sora является способность генерить детали и перемены, например, в эмоциях, а также делать гладкие переходы между сценами. Но модель, конечно, не лишена глюков. Если раньше у моделей “текст-в-картинку” были траблы с количеством пальцев, то теперь при ходьбе периодически путаются ноги. Другие артефакты (свидетельства сгенеренности картинки) тоже попадаются. Например, у поезда на среднем плане пропадают щели между вагонами. Ну и поговаривают, что генерация оооочень долгая.
Модель пока доступна только по инвайтам в режиме тестирования.

#база #эссеиистика

Экологические последствия бума искусственного интеллекта

В 2020 г. пандемия COVID-19 привела к форсу одного интересного факта: некоторые языки программирования менее экологичные. А какой же самый неэкологичный? Ну, конечно, Питон. Иначе зачем бы я писала об этом целый пост.
Хочу повиниться, я создала фактоид. Я люблю рассказывать одну, как оказалось, байку про то, что ученые исследовали энергозатраты на одной из айтишных конференций и пришли к выводу, что во время конференции эти энергозатраты в месте, где она проводилась, очень сильно выросли. На самом деле, все (не все), конечно (наверное), было (или не было) не совсем так (совсем не так). Недавно Ксения Собчак в своем блоге пожаловалась, что нынче толком и нельзя высказаться ни по какому вопросу.
А что же было-то? В 2019 году на конференции Европейского Астрономического Общества (European Astronomical Society) ученые сделали опрос, кто как добрался до конференции, и посчитали, что затраты примерно равны 1,855 tCO2e (тонн (t) в углеродном (CO2) эквиваленте (e)), что равно выбросам одного среднего размера астрономического института, например, Max Planck Institute for Astronomy (MPIA) в Гейдельберге. В 2020 конференция была онлайн, и на нее потребовалось в 3 раза меньше выбросов. Но тут ученых привлек еще один вопрос экологии: сколько выбросов приходится на астрономические расчеты на разных языках программирования? Оказалось, что время на обработку запроса (time-to-solution, тайм ту солЮшн) в отношении к тому, сколько будет потрачено энергии, выше всех у Питона. Основной причиной называют то, что Питон - язык интерпретируемый. То есть, прежде чем выполнять программу, написанную на Питоне, ее нужно “интерпретировать” - перевести на промежуточный язык в отдельной программе - интерпретаторе. У Питона это CPython, написанный на языке программирования C. С одной стороны, это удобно для разработки, т.к. интерпретатор считывает код построчно. И вы можете, вместо выполнения всего скрипта, поделить его на части, как в Google Collaboratory, и выполнять программу по частям. С другой стороны, Питон очень медленный и требует много оперативной памяти. Одним из самых экологичных при этом оказался язык C++. А потом эту статью изложили на Хабре, откуда я и сделала заключение, что речь шла именно о расчете энергозатрат во время пребывания учёных на конференции.
При этом есть и ещё более раннее исследование экологичности разных языков программирования. В статье “Energy efficiency across programming languages” ещё в 2017 г. авторы обнаружили, что Питон - один из самых неэкологичных. В научпоп статье “Python is destroying the planet” (Питон уничтожает планету) с портала Medium (2023 г., ссылка откроется только с VPN) утверждается, что на Питон приходится 17.5% энергозатрат всех языков программирования. Библиотека CodeCarbon рассчитывает углеродный след вашего компьютинга. Это не для того, чтобы себя осуждать, а чтобы оптимизировать код 😇 Питон все ещё остаётся очень удобным и интуитивно понятным, на нем написано огромное количество библиотек для датасаенса, для него есть множество бесплатных курсов и тьюториалов, платформ для тестирования кода и запуска приложений. Так что, с моей точки зрения, он ещё долго останется таким популярным и причина отказаться от него полностью из-за неэкологичности не слишком весомая. Попробовать снизить энергозатраты за счёт повышения эффективности кода - это возможно.

#эссеиистика #байкиизсклепа

Дорогие подпИИсчики! Го? 💃🕺 Я там тоже буду - кормить комариков (главное, что не медведей 🐼) и читать лекцию про чат-гпт и прочих отбирателей рабочих мест у кожаных мешков.
Только сначала вам нужно достичь 18 лет и пройти отборочное испытание. Подать заявку нужно до 20 мая включительно. Затем нужно будет решить задание и пройти собеседование.

#ниипетпроект

Поехали кодить в лес?
Приглашаем принять участие в работе Мастерской анализа текстовых данных на «Летней школе» с 5 по 20 июля

Интересуешься NLP, анализом текстовых данных и машинным обучением, но не знаешь, с чего начать? Начни с нашей мастерской!
У нас ты получишь две недели весёлого и интенсивного изучения методов обработки естественного языка, сможешь послушать интересные лекции про все те многочисленные подходы, которые применяют NLP-специалисты, найти единомышленников, и всё это – на турбазе в Тверской области.

Программа:
- Основы предобработки текста;
- Предпосылки компьютерной лингвистики;
- Классификация и кластеризация текстов;
- Дистрибутивная семантика и эмбеддинги;
- Языковые модели;
- BERT и трансформеры;
- Нейросети;
- Ансамблевые методы машинного обучения;
- Извлечение именованных сущностей;
- Диалоговые системы;
- Немного матстата и тервера;
- Визуализация данных;
- Хакатон на партнёрских данных.

Сроки отбора:
- 17 апреля – 20 мая: подача заявок
- 22 апреля – 25 мая: решение отборочных заданий
- 25 мая – 30 мая: собеседование
- 1 июня: финальные списки участников

Требования к участникам:
- Строго 18+;
- Базовые знания Python и тервера+матстата;
- Интерес к лингвистике, NLP и машинному обучению;
- Умение жить на природе и работать в команде.

У нас вы научитесь:
- грамотно работать с данными;
- строить пайплайны для решения задач NLP;
- работать с алгоритмами и моделями машинного обучения;
- красиво и доступно представлять данные и результаты анализа;
- применять полученные знания на реальных данных.

Контакты:
https://letnyayashkola.org/nlp/ - наш сайт
https://t.me/ml2024news - наш телеграм-канал
nlp@letnyayashkola.org – наша почта

Морфологический разбор с UDPipe

В Карловом университете в Праге есть физико-математический факультет, в котором есть Институт формальной и прикладной… лингвистики - ÚFAL. На официальной GitHub странице Института 219 репозиториев (ИМХО, вот так должен выглядеть репозиторий здорового института комп. лингвистики), один из которых - библиотека UDPipe, написанная в основном на языке C++, но поддерживающая, среди прочего, и Python. Чем она известна? Это популярная библиотека для файлов в формате CoNLL-U, которая позволяет делать морфологический и синтаксический разбор. О формате мы писали тут.
Как сделать морфологический разбор с UDPipe? Тут надо бы ответить сначала: а зачем вообще делать морфологический разбор? Самая частая задача - это поиск ключевых слов, который является основным шагом, например, в определении темы текста. И, конечно, определение именованных сущностей (named entities, неймд Энтитиз) - имен, географических названий, организаций. Эти задачи обычно ведут к более сложным, вроде кластеризации документов или выявлению всех упоминаний конкретной персоналии в массиве текста (хм, зачем бы кому-то искать такие упоминания? 😈) или определению авторства.
А почему UDPipe, а не NLTK, например? Есть много NLP-tools, друг Горацио, что и не снилось нашим мудрецам… И среди них UDPipe отличается тем, что: а) его разработчики его обновляют, улучшают (например, к выходу готовится UDPipe 3), б) они же участвуют в разных NLP-events (мероприятиях), на которых показывают, что инструмент эффективен, в) инструмент довольно простой и поддерживает много языков, г) т.к. инструмент привязан к CONLL-U, для него есть много готовых данных.
Так как же сделать морфологический разбор с UDPipe? Прожмякать мой ноутбук, конечно. Там в комментариях есть подробности, что может UDPipe.

#база #notebook

Генерируем прозу
..Возобновляю публикационную активность..

Всем известная ChatGPT - это так называемая большая языковая модель, БЯМ (large language model, LLM). О том, что такое языковая модель, я писала тут; что считать большой моделью - тут. По сути, языковые модели умеют делать всего одну вещь: генерировать последовательность символов, которая продолжает заданную человеком строку (промпт). Даже конец ответа - это сгенеренный токен, после которого модель уже ничего не может добавить. Правда, такое есть не во всех моделях.
Тексты бывают разные, поэтому у БЯМов есть множество применений:
✍ Сочинение эссе, курсовых и дипломных работ
👩‍⚕ Постановка медицинского диагноза (тоже по сути текст-экспертное заключение)
🧮 Решение математического уравнения
💻 Разработка кода программы
🚀 Обучение вас ракетостроению (rocket science) или иностранному языку
И более частные лингвистические задачи, вроде нахождения грамматических ошибок в тексте, определения тональности отзыва или выявления идиом.
Ну что ж, давайте погенерим. Т.к. ChatGPT недоступна в России, то попробуем обойтись без нее. Хотя, конечно, есть обходные пути и для общения с ChatGPT.
Я общаюсь с БЯМами на Чат-бот арене. Это платформа, на которой пользователи отправляют моделям промпт и оценивают, какая из них дала более удачный ответ. На основании этих оценок строится рейтинг моделей. Сейчас, конечно, в рейтинге лидирует GPT-4o, но прямо в затылок ей дышит Gemini от Google. Заходите на арену и, если не хотите общаться со случайной моделью, выбирайте в Direct Chat ту, которая вам больше по душе. Там нет самых сильных моделей, например GPT-4o. Но зато есть неизвестная модель под названием “im-a-good-gpt2-chatbot”, о которой говорят, что она может быть ранней версией GPT-4o. Русский они хорошо знают, но на вход принимают и генерят только печатный текст.
Не так давно в общем доступе появилась YandexGPT. На платформе Yandex Cloud можно протестировать генератор текста и изображений. В промпт-режиме модель можно настроить на какую-то более конкретную задачу, например, создание упражнений по изучению иностранного языка (правда, придется разобраться с документацией). Потребуется авторизация с Яндекс почтой.
Еще один отечественный генератор - GigaChat от Сбера. Тоже генерирует текст и картинки. Даже открытки на Троицу для Вайбера может. Еще не так давно они добавили создание медитаций: там помимо усыпляющего текста есть приятный усыпляющий музыкальный мотив. В целом мне зашло. Тоже нужно авторизоваться со Сбер ID.
Ну и если вы хотите испытать боль разработчика языковых моделей, то вот же он… ноутбучек с кодом библиотеки transformers. Зацените мега-странный текст, который мне сгенерила модель rugpt3large_based_on_gpt2 от AI Forever (группы людей, многие из которых очень похожи фамилиями на бывших и настоящих работников Сбера). Пока что это лучший генератор для русского языка, который мне удалось запустить через transformers
🤷‍♀️ Кстати, код для ноутбука мне помогла написать Gemini 🤗

#база #notebook #спискии

Я там 👇 тоже буду - читать лекцию "Как меняется образование с появлением ChatGPT?" (18 июня) 👩‍🎓 versus 👾

Анонс моей лекции. Большие языковые модели (среди них ChatGPT, наверно, самая известная) автоматизируют много интеллектуальных задач, которые, как могло казаться раньше, под силу только очень сложным программам будущего. Сегодня ChatGPT пишет текст на заданную тему в нужном жанре, решает математические задачи, делает грамматический и фонетический разбор и даже способна обучать вас ракетостроению. Профессия учителя и преподавателя под угрозой? Давайте вместе посмотрим на некоторые практики внедрения больших языковых моделей в образовательный процесс, которые возникли по всему миру, и попробуем прочертить тренды. Решать, что изменится в образовании, все равно в конечном итоге будет человек.

Знакомимся с Keras

До того, как все разговоры стали о ChatGPT, все разговоры были про нейросети. Я попыталась вспомнить, о чем были все разговоры до нейросетей, и не смогла. Видимо, до них говорили всё про разное. Или, может, вообще молчали…
Есть ли надобность в нейросетях сегодня, раз они больше не на слуху? Большие языковые модели типа ChatGPT обучаются и генерируют ответ при помощи нейронных сетей. Только архитектуры этих сетей довольно однообразны - разработчики и ученые уже сообразили, что работает хорошо, а что лучше не трогать. Но есть еще много задач, где трудятся нейросети разных архитектур и размеров. А есть и задачи, где можно обойтись алгоритмами машинного обучения, в которых нет нейросетей. Машинное обучение - это когда, чтобы решить задачу, алгоритм тренируется и тестирует свою эффективность на размеченном наборе данных. Например, для задачи определения спама быстрый и простой Наивный классификатор Байеса все еще считается хорошим решением, хотя им пользуются уже около двадцати лет. Но, если у вас нетривиальная задача или вы создали датасет и хотите быстро проверить, как справятся нейросети с его разметкой, или вы хотите доработать обученную языковую модель под вашу задачу, нужно разобраться с нейросетями.
С чего лучше начать знакомство? Наверно, самая простая и понятная библиотека для машинного обучения, в которой есть и очень простая нейросеть, это Scikit-Learn. Но она не позволяет делать сеть с разными видами слоев. В ней есть только базовый вариант: многослойный персептрон. Поэтому, если вы уже немного в теме, стоит перейти к Keras. В их тьюториале для начинающих есть даже советы по работе в Google Collaboratory. Вот здесь пример многослойной сети на задаче распознавания рукописных цифр в датасете MNIST. В основном используются сверточные слои (convolutional, конволЮшонал), MaxPooling (макспУлинг), который улучшает их работу, и дополнительные слои для линейной классификации, которые нужны, например, чтобы задать количество классов (в датасете MNIST их 10 - по числу цифр в десятичной системе).
Но у меня, конечно, есть свой ноутбучек из одного давнего поста с подробным разбором более простой архитектуры на той же задаче
😉

#база #notebook

Мы с Артёмом тут случайно попали в огни стробоскопа 💫🌟 и решили напомнить, что вот так мы выглядим, когда пишем посты в канал 😎

Знакомимся с PyTorch

Прошлый пост был о том, как на чилле и раслабоне делать сети с помощью Keras (кЕрас). К слову, Keras разработан программистом из Google и использует еще одну библиотеку от Google: TensorFlow. Сразу после Keras’а (в 2016 г.) на свет появилась библиотека PyTorch (пайтОрч) с внутрянкой на чем-то загадочном: Matlab-подобной библиотекой для Lua (тоже такой язык программирования). По моим воспоминаниям все советовали делать сети именно в Keras’е, а про PyTorch говорили, что он усложнен донельзя, но более мощный. Мощный в плане того, что позволяет сложный дизайн нейронной сети под нетривиальные задачи. Я с какими-либо ограничениями в Keras’е никогда не сталкивалась, чтобы переходить на PyTorch. Но вот архитектура трансформеров, которая лежит в основе больших языковых моделей (БЯМов), требовала именно сложного дизайна. Поэтому с бумом этой архитектуры пришел и наплыв кода с PyTorch’ем. Пришлось погрузиться, но остаться на мелководье. Честно, я до сих пор считаю, что PyTorch нужен именно для запуска чужих, готовых моделей. Производственных мощностей, навыка разработки БЯМов с нуля и желания погружаться в их внутрянку у меня нет, чтобы заходить в эту тему глубже. А желания нет потому, что в этой теме сегодня (по моему скромному мнению) money talks (говорят деньги). Люди, которые делают прорывные открытия в области БЯМов, работают в основном в коммерческом секторе, где зарплаты традиционно выше академии, а БЯМы приносят компаниям выручку. Академия - это про slow science (слОу сАенс, медленную науку, где можно не торопиться). Я работаю в академии, поэтому предпочитаю задачи, в которых коммерческая выгода не ставится во главу угла. Но при этом, поскольку нужно поддерживать форму, я периодически использую готовые инструменты и решения (с подобающими ссылками на их авторов).
Так вот, чтобы в этот раз сделать ноутбучек с простой сетью на PyTorch, я решила не напрягаться и… обратилась к Gemini от Google на чат-бот арене (не устаю ее рекламировать - никаких тебе логинов, паролей, а теперь можно еще и в мультимодальность - картинки подгружать). Сеть, которая получилась, по моему скромному мнению, выглядит куда сложнее, чем такое же на Keras. Хотя бы потому, что там обязательно использовать объект-ориентированное программирование - создавать классы (Class). Хорошо, что есть БЯМы, которые могут обучать таким вот темам. Кстати, на тему БЯМов в обучении я буду послезавтра читать открытую лекцию “Как меняется образование с появлением ChatGPT?” в Питере. Можно послушать онлайн (видеозаписи не будет) - регистрируйтесь, если еще не.

#база #notebook

Выбирай красную.. ну то есть левую кнопку! 😉

Еду в магазин гучи в Санкт-Петербурге.. и продумываю завтрашнюю лекцию про ChatGPT в современном образовании 🧐

Делюсь ссылкой на презентацию по итогам своей вчерашней лекции про то, как ChatGPT меняет современное образование. Во время лекции я просила слушателей сформулировать отношение к четырем тезисам (они есть в презентации) по шкале "негативное - нейтральное - позитивное". Самым неоднозначным оказался тезис No. 2 "Работы, в которых авторы использовали ChatGPT, будут получать более низкие оценки". Тут есть сложность с формулировкой: речь идёт не о том, чтобы согласиться "да, так будет" или "нет, так не будет", а именно о том, какие чувства в вас вызывает этот тезис - позитивные или негативные. В итоге я решила запилить опрос: действительно ли этот тезис такой спорный? 🤔 Поделитесь в комментариях, пожалуйста, как думаете, будут ли реально работы с ChatGPT получать более низкие оценки?

Ну что ж, результаты к концу дня, если смотреть на соотношение негатива ➖ и позитива ➕, повторяют то, что было на лекции.
Попробую предположить, что негатив связан с тем, что если уж использование ChatGPT разрешено, то дискриминировать за него несправедливо 🤨 Да и не обязательно иметь хороший навык письма, если вы, например, инженер. Главное, что ChatGPT помогает сформулировать и донести собственную мысль. Поэтому за что тут снимать балл? За непрофильные навыки? Позитив, возможно, показывает отношение к использованию ChatGPT: лучше обходиться без него, чтобы сохранять и развивать свой навык письма, а кто его использует, тот, возможно, недостаточно квалифицирован, чтобы писать самостоятельно 🍤
А вот чего не было на лекции, так это нейтрального отношения 0️⃣ Тут позволю себе предположить, что голосовавших тема просто не интересует. А вот на лекцию слушатели шли именно на такую тему, поэтому не остались равнодушными.

Генерим поэзию ✍

Эксперименты в творческом письме, скорее, норма. Уильям Шекспир привнес в высокий штиль английской драматургии повседневные слова вроде "грядки" и "чулки". Экспериментами прославились абсурдисты, например Эжен Ионеско. И все еще никто толком не может сказать, о чем же книга "Поминки по Финнегану". Серебряный век русской поэзии прославил эксперименты Маяковского, Хлебникова, Хармса. И, конечно, появление ЭВМ не осталось незамеченным поэтами. Вот что говорил об использовании компьютерной программы Дэвид Боуи: "Я беру статьи из газет, стихи, которые я написал, кусочки книг других людей и помещаю все это в этот маленький склад, в этот контейнер информации, а затем нажимаю кнопку случайного выбора, и все будет случайным образом перемешано". А на платформе Стихи.ру есть программа, которая поможет подобрать рифму. Но писать стихи самостоятельно на хорошем уровне ИИ научилось совсем недавно.
👨‍🌾 Относительно старая (по современным меркам) языковая модель на основе большой языковой русскоязычной модели GPT-2 Порфирьевич имеет отдельную папку в репозитории GitHub, файлы в которой содержат следы дообучения модели рифмованию и примеры сгенерированных стихотворений. Осторожно, модель матерится! Стихи тоже странноватые.
🤵‍♂️ Разработчики "AI да Пушкин" (программы-генератора четверостиший по первым словам от команды Т-Банка) в 2022 г. тоже использовали GPT-2. Ее дообучили писать ритмичный и рифмованный текст. Причем рифмование оказалось самой непростой задачей. Проект недавно закрылся, но в блоге есть примеры (особенно в комментариях). Там уже все цивильно в плане лексики. Заданная рамка (четверостишие) не позволяет модели уйти в галлюцинирование.
🧑‍🎨 Видимо, рамка есть и у GigaChat от Сбера. Скорее всего, модель тоже дообучена писать стихи по определенным правилам. Несколько попыток генерации выдали четырехстопные четверостишья (магия числа 4 прям таки чувствуется). Есть траблы с ритмом и рифмой. Все-таки стихи - это не совсем их профиль.
🤹 Ну и, конечно, среди обитателей моей любимой Чат-бот Арены тоже есть поэты. По ссылке пример генерации от модели Sonnet 3.5.
🧑‍🎤 Но больше всего мне понравился генератор стихов от IT-стартапа RoboText.io. Я попросила его продолжить Пушкина. Ответ меня так порадовал, что привожу его здесь целиком. Правда, с генерациями не разбежишься - бесплатно можно только один раз.

Я вас любил. Любовь еще быть может.
Кто вам сказал, что это не любовь.
И пусть она вас больше не тревожит,
Тревожит сердце, не волнует кровь.

Я часто вспоминаю наши встречи.
И каждое желанье, что дарил.
Когда я уходил от вас в тот вечер,
Как я держался из последних сил.

ПС. Я чуть было не всплакнула в конце 😢
ПС2. Недавно на просторах Интернета появился фейковый патриотический поэт. Он даже успел выиграть в конкурсе поэтов. Интересно, генерировал ли он стихи 🤔

#эссеиистика #спискии

У меня очередное объявление

Я перешла работать из ТюмГУ в Европейский Университет в Санкт-Петербурге. В связи с этим оффлайновая локация моих мероприятий изменится, но онлайн - все тут же. А еще я надеюсь, что можно будет сделать что-нибудь межуниверситетское 🌏

Кто проходил мои интенсивы, будучи студентом, и в связи с этим не получил удостоверение. Ваши контакты в ТюмГУ, которые помогут вам добраться до удостоверений:
1⃣ Команда Открытого UTMN:
➖ Руководитель: Коломийчук Ирина Александровна i.a.kolomijchuk@utmn.ru
➖ Специалист: Харьковец Дарья Евгеньевна d.e.kharkovets@utmn.ru
2⃣ Помощник директора Института социально-гуманитарных наук Медведева Виктория Олеговна v.o.medvedeva@utmn.ru
Не пишите им, пожалуйста, всем сразу. Начните с Открытого UTMN. Именно он оформляет удостоверения. Если будет совсем глухо, пишите мне в ЛС или сюда в комментарии.

ПС. Я нашла еще одно классное стихотворение от ИИ. Там ИИ рассуждает на тему самого себя. Философично 👾 🎩