Привет, я специалист по анализу данных, у меня есть мнение и доступ в Интернет. Некоторое время назад я начала задумываться о том, чтобы сложить эти два фактора и получить нечто вроде блога в телеграме, но только совсем недавно у меня наконец-то сложилась цельная концепция того, что я в этом блоге буду вещать.
С одной стороны, я давно хочу начать делать что-то свое. С другой стороны, я навострилась использовать искусственный интеллект в своей работе, что освободило мне немного времени. Чем еще его занять, как не дополнительной работой?
Так что здесь будут посты про все, что меня сейчас волнует – ИИ, выгорание, кофе и что еще придет в голову
(картинка взята с сайта freepik.com)

В дополнение к большому посту на vc.ru.
Я работаю в паре с ChatGPT не только решая рабочие (пардон за тавтологию) задачи, но и во время обучения. Магистерский диплом мы писали вместе, например. В конце концов, что я за сапожник без сапог такой, если изучаю ИИ, но не использую?
У меня нет отдельного большого чата, в котором собраны все промпты, но ChatGPT помогал с обзором литературы, читал логи в процессе обучения нейросетей и помогал с дебаггингом. И написал мне реферат (который abstract, а не отдельная работа), конечно же.
У вышки (в которой я писала диплом) на этот счет нет запретов, а есть даже конкурс навыков использования ИИ в написании дипломных работ, что правильно, как мне кажется.
ИИ плотно входит в нашу жизнь, и глупо было бы пытаться его запрещать.

Попросила ChatGPT написать пару слов о его вкладе в мой диплом. Выяснила, что он излишней скромностью не страдает) ‘Provided critical support’, ‘offered precise and relevant academic sources and insights’, ‘provided instant feedback’ – это надо забирать в резюме

ChatGPT снова уделал врачей

ChatGPT4 превзошел практикующих врачей-гастроэнтерологов и продемонстрировал лучшее соответствие рекомендациям Междисциплинарной рабочей группы по колоректальному раку (USMSTF) при определении интервалов повторного скрининга и надзорной колоноскопии.

В исследование были включены 505 человек (средний возраст 56,3 года; 54% женщины), из которых 38 (7%) имели отягощённый семейный анамнез рака толстой кишки. ChatGPT4 успешно дал рекомендации о последующем наблюдении у 99,2% пациентов, и только четверо были направлены к гастроэнтерологу.

Обезличенный текст, касающийся анамнеза настоящего заболевания, возраста, пола, семейного анамнеза, процедуры колоноскопии и отчета о гистопатологическом исследовании, был введен в ChatGPT4, затем был сделан запрос - что и когда делаем с данным пациентом.

Основным результатом была общая точность рекомендаций ChatGPT4 и их соответствие рекомендациям USMSTF при определении интервалов повторного скрининга и тактики наблюдения за пациентом с колоректальным раком.

Рекомендации ChatGPT4 согласовывались с рекомендациями комиссии USMSTF в 85,7% случаев, тогда как рекомендации гастроэнтерологов в режиме реального времени соответствовали рекомендациям лишь в 75,4% случаев (критерий Макнемара, P < 0,001).

Авторы считают, что чат-бот, конечно, молодец, но выпускать его в самостоятельное плавание рановато, пусть остаётся в роли ассистента врача и подсказывает ему всякое полезное.

К посту про принципы написания хороших промптов. Есть еще интересная статья, которая промпты рассматривает с более технической точки зрения. Авторы делят промпты на ‘hard’ и ‘soft’. Первые представляют собой запрос на естественном языке, а вторые – векторы, на которых можно дообучить модель. Они указывают на противоречие между ограниченными возможностями модели по восприятию контекста и необходимостью писать развернутые промпты для получения наиболее точного результата. То есть, модель не может воспринимать очень большие и развернутые промпты, однако краткие промпты не дают ей достаточных инструкций. В качестве решения предлагается, например, дистилляция знаний (‘knowledge distillation’). Подход заключается в том, что большую модель («учителя») обучают на более развернутых промптах и забирают ее ответы. Затем по развернутым промптам составляют более краткие и на них (и полученных ранее ответах модели-учителя) обучают другую модель («ученика»). Таким образом, «ученик» воспринимает более краткие инструкции лучше.
Еще вариант – преобразовать ‘hard’ промпты в ‘soft’ и сжать. Так промпты занимают меньше места в памяти и проще воспринимаются нейросетью.
Сжатие промптов может осуществляться с помощью фильтрации, когда для каждого токена в запросе рассчитывается информативность, затем наименее информативные токены отбрасываются.
В целом авторы статьи выделяют три основных направления для развития промпт-инжиниринга:
измерение информативности запросов на естественном языке и фильтрация излишней (наименее информативной) части запроса, чтобы сократить его настолько, насколько возможно;
большие языковые модели должны сосредоточиться на преобразовании естественного языка с сохранением наибольшего объема смысловых нюансов; языковые модели меньшего размера должны применяться для создания наборов тренировочных данных, в которых информация представлена в сжатом виде;
одновременная оптимизация ‘hard’ и ‘soft’ промптов.
Тема 'soft’-промптов хорошо раскрыта в посте на medium

На Хабре вышла статья об эксперименте, в котором автор с использованием модели Codestral-22B-v0.1-Q4_K_M пишет игру на C#. Получилось круто и интересно, советую к прочтению