#sql #ml #dl #courses

#llm #agents

#llm #petproject

Как сделать LLM лучше OpenAI, потратив всего 8 долларов

У вас есть невероятное преимущество по сравнению с Сэмом Альтманом. Сэм делает AI, чтобы сразу решать все задачи мира. Вам же нужно решить только одну конкретную задачу. И это позволит вам его обыграть. Сегодня разберем, как это можно сделать с помощью дообучения.

Статья, как дешево и сердито дообучать опенсорс

В статье коллеги взяли 31 NLP задач, в которых есть обучающая и тестовая выборки. Взяли 10 опенсорс LLM. Дообучили эти модели под все задачи, получили 310 новых LLM.

В итоге эти модели оказались в среднем на 10% лучше, чем GPT-4. При этом по числу параметров они в 1000 раз меньше. Обучали модели с помощью LORA, но это неважно, аналогичный эффект получился бы с чем угодно.

Такое дообучение еще и очень дешевое, потому что обновляет не модель целиком, а обучает только адаптер. Одна модель авторам обходилась примерно в 8 долларов.

Как это возможно?

Самое важное разобраться, в каких задачах авторам было легко побить GPT-4, а в каких не получилось.

Невозможно победить на широких задачах. На задачах, где надо одновременно много всего знать и уметь. Например, чтобы решать бенчмарк MMLU, своеобразный ЕГЭ для LLM, надо знать кучу фактов. Или для генерации кода надо знать синтаксис и уметь им оперировать для кучи различных ситуаций.

Наоборот, просто победить, когда задача узкая. Нам нужно сфокусировать модель на одной конкретной зависимости с помощью дообучения. Например, легко научить находить токсичные комментарии в тексте. Или отвечать на вопросы клиентов об одном конкретном продукте. И чем уже ваша задача, чем она конкретнее, тем проще будет сфокусироваться.

Сэм Альтман хорошо понял законы масштабирования. Теперь он поднимает раунды, чтобы делать мега-модели, которые сразу хороши для всех.

Но вы то не все.

Алгоритм, как правильно дообучать опенсорс

1) Проверьте, точно ли вам не нравится жить на промпте к чужой модели. Например, дорого или не хочется отправлять данные в чужую API.

2) Подумайте, широкая или узкая ваша задача. Если широкая — не надо ничего обучать, берите просто самый большой опенсорс и не думайте. Если к узким — можно дообучать. Как выбрать размер модели написано в моем гайде.

3) Первая итерация — Supervised Fine Tuning (SFT). Модель учится воспроизводить правильный ответ. Возможно, этого хватит и дальше лезть не придется.

4) Вторая итерация — Reinforcement Learning (RL). Модель награждают за хорошие ответы и ругают за плохие.

Дообучать можно адаптеры (LORA и ее друзья) или полным дообучением. В зависимости от количества данных.

Важно: дообучение это рисковая операция, можно легко поднять галлюцинации. Вызывайте профессионалов.

Будьте рациональны.

Не надо дообучать модель в любом LLM-проекте. Проверьте, чаще всего все прекрасно работает на промпте + RAG. Тогда сильно сэкономите нервы.

Но и не надо тратить деньги за широту знаний, которая вам особо не нужна. Особенно, если у вас их не много.

Привет, товарищи-статистики!

Кто понимает p-value, тот, простите, понимает его, а кто нет, тому формулировка про все эти нулевые гипотезы, какие-то экстремальности и прочее будут ну очень далекими и оторванными от простого сравнения A и B. Но что если есть какая-то другая мера, которая, возможно, поможет лучше объясниться с теми, кто не особо понимает за статистику?

E-value — кажется, та самая мера, которая аналогично p-value говорит о значимости, но отвечает на на другой вопрос: "Насколько сильным должен быть некоторый неучтённый фактор, а не тритмент, чтобы полностью объяснить мой результат?".

Разберемся как следует в очередном большом посте!

Я принес. Ради чего люди ходят на работу? Пять типов мотивации по Герчикову

Я выступаю скорее против типирования, чем за. Легко человеку, не хотящему разбираться в людях, на глазок прикинуть психотип, наклеить на человека ярлык и всегда относиться к нему только определенным образом. А ведь люди не просто очень разные и не укладываются в один тип, а еще и со временем могут меняться их мотивации и стремления.

Однако сегодняшнюю статью я вам всё же принес https://habr.com/ru/companies/psb/articles/938116/

Мне понравилась, как она подробно и понятно расписана. С ней я предлагаю сделать 2 упражнения:

1. Прочесть и подумать, а что вас мотивирует из вышеуказанного сейчас? А 5-10 лет назад?
2. Принять, что на одно и то же событие у разных людей может быть очень разный взгляд, и перестать ультимативно спорить в интернетах про то, как ПРАВИЛЬНО. Кто-то говорит – только деньги-денежки-деньжищи, кто-то – профессионализм и развитие, кто-то – власть и вертикальный карьерный рост, кто-то – признание и народная любовь. А по сути-то каждый прав для себя (если он хорошо подумал и себя знает), но нет смысла другим это навязывать как ультимативно правильное мнение.

#algo #courses

Как заботать алгоритмы в осеннем семестре ВУЗа

Алгоритмы очень важный предмет для старта карьеры в IT. Возможно один из самых полезных предметов на младших курсах. Экзамены в большинство школ содержат в себе алгоритмическую часть: ШАД, Летние школы Яндекс, Т-академия, а также отборы на стажировки практически во все компаниии бигтеха. Алго-часть есть почти для всех, аналитиков, бэкендеров, мл-разработчиков. Поэтому важно не просто заботать алгоритмы, заучив их, а важно проработать алгоритмический аппарат, что зачастую сделать не получается за счёт одного вузовского курса.

Начнём гайд с выбора площадки:

leetcode.com - сразу отбрасываем, задачи там подготовят вас лишь к простеньким алгоритмическим собеседованиям, за счет того что задачи на собеседованиях интервьюверы берут с этого сайта. Задачи там не развивают, они либо слишком простые конструктивы, либо баяны.

codeforces.com - отличный сайт для развития в спортпроге, один из немаловажных факторов - это наличие геймификации (рейтинговой системы). А также та же система помогает относительно точно классифицировать сложность задач и помогает планомерно расти. Например ваш текущий рейтинг x, чтобы наиболее эффективным образом развиваться и повышать свой рейтинг оптимально будет решать задачи рейтинга x + 200/300 во время тренеровок, на них будет уходить больше времени, но темп решения будет потом уменьшаться. Также не забудьте скрыть "теги" задач и решать "вслепую". Рейтинг формируется исходя из написания раундов (соревнований в реальном времени), здесь вначале трудно будет привыкнуть к требуемой скорости решения, но всё придёт с практикой (в первую очередь нужно научиться решать трудные задачи, а не быстро легкие). Задачи здесь близки к формату icpc, в последнее время преобладают конструктивы, но также и алгоритмические тоже довольно популярны, довольно весомую часть от решения занимает интерпретация легенды/сведение к фактам и т.п.

atcoder.jp - альтернатива кфу, но здесь задачи более математические, с формальными легендами. В целом прорешка эткодера даже сильнее даст буст, чем на кфе, но задачи там муторнее и сложнее зачастую. Также есть отдельная секция раундов с NP-задачами на оптимизации, отличная возможность попрактиковаться ко всяким huawei challenge.

Как с этим работать? Первым делом нужно понимать, что нужно тщательно отделять практику прорешки задач вслепую и изучения тематических контестов и алгоритмов. Примерные пропорции с которых нужно начать - это 35% прорешки на сайтах задач со скрытыми тегами и раундов, 65% - прорешки тематических контестов. Эта пропорция должна меняться по мере освоения базовых алгоритмов и в конечном итоге вы должны прийти к 90% - скрытые, 10% - тем. контесты (эти 10% необязательно новые алгоритмы будут занимать, тут можно скорее нарешивать те темы, в которых чувствуете трудности).

Для освоения основных тем мы подготовили подробную роадмапу по базовым темам и продвинутым. Изучать алгоритмы, советуем исключительно на c++, для спортивного программирование порог входа по знаниям плюсов очень низкий, поэтому хватит простенького курса на степике, сверх этого курса потребуется знать лишь stl-контейнеры и хеш-таблицы, для продвинутых пользователей можно также изучить pbds. Начать советую освоение с логарифмических поисков, сортировок и линейных алгоритмов эти темы используются в огромном кластере задач и часто используются в конструктивных идеях. Затем изучите динамическое программирование и теорию чисел (более подробные разделы тем указаны в роадмапе), тч поможет вам реализовывать модульную арифметику для вычисления комбинаторных формул и дп. Далее большой раздел теории графов последует, в нём отдельно изучите задачи на деревья и DAG. После освоения базовых тем можно перейти к структурам данных (ДО, фенвик, дд и т п). Самое последнее, как мне кажется на что следует обратить внимание это строковые алгоритмы (хеш-функцию вы можете пройти вначале своего пути, а задач которые нельзя решить хешами и можно только строковым алгоритмом достаточно мало).

@postypashki_old