IBM приостановит найм на роли, которые бы мог заменить AI.

Издание Bloomberg , со ссылкой на гендира IBM Кришна, сообщает: компания IBM оценивает, что уже сейчас можно заместить 7800 рабочих мест при помощи AI.

При этом, Кришна оценивает потенциал роста замещения до 26000 рабочих мест- это роли которые не требуют личного взаимодействия с людьми. Поэтому уже в течении пяти лет, 30% этого числа вполне можно заменить на автоматическое исполнение, или по крайней мере более автоматизированный труд.

Кажется, чуваки подливают масло в огонь уже бурлящих дискуссий : нас заменят, остановите прогресс ИИ я сойду и тп.

Наткнулся на ещё один git с очередной LLM по типу LLAMA и тп.- PandaLM.

Панда это не только очередной SFT на инструкциях, но ещё и стабильный, как утверждают авторы пайп тюна и оценки моделей LLM между собой. Тестовый сет и скрипт для него они тоже положили в открытый доступ. А так же провели side by side с ChatGPT и говорят, что достигли близкое к ней качество. Таблица с метриками в репо.

При этом, данные для обучения панды они не выложили, но скрипт файнтюна прилагается. Кстати зашёл в него и вижу естественно wget на alpaca.json. :) Но уверен, что-то свое в формате self-instruct нагенерили.

Да и забыл. Модельку PandaLM 7b можно найти на обнимашках как и код для запуска. Но там всё стандартно. Статей кроме гита не нашёл( Поэтому ожидаю, что это таки вариации на тему Alpaca...

Ну и ещё

Из-за опасений по поводу проблем с авторским правом мы не предоставляем модель, настроенную с помощью инструкции. Модель, настроенная по инструкции, может быть легко воспроизведена в PandaLM/pandalm/scripts/inst-tune.sh .

Да и не всё ещё выложено пишут, что весь обещанный код дольют.

Грусть... Все так спешат на хайпе застолбить место, что не докатывают код заявленной функциональности, надеюсь все будет как с LLAMa Adapter и обещания выполнят и всё дольют

Хакни твою мамку LLM-ку

Новый конкурс от AICrowd по взлому промтов.

При этом необходимо делать zero-shot взломы, т.е. модели являются bbox и вам необходимо менять промты, с целью добиться неожиданных ответов, которые по идее она должна избегать.

У вас будет 10 уровней тестов. Доступны три модели на выбор: GPT-3 (text-davinci-03) , GPT-3.5turbo (ChatGPT) и FLAN-T5-xxl, причём есть спец условия по очкам. Например, за взлом ChatGPT получаешь х2 скор. А для FLAN-t5 есть спец приз, набравшему с ним большее число очков взлома.

Очень интересная система оценки:
Она сама предоставит вам вакантное место в форматированном фрейме ввода {YOURPROMPT} , в ответ на свою атаку, в случае успеха, вы получите I have been PWNED

Можно участвовать командой.
Призовой фонд до 15к$ + доп плюшки.

Гогого решать!

https://www.aicrowd.com/challenges/hackaprompt-2023

Привет всем новоприбывшим!

Раз нас стало ещё больше, для новеньких ещё раз расскажу о чем данный канал и кто я, а также оставлю ссылки на пару интересных постов.

Тут автор говорит о всяком вокруг data science, что ему мило и любимо: анализе текстов aka NLP, поиске, соревнованиях, об RL, меньше о CV.

Немного о себе:

Head of ML команд: Нейронные сети, OpenDomainQA, KnowledgeGraphQa, мы отвечаем за понимание естественного языка (NLU), retrieval, приклад LLM и иных NLP моделей в production задачи.

Автор моделей ru_sbert_large, ru_sbert_large_multitask, ruElectra, а также первой открытой ru_ bert_reward модели. Kaggle competitions master, призёр и победитель хакатонов по Data science. Читаю лекции, веду мастер классы по NLP, ML и выступаю на конференциях.

Несколько интересных постов с канала:

1. Instructor. Обучение мультитаск модели на инструкциях .

2. Retrieval-augmented generation или как помочь GPT не лгать

3. Critic подход с human feedback для улучшения embeddings

4. Актуалочка в рамках атак на LLM. Как мы улучшаем устойчивость моделей энкодеров

Добро пожаловать на канал! 🤖🦾

Мой топ Approximated Nearest Neighbors (ANN) либ для поиска соседей по векторам.

Такс други, тут часто заходят с вопросом по поиску на эмбеддингах. Из личного опыта советую:

1. ScaNN, основывается на max dot prod подходе, разработка Google, соответственно требует tf2+

2. FAISS на мой взгляд оптимально по функционалу и сложности освоения. Разработка META.

3. Можно также попробовать Milvus и qdrant, но это уже нечто большее чем просто поиск. Там уже и свои эмбеды можно обучить, к примеру в qdrant, и свою кастом логику.

Бонус.
+ личный ноутбук демонстрации работы SBERT + ANN и другие классик вещи. Код с топ-3 мастер-класса/доклада по мнению зрителей на PyCon2021.

Сингулярность, которую мы заслужили

Тут Snapchat Тян оседлала волну хайпа вокруг LLM и сделала свой аватар, разговоры с которым продаёт за шекели.

Прекрасный пример, когда можно скормить свои записи в chatGPT и voice сервис и получить дёшево и сердито доп заработок.

А я напомню ещё кейс с Клавдией и реддитом. Где чуваки создали нейротянку и продавали её нюдсы.

Ох не тем я занимаюсь. Рецепт успеха Блиновой прост: LLM+text2speech+ cool body/voice + не/много мозгов = $.
🦾🫦🍌

Картина пятничная - философская.

А задумывались ли вы, когда придёт предел данных для обучения LLM?

На минуточку, по состоянию на май 2023 модели потребляют для предобучения от 0.5 до 1.4 трлн токенов.

Насколько это много?)

Средне статистическая книга содержит около 50к слов или 67к токенов, 1 триллион токенов это 15 млн книг!

При этом, скорость генерации сообществом интернета данных может оказаться меньше скорости потребления этих данных /роста сетов потребляемых для обучения (Villalobos et al, 2022)

Также, стоит отметить, что растёт объем данных генерируемый уже GPTlike моделями и в какой-то момент ( и уже видим сейчас) новые и новые генерации LLM не только будут содержать весь допустимый контент, но и тексты полученные из иных моделей.

В такой парадигме, где мы кормим больше и больше знаний о мире в LLM, можем прийти к моменту, когда владельцы закрытых данных смогут выйти на арену и иметь своё преимущество.

Поэтому, видимо, кто владеет информацией - владеет миром. Будет ещё долго не пустым звуком.

А что думаете об этом Вы?

Оценка паритета между ростом доступных данных и данных для обучения

Порядок токенов из разных источников для обучения LLAMA и RedPajama

По мотивам: https://t.me/dealerAI/142

Coming soon on RLHF+NLP section...

Моя быть там.

https://t.me/datafest/539

Вжу вжу вжу... Мы просто пчёлы...

Сладкий мийëд :)

Больше GPT богу GPT. Ну и конечно конкуренции..

Надеюсь это не новое название Балабобы или YaLM

Говорят, YandexGPT "вышло" или нет?

UPD. Разные люди из Ya говорят, что это не тот GPT, что аналог ChatGPT. Поэтому расходимся. :(

https://yandex.ru/company/press_releases/2023/17-05-2

Интересная пресс-заметка. Во-первых, YaGPT получается аналог ruGPT-3 как на Джой Sber. Далее, видимо она SFT, возможно не только диалоги/поиск/qa, но и инструкции only? Ещё замечаем, что мол, якобы, не умеет пока в контекст (см в что дальше). Крч, кому-то в PR Yandex сегодня прилетит. Ждём статьи, где будут расставлены точки над Ya..

Не шали ;)

#YaGPT

Други, кто юзал уже Гигу?

Пишите в комментариях, шлите скрины.

https://t.me/abuwtf/9314