я обучала одну модель
4.58K subscribers
457 photos
29 videos
21 files
379 links
Shitposting on various subjects

PS рекламы в канале нет
Download Telegram
Еще один достойнейший представитель аккаунтов-нейроночек в твиттере
Forwarded from нью крипто щит (Sasha Tsereteli)
Пока на эфире клепают однообразные pfp-проекты по образу и подобию Bored Ape Yacht Club, что-то действительно интересное неожиданно вышло на Binance Smart Chain 🐸

Друзья-соотечественники из моего любимого канала @NeuralShit сгенерили нейронкой 7777 уникальных изображений лягушонка пепе на основе нескольких тысяч артов, вытащенных с форчана, и превратили в NFT-проект Neural Pepe.

Как они сами иногда говорят, вышло «проклято, но эпично». С каждым пепе идёт 420 токенов AI, и ещё 2.3 фармится ежедневно. За 420 AI вашего нейропепе можно переименовать, увековечив его имя на блокчейне – механика наверняка знакома.

Немаловажный аспект: с правами вопрос вроде как уладили, так что проект будет жить. В продаже из 7777 разновидностей нейропепе осталось около 1500. Купить можно всего за 0.5 BNB вот тут: https://neuralpepe.com/
Еще один крутой аккаунт в Твиттере, куда постят картинки, сгенерированные BigGAN или VQGAN. Примечательно, что ГАНы могут довольно точно рисовать как что-то конкретное (лица конкретых людей вроде Джо Байдена), так и совершенно абстрактные концепты (например, the end of time and space).
Вот пока что мои любимые примеры:
Stairway to Heaven
The Greenhouse Shadows
Wind Over the Ocean
rococo socialist realism, dogs
The Chillwave Venue Underneath Our House
Я не удержалась и сгенерила себе авку 🤡 Поразительно, как точно VQGAN смог изобразить гугл колаб в темной теме
Из летней школы по финтеху (где половина лекций была не по финтеху) узнала для себя много нового, в том числе то, что у nvidia помимо дорогих карточек есть еще куча предобученных моделей для около-нлп
Например, вот эта мегалиба, где лежат модели для automatic speech recognition, NLP и text-to-speech synthesis. В том числе там есть asr для русского (на основе quartznet), о существовании которой я не знала вообще. Короче, может быть довольно полезно для диалоговых систем, жалко, что предобученных tts там не особо 🙁 Еще надеюсь, что поскорее подгонят презентацию по tensorRT, потому что у себя на сайте nvidia толком не описывают, что там творится
https://github.com/NVIDIA/NeMo
Все наверное слышали про Copilot, который Гитхаб запустил вместе с OpenAI – это сервис, который призван лишить всех программистов работы дописывать введенные пользователем строки кода или даже генерить целые функции по контексту (то есть по тому, что вы уже написали в этом скрипте, по комментариям к коду, по названиям переменных и классов и т.д.). Звучит очень впечатляюще, и мне стало интересно, что за модель лежит в основе этого всего.

Сама модель назвается Codex, и в лучших традициях OpenAI нет не только опенсорсного проекта, но и статьи с описанием деталей тоже нет. Но есть статья, посвященная первым версиям Codex'а, которые потом легли в основу Copilot.

Так вот если ее почитать, то окажется, что Codex это просто зафайнтюненная GPT-3. This is literally it. Ну то есть было очевидно, что это какая-то языковая модель, но тут чуваки не меняли архитектуру вообще, и правда просто скормили GPT-3 кучу опенсорсного кода 🤡

В начале статьи авторы делают довольно красивый клейм: 'On HumanEval, a new evaluation set we release to measure functional correctness for synthesizing programs from docstrings, our model solves 28.8% of the problems, while GPT-3 solves 0% and GPT-J solves 11.4%'. Потом авторы делают еще более интересный заход, и говорят, что раз люди тоже не с первого раза пишут работающий код, мы тоже дадим модельке посемплить 100 решений и из них выберем лучшее, тогда она 70.2% решит наших задачек.

Короче это все как-то сильно underwhelming, потому что тюнить модели относительно легко, и в этой статье даже не было никаких эвристик, как заставить архитектуру лучше приспособиться к задаче написания кода, особенно с учетом того, что она может и в код, и в естественный язык, так как умеет писать комментарии и описания функций
Ну и еще некоторые кеки из статьи. В конце авторы отмечают, что поскольку это языковая модель, она выдаст токены с наибольшей вероятностью с условием данного контекста, исходя из того, что она выучила из обучающих данных. Поэтому если вы пишете говнокод, Copilot также будет предлагать вам говнокод и стилизоваться под ваш стиль программирования, даже если он способен был сгенерить 'правильный' и работающий вариант 🤡
Еще авторы пишут, что 'codex can generate code with structure that reflects stereotypes about gender, race, emotion, class, the structure of names, and other characteristics' и в целом извиняются, что нейроночка может нагенерить вам расистские комментарии в коде( Мне почему-то кажется, что это не главная проблема модели, но левая повесточка в STEM такая вот
Генератор оскорблений из работ Мартина Лютера, у меня выпало:

I beg everyone who can to flee from you as from the devil himself.


https://ergofabulous.org/luther/