Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча

Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!

Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.

В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).

Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.

Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).

Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?

А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.

За последние 7 недель мы вместе с Каримом @karim_iskakov построили и запустили iOS приложение для автомонтажа коротких видео.

Как меня занесло в эту тему?
Карим является членом deYC, ко-фаундером Avatarify (13m+ users), работал в Samsung AI, имеет публикации про ИИ, и у него есть бот, который он с друзьями построил в 2021 году для автомонтажа видео.

С начала этого года бот стал вируситься и получил продакт-маркет фит (в следующем посте расскажу как мы это поняли)

На встрече в Москве Карим озвучил мысль, что он хотел бы когда-нибудь перенеси этот бот в мобильное приложение, ведь приложение может решать ту же проблему что и бот, но в 2 раза лучше.

Что услышал я?
Человек с невероятным опытом и готовым PMF ищет человека кто заэкзикьютит прилу. Примерно через 12 часов после встречи я написал Кариму, что нам срочно надо построить это приложение :)

Мы встретились, пожали руки, я стал CEO и руковожу продуктом и рекламой (но уже тоже начал разбираться в Swift и два моих PR уже в проде), а Карим CTO и предоставил алгоритм монтажа, аудиторию в 50к пользователей бота из России, а также лидит алгоритмическую часть монтажа и ресерча для AI эдитинга.

На следующий день после встречи мы разместили вакансию, через 2 дня наняли шикарного iOS разработчика ex core Prisma (Lensa), через 4 недели зарелизили бету.

И вот спустя 3 недели после беты можно сказать что первая продакшен-реди версия в бою :)

Встречайте Cutly - https://apps.apple.com/gb/app/reel-maker-short-video-cutly/id6477783184

Превратите свой пет-проект из хобби в карьеру

Написал свой долгожданный пост на ХАБР, где рассказал как делать достойные пет-проекты, который помогут вам быстро развиваться!

Затронул очень много тем:
🛠 о том как быстро набирать навыки и стоп флажках в обучении
🏆 какие пет-проекты успешные и почему они станут вашим будущим стартапом
🚀 какие есть этапы в пет-проектах и почему вам нужны пользователи
💪 как не потерять мотивацию
🔍 и оформить это в резюме!

ЧИТАТЬ ПО ССЫЛКЕ

Отдать голос за канал
https://t.me/boost/persecond300k

#EDUCATION