Да, кстати, оч хотелось бы услышать, как вы видите реально живую и нормальную модель ИИ в контексте нашей страны, потому что при нормальных идеях можно попробовать сделать, причем без рофлов.

Что касается планов:
350М, он же rAI Spark - ну это тоже ближе к демке, я знаю куда я запихну его работать, но для рабочих задач понятное дело, что это фуфло.

Насколько я тыкал/слышал/читал, ГигаЧат и Алиса сдохли где то на технологиях 3-5 лет, и если от Сбера ещё чёт слышно по релизам, тот же ГигаКод вроде, то от Алисы..ну вроде ребрендинг был, в остальном это хрен его знает чё такое вообще.

В идеале, для сообщества, я бы попробовал сделать что то прикольное, особенно учитывая что первый Петафлоп мощности у меня приедет в конце Июля.

Кароче тащите сюда корешей, друзей, людей с улицы, будем делать что то, за что не стыдно.


Кстати да, вайбкодинг и в целом любой кодинг агентами я люблю, уважаю, и заставлю вас это терпеть, потому что пока что я один и задач у меня херова гора, так что терпите сладенькие.

Кароче, вот под этим сообщением, пишите любую херню, которую хотите видеть, хоть отсутствие цензуры(нет, я не дам вам генеририть фурри порно или криппипасты с расчлененкой), хоть tools, reasoning, хоть аналог Gemma.

По сути, щас самый главный затык - это датасеты, потому что я вот вообще не знаю, что откуда и как это брать, кроме как качать их с hf.

НО:
Качественных ру датасетов там не то, чтобы много, я примерно считал, на 3B модель, только русский язык, там впритык. Возможно, плохо считал, но поправьте.

Вот тут реально помощь нужна.

Кароч я теперь нерукопожатный, у меня канал в Максе про ИИ

Ебать, оно разговаривает

Даже с запятыми все не плохо

Если что, это нормально, что она несет бессвязный бред, это этап пре-тренинга, она сейчас читает и учит огромный датасет из статей, реклам и всего такого.

Уже на пост-тренинге моделька начнет писать литературным языком, и научится именно чатится, сейчас это скорее учат младенца языку просто.

Остечка по актуальности: май 2024. Потом закину актуальные данные.
Контекстное окно: 8к токенов

Если дать ей Достоевского, модель зарубит бабку за долги или впадет в депрессию? Хмммм....

Начальство сказало, что завтра нужен аналог дипсик.

Штош.....

Итак, этап пре-тренинга завершён, на удивление, модель очень уверенно шпарит по русски, но абсолютно бессмысленно, это нормально.

Давайте чут чут упрощу и поясню, чего вообще случилось.

Смотрите, когда модель только написана и собрана, по сути, это штука умеет просто генерировать шум. Абсолютно рандомный вывод символов.

Сама модель состоит из токенизатора(типо словарика со словами, но слова не подписаны - она не знает, что они означают)
И слоев - по сути мозги.

Пре-тренинг - в моем случае, я взял просто датасет из кучи русского текста, чтобы модель:
- Начала заполнять словарик
- Узнала как строить предложения

По сути у нее был огромный диктант, где диктующий иногда пропускал слова и предлагал модели найти наиболее релеватное слово.
Модель угадывала, и чем ближе к правильному ответу, тем сильнее ее гладили по голове.

Так она +- догнала как говорить по русски.

Но, итог пре-тренинга, по сути, как младенец Господа, он говорить умеет, но вложить смысл в слова не может.

Теперь про пост-тренинг.

Пост-тренинг - мы научим ее вкладывать в свои слова смысл.

В русском языке эталон смысла - русская классическая литература. Вот её и возьмем, данных немного, но нам много и не надо, все таки она не с 0 учится, мы дообучаем ее.

Второй этап пост-тренинга - чатинг.
Все привыкли к вопросно-ответной форме диалога, но модель не сильно одупляет, зачем вы вообще что то на вход ей пишете, она была бы счастлива генерировать хуйню бесконечно - почти как героиновый наркоман, которому наркоту впрыскивают в вену через автомобильную форсунку, так что загоним ее в рамки диалога.

Научим ее чатится, поглядим как оно будет работать - если все пойдет тип-топ, получится годно.

Возымел я некоторый проеб:

Я тут обозвал литературу пост-тренингом и допустил ошибку - по факту, это все ещё пре-тренинг, я просто даю модели правильную стилистику диалога.

Проеб небольшой, такой pre-тренинг дороже, но он лучше в плане качества.

Че буду делать:
SFT - Я возьму и смешаю датасеты: 70% - обучение модели вести диалог, 30% - та же литература.

Зачем?
А чтобы модель научилась чатингу. Вопрос-ответ будут работать и можно будет начать первое ЗБТ, оно же закрытое бета тестирование.
Про него расскажу, как модель будет готова.

Но, это не конец ее обучения.

После SFT - пойдет DPO. По сути, это практика, там с моделью будет общаться другая модель, и смотреть, насколько правильно отвечает моя модель.

Просто есть нюанс, после SFT модель будет отвечать, но если что то знать не будет - начнет пиздеть и галлюцинировать, а мы этого не хотим и оно нам не надо воооот.

Такие дела

У таймвеба клюнуло облако после начала ддос, сервак в отрубе, впн пропал, пришлось костылить.

Задумался поэтому о том, что даже для августовского ЗБТ придется строить инфраструктуру, которая сейчас в зачаточном состоянии, эх

Накодил платформу и доволен

Неожиданное нечто. Модель в данный момент учится на карточке RTX 5090, которая была куплена за 658к.

И у нее от нагрузки началось расплавление Коннектора доп питания.

Кто нибудь знает, чё с этим делать? Даунвольтить?

Ладушки, что у нас по итогам:

- Завтра совещание, где НИОКР с моделями либо свернут, либо дадут зелёный свет

- Серверу с гпу походу кранты и починю я его только завтра

- Появились проблемы с помещением лаборатории, но решаемые

Че делал:
- Выжрал лимиты Opencode go за 3 часа, GLM 5.2 чертовски хорош, снимает с меня львиную долю задач

- Проработал архитектуру веб-платформы, довел ее до состояния, чтобы держать 100 человек и нагрузку в миллиард токенов. Звучит смешно, а если толпа побежит грузить свои документы, а рискую ахуеть и просто расплавить серверную, либо словить кз на линии

- Походу придется крутить и мутить свои библиотеки поверх Торча, потому что писать все на нем это прям пиздец как дорого по времени. Либы тоже дорого, но это оптимизация к большим моделям

- Демо-конфиги готовы, 7B и 10B литые, в папке с экспериментальными образцами лежит MoE, судя по тестам архитектура даже стабильна, 8 агентов с запуском 2. Посмотрим как оно будет жить, возможно кодер модели собирать будем как раз на MoE.

- Касаемо платформы: скорее всего добавим RLM, но уже осенью, потому что мощности под работу интерпретатора пока нет.

- Отдельно сел писать протокол передачи данных между своей сборной солянкой из техники, которая приедет.

- Макось унижена, мак ультра будет работать чисто на обработку RAG. Да, это самое эффективное применение этой херне.

Ну шо товарищи, пара часов и альфа прототипа, который В ТЕОРИИ должен уметь отвечать осмысленно будет готова

О, 100 паписчиков... по моему у нас уже это было....\

На первом чекпоинте попробуем пример генерации, там уже что то куда то ехать должно