Эксперты из каментов, объясните, как можно адекватно определить степень отупевания квантованной модели в сравнении с моделью с оригинальными весами?

> perplexity - ну окей, стал он выше на пару процентов
> mmlu - ну окей, набрал квантованный нейрошляпогенератор чуточку меньше балов

Как интерпретировать эти данные корректно? Как в итоге на практике понять реальную степень одебиления? Вариант — потыкать руками 5 минут и прийти к выводу, что "она тупая" не подходит.

Помогите выкупить, я не выкупаю.

Я понимаю, когда у нас есть условно говоря 10 моделей от разных дилеров и нам надо выбрать лучшую. Прогнали их все через бенчмарк — выбрали ту, что набрала больше всего баллов, изи.

А вот методика проверки квантованных моделей чето пока далека от меня.

P.S.
Единственный вывод, к которому я пришел, цитирую:

Даже я как подпивасник и то понимаю, что такие способы оценки потерь интеллекта модели в зависимости от сжатия, какая-то полная шляпа. Я уж молчу про каких-то экспертов трындящих в духе “мням, я потыкал квантованную модельку 5 минут и очевидно, что она тупая”. Да ёпта, очевидно, что ты тупой, мало ли что тебе очевидно. Вот у нас то, в отличии от таких экспертов хотя бы есть циферки на руках.

Короче, у нас за более чем десятилетнюю карьеру клоунов в интернете сохранилось примерно сотня сценариев с ютуба, а так же больше тысячи рекламных постов в телеге.

Эксперты в каментах, ставлю вам амбициозную задачу — спрогнозировать, че будет, если мы возьмем какую-нибудь тупую модельку и сделаем на ее основе цифровой слепок сознания ехтримсоде. Ведь всегда приятно поболтать с кем-то таким же умным как ты.

Че как лучше к решению задачки подойти, какую модельку брать за базовую, как подготовить данные (тупо простыню текста скидывать или мутить чето типа [инструкция -> вывод])?

Я заколебался писать рекламу руками, хочу чтобы за меня делал это нейроехтримкод. А обычные модели не могут в достаточной степени подражать нашему стилю писанины.

Да ёпта, это ж гениально. Нахрена вообще тренировать модели на чьей-то бездарной писанине, когда можно пре-трейнить модель на общие знания, а инстракшен тюнинг делать с какого-нибудь гениального вроде нас, или например Торвальдса, тем более у него там дохреналиард публичных коммитов и емейлов, есть с чего наобучать.

Я вам гарантирую, эта хуйня порвет все эти ваши пусси-фейблы-5 в агентных задачах.

ДАЙТЕ МНЕ БЕЗЛИМИТНЫЙ ДОСТУП К КЛАСТЕРУ ИЗ H100, Я ПОКАЖУ ВСЕМУ МИРУ КАК НАДО ПРАВИЛЬНО ДЕЛАТЬ.

В последнее время, в этих ваших интернетах, только и разговоров о том, что пузырь, раздутый ИИ, вот-вот лопнет, осталось совсем чуть-чуть и все сложится как карточный домик.

В этом видео я вскрою неудобные нюансы, которые обломают надежды миллионов хомячков на схлопывание целого сектора АйТи. Используя собственную ЖЕЛЕЗНУЮ фин. модель. Так же взглянем на все это через призму "Иллюзии понимания" и хитрых аналитических приемов от одного вумного Ливанского деда.

> Смотреть платно и с регистрацией
Видео временно эксклюзивно только для подписчиков Boosty

P.S.
Предвосхищая вопросы, нет, не все видео теперь будут "временно эксклюзивными", только коротенькие в старом формате. Огроменные видосы, вроде того, что сейчас пилится про локальных нейроогрызков будут выходить все также на YouTube. Просто их производство занимает примерно в 24-32 раза больше времени.

Короче, закинул свой сценарий в искусственного идиота, чтобы тот откритиковал и прожарил его.

Все, пздц, придется вырезать 40% всего текста с тупорылыми шутейками(((99

А ChatGPT вообще оскорбился с десятков остроумных прозвищ

Из-за того что я красноглазик, я не высыпаюсь. Особенно если на ночь гоняю литкод. Могу до 3-ёх ночи в чертогах разума байтики двигать вместо того чтобы плющить кукурузку. Фитнес-часы показывают удручающий уровень глубокого сна. Естественно на следующий день я просыпаюсь как вафля. Пробовал хавать мелатанин - нерабочее фуфлище. И тут я узнал Deep Pressure Stimulation, это когда одеялко на тебя правильно давит, что ты отключаешься с полупинка. Это если чё не псевдонаучная дичь уровня "правильно какать надо закинув ноги за шею" (исследования Ekholm 2020, Frontiers Psychiatry 2024).

Попробовал утяжелённое одеяло Beauty Sleep (см. фото). И ляяяяяя, сначала подумал, что свет отключили, а оказалось я уже сплю. Айтишники, хотите спать? Есть два веса: 6 кг и 9 кг — подбирается под предпочтения и телосложение. В нем 11 слоев с микро-стеклянными гранулами, поэтому вес распределен равномерно, когда гранулы выстроились в рядочек и обнимают тебя своими маленькими микростеклянными ручками.

В этом году Beauty Sleep празднует юбилей — им целых 10 лет! Бренд за такой внушительный срок зарекомендовал себя. А к юбилею бренд решил нас радовать, мой промокод ЭКСТРИМ будет давать на сайте самую большую скидку 15% на весь ассортимент.

Знаете, постоянно наблюдаю клоунов, которые вываливают как готовый контент - нейрослоп, а после того как им в каментах накидывают хейта, ОНИ НАЧИНАЮТСЯ РВАТЬСЯ. Типа "ой бля, ну ладно, ну это эксперимент был, буду делать раньше как вы хотите, по старому блять((99(".

Чел, от тебя ждут, что ты будешь делать как раньше, лол. Если тебя спаслили на нейрослопе, то признайся. Чё ты жопой то крутишь?

ахахаха, спасибо пайпалу, за невероятные усилия по обслуживанию моего замороженного счета