топ 3 тула, для старта и ознакомления

https://huggingface.co/ - самый большой хаб, где хранят все доступные открытые модели и их веса, которые можно просто скачать

https://github.com/ - уже нам привычный гитхаб, огромная куча софта вокруг локального ии (и не только)

https://local.ai/ - сайт моего знакомого 0xSero который просто помешан на локальных моделях, методах их сжатия и так далее, на этом сайте легко можно глянуть как модели ведут себя на определенном железе, и что там вообще можно запустить, пока пара карт/боксов, но уже полезно

облачный инференс
прежде чем покупать железо, сначала стоит поиграться с локал моделями на оренде

https://www.runpod.io/ - фронтир провайдер облачных гпу, удобный, надежный, цена адектваная (средняя) по духу ближе к AWS

https://vast.ai/ - это по духу ближе к маркетплейсу, индивиды или некие овнеры серверов выкладывают свое железо в аренду, вы покупаете прайс плавает - можно ловить очень выгодные цены, но больше возни с конектом

https://modal.com/ - интересный кандидат, потому-что он вам дает не просто видяху и вы платите за час использования, а дает вам серверлесс апи, и видяха просыпаеться чтобы обработать запрос, в некоторых кейсах оно выгодно, но основной интерес тут в том что их бесплатный план, дает нам $30 / month бесплатно, каждый месяц на их сервис. для халявных тестов топ

https://www.digitalocean.com/products/gpu-droplets - легендарный дигитал оушн, теперь хостит и видяхи, надежность на высоте (прайс тоже), тут интересно забрать 200 доларов фри кредитов на 60 дней поиграться, но чтобы получить возможность тратить их на Gpu Droplets -> нужно заполнить акету, написать что вы молодая ллм/мл лабаратория, сделать себе лендосик и почты на домен

https://www.kaggle.com/ - богом забытая платформа гугла, дают старое железо гпу, и свое новое тпу бесплатно, каждый месяц - еквивалентом в доларов 300

дальше поговорим про именно домашнее топ железо, там правда история довольно печальная

примерно такой экспириенс мы получаем на железе за 1500$, это уже юзабельно для большинства задач

можно и дешевле RTX 2080TI 22gb за 500$ способна предоставить похожий перформенс, но это не все - люди кастомят её под свое железо выжимая скорость от 200 до 1000 ток/с при параллельности в 16 агентов ( 1000/16=62,5 на одного), на 8 видяхах. что уже даже очень юзабельно для какой-то команды

💀

https://gputable.dev/ агрегатор цен на гпу, 35+ провайдеров
можно ловить очень сладкие цны