примерно такой экспириенс мы получаем на железе за 1500$, это уже юзабельно для большинства задач

можно и дешевле RTX 2080TI 22gb за 500$ способна предоставить похожий перформенс, но это не все - люди кастомят её под свое железо выжимая скорость от 200 до 1000 ток/с при параллельности в 16 агентов ( 1000/16=62,5 на одного), на 8 видяхах. что уже даже очень юзабельно для какой-то команды

💀

https://gputable.dev/ агрегатор цен на гпу, 35+ провайдеров
можно ловить очень сладкие цны

например RTX 6000 PRO за 74 цента, вместо 2 баксов, ондеманд (что значит вас не может выбить), или спот с которого вас может выкинуть, но это чертовски дешево

или H200 у которой средний прайс по рынку - $4.59/ч, можно взять за $1.00 /ч (но вас может выбить), или за $2.63/ч но выбить вас не сможет, потому-что он деманд

если хорошо хантить такие скидки, экономика тут ломается ой как сильно в сторону оренды

он кстати запускается и на 3090, 4090, 5090, но тут вопрос в том сколько контекстного окна и скорости вы можете себе позволить, на 3090 и 4090 это около 4000 токенов чего маловато, вот на 5090 уже ближе к 100к, на А100 - полные 262к + запас чтобы она работала быстро

само по себе удивительно что модель этого класа на столько доступная