🚀 ИИ чат-бот для малого бизнеса.
🔍 Gemma 2B - 10M Context
Наткнулся недавно на интересную вещь:
https://github.com/mustafaaljadery/gemma-2B-10M
Gemma 2B с рекуррентным локальным вниманием и контекстом длиной до 10 миллионов. Реализация использует менее 32 ГБ памяти!
Особенности:
Так как ИИ вполную не занимался, многое, что тут написано, я и сам не понимаю. Самое главное, что запустить можно на 32 гб ( надеюсь речь про RAM)!
Подумываю взять эту вещь и обучить её сортиментам товаров, включить информацию о доставке, сроках и все остальное, что интересует клиентов.
И испытать, как она будет помогать операторам находить быстро ответы, или даже отвечать людям... Хотя рассматриваю ИИ я как помощника людям, а не замену им. 😊
Подпишу хештегом на будущее если все-таки займусь этим. Свободного времени и так нету, а все задачи должны быть выполнены вчера =)
#experiment_AI_operator
🔍 Gemma 2B - 10M Context
Наткнулся недавно на интересную вещь:
https://github.com/mustafaaljadery/gemma-2B-10M
Gemma 2B с рекуррентным локальным вниманием и контекстом длиной до 10 миллионов. Реализация использует менее 32 ГБ памяти!
Особенности:
Длина последовательности до 10 миллионов на Gemma 2B.
Запускается на менее чем 32 ГБ памяти.
Оптимизирована для нативного вывода на CUDA.
Рекуррентное локальное внимание для потребления O(N) памяти.
Так как ИИ вполную не занимался, многое, что тут написано, я и сам не понимаю. Самое главное, что запустить можно на 32 гб ( надеюсь речь про RAM)!
Подумываю взять эту вещь и обучить её сортиментам товаров, включить информацию о доставке, сроках и все остальное, что интересует клиентов.
И испытать, как она будет помогать операторам находить быстро ответы, или даже отвечать людям... Хотя рассматриваю ИИ я как помощника людям, а не замену им. 😊
Подпишу хештегом на будущее если все-таки займусь этим. Свободного времени и так нету, а все задачи должны быть выполнены вчера =)
#experiment_AI_operator