🌍 Скачиваем весь интернет на ваш планшет и телефон

Год назад я рассказывал вам про опыт работы с локальной LLM на ноутбуке. Тогда она мне очень хорошо заменила доступ к документации на время отсутствия интернета.

Сейчас ноутбук брать с собой совершенно не хотелось, поэтому в этот раз будем издеваться над бедолагой iPad mini и запускать на нем квантованные модели.

Есть несколько приложений для общения с LLM на iOS. Мне больше всего понравился PocketPal (на android тоже есть). Приложение интуитивно понятное, сразу предлагает скачать модели, которые подойдут к характеристикам устройства. Я выбрал Llama 3.2 3b Q6, дождался загрузки и пошел в чат

Первый запрос на русском и... Совет посетить в Сеуле "музей Ким Чен-иня" aka "Музей Кимчи" и позавтракать в 19 вечера. Как видно, модель неожиданно настолько хороша, что может и в мои любимые каламбуры, и прочувствовать джетлаг))

В целом, я ожидал, что квантизация не даётся бесплатно, и модели начинают терять в качестве, но даже не думал, что настолько

Однако, все встает на места, когда вы переходите на английский. На этот раз, субъективно, ответ ничем не хуже, чем привычный от ChatGPT: локации написаны правильно, а также наблюдается устойчивость к смене часовых поясов))

На что ещё стоит обратить внимание, когда вы запускаете модель на телефоне/планшете:
🔵Перегрев устройства - в какой-то момент планшет стало некомфортно держать, не забывайте периодически дать ему отдохнуть
🔵Расход батареи. Если вы привыкли смотреть на расход токенов, то теперь приготовьтесь перестроиться - на каждый запрос у меня уходило 2% батареи

Все еще необычно воспринимаю тот факт, что в 2.5 Гб умещается столько информации, чтобы удовлетворить свое любопытство по разным темам, не имея под рукой интернета

Upd.: В комментариях рекомендуют использовать Gemma 3 с официальной поддержкой русского - проверил, даже квантованная версия работает хорошо