В свободное время начал шатать LLM'ки на локальном железе. Кажется еще чуть-чуть и пересекутся две кривые: доступность мощных и предобученных моделей для решения широкого круга задач (локально) и дешевое железо для их запуска.

Вот тут писали про использование Phi-4 для FPGA-разработки (там в комментариях еще сгенерённый код двухклокового FIFO). Что примечательно, эта Phi-4 по размеру влезает в стоковый Mac mini M4 за $600 и позволяет все эти же упражнения делать локально.

Сейчас у меня две платформы, чтобы потрогать разные LLM "дёшево и сердито и вмещается в рюкзак с ноутбуком 😅":
▫️Mac mini M4 (16GB 120GB/s)
▫️NUC-подобный х86 со встройкой Radeon 780M (96GB 60GB/s)

У эппла самая большая проблема - фикс размера ОЗУ (притом без 100% предоплаты доступны только базовые версии), но если всё упирается в её пропускную способность или есть возможность задействовать в дополнении к GPU еще и NPU (как в случае с Whisper) - тут конечно в своей ценовой категории мак мини вне конкуренции).

Еще наткнулся на довольно исчерпывающий бенчмарк LLM'ок на широком спектре оборудования. В конце бенчмарка приведено заключение:

▫️Покупайте геймерскую серию от NVIDIA, если хотите сэкономить
▫️Берите серверную версию NVIDIA, если у вас бизнесовые задачи
▫️Возьмите макинтош, если не хотите заморачиваться с обслуживанием и хотите тишины и энергоэффективности (и говорить всем, что у вас мак 😃)

❓Инженеры, а какие LLM и для каких задач вы используете локально на машине: поделитесь в комментариях.

@embedoka

Для меня это столь же мило как и пасхалочки в топологии микросхем 😃

Ну и, конечно, "национальность" патента угадывается с первой картинки, а кому интересны подробности вот фулл:

🗒 Method and apparatus for brain wave inducing system

#пятничное
@embedoka

Интересно при чтении нехудожественных книг сопоставлять те или иные описанные в них явления с собственным опытом либо фактами из окружения.

"Парадокс безработицы" из Теории Игр рационально объясняет почему рыночные законы таковы, что всегда будет присутствовать безработица. Если интересно, то объяснение "на пальцах" быстро нагуглилось. Кому интересно, но лениво читать - можете заглянуть в 1й коммент.

В связи с этим приобретённым знанием, смотрю теперь через новую призму на ситуацию массового переманивания сотрудников (а то и целых команд) на кратно б0льшие деньги одной зелёной организацией у другой организации, которая любит/умеет/практикует нанимать и привозить себе сотрудников из регионов 🤦‍♂️

@embedoka

KiCad 9.0.0 🎉

Если пропустили выпуск нового KiCad, то почитать об изменениях можно на русском и на английском.

Новая фича с изменением номера/индекса итерируемой сущности с помощью колёсика мыши кажется одновременно и очевидной, и офигенной 😃

При позиционировании курсора мыши над именем с номером и/или индексом используйте:

✅ Shift+Alt+Scroll для изменения номера
✅ Ctrl+Alt+Scroll для изменения индекса

@embedoka

Апатьюнити

Разговорился с таксистом на Hongqui E-QM5. Бизнес-модель такая: таксист работает не сам на себя, а на таксопарк за фикс (притом в приложении персональный аккаунт и просит поставить 5 баллов). В таксопарке (по его словам) 400 таких моделей машин (покупка одной тачки обходится ~$16000).

Всё на китайском начиная от приборки и мультимедийки и заканчивая шильдиками. Таксопарк не заморачивался - просто закупил "как есть" напрямую в Китае 🤯

Это я к чему: если кто-то вдруг занимается кряканьем андроидов в тачек, то, кажется, отличная возможность сделать руссификацию/англицизацию UI и вместо того чтобы бегать по рынку искать по одному клиенту - договориться с единственным собственником и бахнуть патч сразу на несколько сот тачек😃

Предыдушие идеи по теме бизнес-возможности:
▫️Деланные пальцем "чипмейкеры"
▫️Хайп на эппл и кастомизации ручным трудом

@embedoka