Устройства для автономного инференса.
Prompt
Хочу себе компактное устрйство для автономного инференса LLM, так сказать на "чёрный день" или "для ядерной зимы". Я пробовал запускать некоторые модели на своём ноутбуке с core i7-13620H, без GPU, RAM DDR4-32Гб модели с весами до 25 гигабайт вполне себе сносно проворачиваются типа qwen 3,5-27B-A3. По способностям она не идеальна, но уже может приносить пользу. Пробовал запускать маленькие модельки на своём смартфоне Readmi Note10Pro на нём 8Гб RAM, Gema3 1B-8q, работает быстро, по скорости ответа очень комфортно, но она очень глупая, слишком много фантазий в таком урезанном размере. Bonsai 8b квантизированная веса модели всего 1,16ГБ, поумнее, с рассуждениями заметно медленнее, но уровень интелекта в таком виде тоже далек от совершенства. Qwen3.8.-4B-Q6_K, веса модели 3,56ГБ, качество ответов примерно такое же как у предыдущего испытуемого (Bonsai8B). Это был скажем так мой опыт автономного запуска относительно которого я могу что-то сравнивать. Я инженер с Высшим техническим образованием, более 10 лет работаю системным администратором. Первое базовое образование я получил На физическом факультете НГПУ, мне нужны универсальные модели не глупее меня, для решения повседневных задач и проблем связанных с выживанием в условиях постапокалипсиса, или иных условиях вынужденной автономии небольшой группы людей. При этом устройство должно быть энергоэффективным. пусть и не очень быстрым. Формат смартфона, мини PC, ноутбука вполне сгодится. Возможно есть какие-то решения на ARM архитектуре. Я хочу подстраховаться за ранее, но при этом я не хочу переплачивать за устройство которое скорее всего не пригодится. Какие есть оптимальные решения в диапазонах до 500$ и 1000$. Желательно чтобы веса моделей можно было подгружать из внешних носителей информации, а не только те которые будут на устройстве. Ни как с приложееием PockrtPal для смартфона. Т.е. Чтобы из заранее заготовленного архива весов я мог загружать другие модели и делиться с другими устройствами уже имеющимися весами, например на случай утраты доступа к большому архиву.
