Сократил формулировки, сохранив вычислительную сложность, пр...

Prompt

Сократил формулировки, сохранив вычислительную сложность, проверку источников и необходимость синтеза. Этот вариант заведомо укладывается в 15 000 символов. # Задача: доказательный аудит локальных открытых LLM Подготовь критический, актуальный и воспроизводимый анализ рынка LLM, которые можно запускать локально на потребительском железе. Это не каталог моделей и не пересказ лидербордов: свяжи архитектуру, качество, память, скорость, квантизацию, лицензии, инструменты и практический опыт в единую систему рекомендаций. Проведи актуальный веб-поиск. В первой строке укажи дату среза `YYYY-MM-DD`. Все слова «сейчас», «актуальный» и «последний» относятся только к этой дате. Не задавай уточняющих вопросов: зафиксируй разумные допущения. ## 0. Границы Определи: - что считается локальным запуском и потребительским железом; - различия между open source, open weights и source-available; - считается ли локальным частичный offload в RAM; - различия base, instruct, chat и reasoning; - total и active parameters у MoE. Не называй модель open-source только из-за доступных весов. Классифицируй лицензии: 1. свободная/OSI-compatible; 2. открытые веса с коммерческим использованием; 3. открытые веса с существенными ограничениями; 4. неясный статус, требующий проверки. Основные профили: CPU с 32 и 64 ГБ RAM; Apple Silicon с 16, 32–36 и 64 ГБ unified memory; NVIDIA с 8, 12, 16 и 24 ГБ VRAM; потребительская AMD с 16–24 ГБ. Multi-GPU и серверное железо вынеси отдельно. # СЛОЙ 1 — КАРТА МОДЕЛЕЙ Проверь минимум 12 актуальных семейств и 20 конкретных checkpoints. Обязательно рассмотри Llama, Qwen, Mistral/Mixtral, Gemma, DeepSeek, Phi, Command R, Falcon, Yi, GLM, Granite и OLMo. Добавь более значимые новые семейства. Если указанное семейство устарело, объясни почему. Для каждого checkpoint установи: - точное название, разработчика и дату релиза; - dense/MoE, base/instruct/reasoning; - total и active parameters; - layers, hidden size, attention/KV heads, GQA/MQA/MHA; - заявленный и независимо подтверждённый контекст; - языки и специализацию; - формат исходных весов; - лицензию, коммерческое использование и ограничения; - совместимость с локальными движками; - подтверждённые преимущества и недостатки. Каждая строка итоговой таблицы должна относиться к конкретному checkpoint и содержать первичный источник, дату проверки, уверенность и риск устаревания. Докажи, что выбранная версия действительно последняя: проверь официальный сайт, репозиторий, организацию на Hugging Face, model card и возможные preview/successor-релизы. Покажи расхождения источников. # СЛОЙ 2 — ПАМЯТЬ И КВАНТИЗАЦИЯ Для основных моделей оцени полную память: `M_total = weights + KV-cache + runtime + buffers + OS/headroom` Не приравнивай размер файла к требуемой памяти. Покажи отдельно веса, KV-cache, overhead, запас памяти, GPU offload, batch size и влияние Flash Attention. Рассчитай память при 4K, 8K, 32K, 64K и, если заявлено, 128K контекста для batch=1 и одного запроса. Если данных архитектуры не хватает, используй диапазон и раскрой допущения. Различай: - полностью помещается в VRAM; - работает с offload; - технически запускается, но слишком медленно; - требует сокращения контекста или KV-cache quantization; - комфортно работает интерактивно. Сравни GGUF Q2–Q8 с актуальными подтипами, GPTQ, AWQ, EXL2, NF4/INT8, FP8, KV-cache quantization и MLX. Для каждого укажи backend, поддержку CPU/CUDA/ROCm/Metal, экономию памяти, скорость, потерю качества, необходимость calibration и риск плохих community quants. Отдельно исследуй влияние квантизации на: - coding и reasoning; - русский и multilingual; - structured output/tool calling; - длинный контекст; - редкие знания и точность чисел. Не переноси результаты одной архитектуры на все модели. Построй матрицу: `checkpoint → quant → размер весов → память при 4K/32K → максимальный практичный контекст → подходящее железо → полный GPU/offload → интерактивность`. # СЛОЙ 3 — КАЧЕСТВО И БЕНЧМАРКИ Используй тесты general knowledge, reasoning, mathematics, coding, instruction following, multilingual/русский, long context, factuality, tool calling и structured output. Для каждого важного benchmark объясни: - что он измеряет и не измеряет; - риск contamination; - используется ли LLM-as-a-judge; - совпадают ли prompt template, sampling и evaluation harness; - относится ли результат к base/instruct/reasoning; - применялся ли chain of thought; - учитывается ли цена дополнительных reasoning tokens. Не объединяй несопоставимые результаты в единый рейтинг. Выбери минимум 8 заявлений разработчиков: например, «превосходит X», «работает на 128K», «лучше для coding». Для каждого дай: 1. точное заявление и источник; 2. методику; 3. независимое подтверждение; 4. ограничение или опровержение; 5. вердикт: подтверждено / частично / не подтверждено / данных недостаточно. # СЛОЙ 4 — ПОЛЕВОЙ ОПЫТ Изучи свежие обсуждения Reddit r/LocalLLaMA, GitHub Issues/Discussions и форумов инструментов. Для практических выводов укажи период, число независимых обсуждений, известные конфигурации, версии модели, quant и backend. Различай: - воспроизводимый отчёт; - повторяющийся консенсус; - единичное мнение; - непроверяемое утверждение. Учитывай selection bias. Не выдавай популярный комментарий за консенсус. Создай карту минимум из 10 расхождений: | Модель | Официальное/benchmark-ожидание | Полевой опыт | Причина | Уверенность | Включи случаи: 1. высокий benchmark, слабая практика; 2. средний benchmark, сильная практика; 3. хорошая модель, испорченная quant; 4. хорошее качество, но непрактичная скорость/память. Проверь альтернативные причины: chat template, sampling, backend bug, context overflow, неправильный system prompt или неактивированный reasoning mode. # СЛОЙ 5 — РЕАЛЬНАЯ СКОРОСТЬ Собери свежие измерения prompt processing, generation speed, TTFT, tokens/s и загрузки модели. Для каждого измерения укажи модель, quant, длину входа и контекста, batch, железо, ОС, backend/версию, offload, Flash Attention, дату и источник. Не сравнивай значения при разных условиях без нормализации. Для основных сценариев оцени: - диапазон tokens/s и неопределённость; - узкое место: compute, bandwidth, PCIe, RAM или backend; - разницу полного GPU и offload; - влияние длинного контекста. Выполни минимум три sanity checks: - согласуется ли размер файла с параметрами и битностью; - физически ли возможна скорость при данной bandwidth; - помещаются ли веса, KV-cache и overhead одновременно. Подозрительные результаты исключи или пометь. # СЛОЙ 6 — ИНСТРУМЕНТЫ Сравни llama.cpp, Ollama, LM Studio, vLLM, text-generation-webui, KoboldCpp, MLX-LM, ExLlamaV2 и актуальные альтернативы. Проверь: - дату последнего существенного обновления; - активность разработки и лицензию; - форматы и CPU/CUDA/ROCm/Metal; - Windows/macOS/Linux; - continuous batching, speculative decoding, prompt caching, paged attention; - structured output, tool calling и OpenAI-compatible API; - multimodal; - простоту, приватность и известные проблемы. Не смешивай интерфейс и inference engine: покажи, какой backend используется внутри. Создай матрицу совместимости и дерево выбора. Экспериментальные функции помечай отдельно. # СЛОЙ 7 — ИСТОЧНИКИ Используй минимум четыре класса источников: 1. официальные model cards, репозитории, лицензии и papers; 2. документацию движков; 3. независимые benchmarks и исследования; 4. пользовательские отчёты. Приоритет для спорных утверждений: первичный технический источник → воспроизводимый независимый тест → несколько согласующихся отчётов → повторяющийся опыт → единичное мнение. Официальные источники приоритетны для архитектуры и лицензии, но не автоматически для качества. Каждое числовое утверждение — дата, параметры, контекст, память, размер файла, tokens/s, benchmark score или версия — снабди ссылкой рядом и пометкой свежести. Для источника укажи дату публикации и доступа. Не цитируй поисковую выдачу, SEO-пересказы и таблицы без методологии. При противоречии: 1. приведи обе версии; 2. установи первичные источники; 3. объясни вероятную причину; 4. выбери осторожный диапазон; 5. снизь уверенность. # СЛОЙ 8 — РЕКОМЕНДАЦИИ Выбери модели для: 1. общих задач на 8 и 12 ГБ; 2. coding на 16 и 24 ГБ; 3. reasoning на 16 и 24 ГБ; 4. русского и английского на 12–16 ГБ; 5. длинных документов на 24 ГБ; 6. CPU-only с 32 и 64 ГБ; 7. Mac с 16, 32–36 и 64 ГБ; 8. локального API; 9. приватного RAG; 10. tool calling/structured output; 11. максимального качества на одном потребительском компьютере. Для каждого сценария дай точный checkpoint, quant, backend, практичный контекст, память, скорость, потерю качества, альтернативу, ограничение, уверенность и условие смены победителя. Не называй победителем модель, которая лишь загружается, но не работает комфортно. Построй Pareto frontier по качеству, скорости, памяти и удобству. Дополнительно учти лицензию, русский, coding, reasoning и контекст. Покажи явно доминируемые модели. Проведи sensitivity analysis: изменится ли выбор при Q4→Q5, 32K→8K, допустимом offload, приоритете скорости, русского, коммерческого использования, строго свободной лицензии и Apple Silicon вместо NVIDIA. # СЛОЙ 9 — RED TEAM Найди минимум пять слабых мест собственного ответа: несопоставимые тесты, неясная лицензия, неподтверждённый контекст, сомнительная скорость, extrapolation с другого железа, малая выборка или неизвестный quant. Для каждого укажи: - что может быть ошибочно; - влияние на вывод; - способ проверки; - изменится ли рекомендация. Сформулируй сильнейший аргумент против каждой из пяти главных рекомендаций. # СТРУКТУРА ОТВЕТА 1. Дата среза и краткий вердикт. 2. Определения и методология. 3. Карта моделей и лицензий. 4. Память и квантизация. 5. Качество и критика benchmarks. 6. Полевой опыт и карта расхождений. 7. Скорость и sanity checks. 8. Инструменты. 9. Матрица `железо → модель → quant → backend`. 10. Рекомендации и Pareto frontier. 11. Sensitivity analysis. 12. Red-team. 13. Три структурных вывода. 14. Пробелы в данных. 15. Что устареет первым. 16. Evidence ledger. В Evidence ledger включи минимум 25 ключевых утверждений: | ID | Утверждение | Источник | Дата | Дата доступа | Тип | Уверенность | Риск устаревания | В основном тексте ссылайся на ID. В конце ранжируй минимум 10 элементов по горизонту устаревания: дни, недели, месяцы, относительно стабильно. Назови события, способные изменить рекомендации: новые модели/quants, обновления backend, изменение лицензии, независимые тесты и новое железо. Если данные отсутствуют, укажи, что проверено, почему ответа нет и какое осторожное заключение допустимо. Главный критерий: читатель должен суметь проверить расчёты, воспроизвести конфигурацию и отличить факт от оценки и экспертного суждения.