7900xtx 本地跑Qwen 27B模型的一些参数

Tristan · June 13, 2026, 1:51pm

目前来说，模型本身用q5，kv缓存用了一篇文章里面测试的结果，上下文到128K，通过了压力测试。相关讨论。

llama-server \
    -m ./models/Qwen3.6-27B-Uncensored-HauhauCS-Balanced-MTP-Q5_K_P.gguf \
    --mmproj ./models/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf \
    -c 131072 \
    --parallel 1 \
    -b 2048 \
    -ub 512 \
    -fa 1 \
    -ngl 99 \
    -t 16 \
    --spec-type draft-mtp \
    --cache-type-k q5_0 \
    --cache-type-v q4_1 \
    --no-mmap \
    --temp 0.4 \
    --spec-draft-n-max 3 \
    --top-p 0.95 \
    --top-k 20 \
    --host 0.0.0.0 \
    --port 8080 \
    --tools all

token速度50左右，看占用上下文多少，扯淡够用，输出代码感觉更快点就好了…

Tristan · August 16, 2026, 10:25am

qwen 3.8 27B出来后的参数，都差不多。

cd /home/tristan

/opt/llama.cpp/b10451/llama-b10451/llama-server \
  -m ./models/Qwen3.8-27B-Q5_K_M.gguf \
  --mmproj ./models/mmproj-F16.gguf \
  --ctx-size 131072 \
  --parallel 1 \
  --device Vulkan0 \
  --gpu-layers all \
  --flash-attn on \
  --threads 16 \
  --batch-size 2048 \
  --ubatch-size 512 \
  --cache-type-k q8_0 \
  --cache-type-v q5_0 \
  --fit off \
  --load-mode none \
  --warmup \
  --spec-type draft-mtp \
  --spec-draft-ngl all \
  --spec-draft-n-max 2 \
  --spec-draft-p-min 0.1 \
  --spec-draft-type-k q8_0 \
  --spec-draft-type-v q8_0 \
  --temperature 0.4 \
  --top-p 0.95 \
  --top-k 20 \
  --min-p 0 \
  --presence-penalty 0 \
  --repeat-penalty 1 \
  --reasoning on \
  --reasoning-effort high \
  --reasoning-preserve \
  --image-min-tokens 1024 \
  --cache-ram 32768 \
  --host 0.0.0.0 \
  --port 8080 \
  --metrics \
  --log-timestamps

对于7900xtx，运行后，显存占用情况