- [2026/11] 新增flash-comm部署说明(prefill SP MoE + 共享专家EPLB共置,见3.2节);
split_weights_glm5.py切分时自动输出共享专家文件,新增旧目录补齐脚本add_shared_expert_glm5.py。 - [2026/10] 新增GLM-5.3部署指南(权重预处理、配置、启动);新增多级KV缓存(HiCache)与mooncake L3后端部署说明、mooncake/store部署角色。
- [2026/09] 更新部署文档:新增多实例部署、分离tokenizer的PD分离部署方式及相关环境变量说明。
- [2026/05] 本版本基于SGLang官方v0.5.11版本进行优化适配。
SGLang鲲鹏优化版本是基于开源高性能推理框架SGLang与鲲鹏平台推出的DeepSeek V3模型服务化部署参考实现。该实现充分发挥鲲鹏处理器的众核并行与大带宽互联特性,结合SGLang的KV缓存管理机制、PD分离架构与高效并发调度能力,为鲲鹏生态用户提供低时延、高吞吐的请求处理能力。
- 运行平台
- 鲲鹏 920 专业版
- 系统规格
- openEuler 22.03(LTS-SP4)AArch64
在正式安装SGLang相关组件之前,需先完成Python虚拟环境的创建与激活,参考命令如下所示,更多信息可参考SGLang官方社区提供的安装指南。
source ~/anaconda3/start_conda.sh
conda create -n sgl-cpu python=3.12 -y
conda activate sgl-cpu此外,编译SGLang内核模块需要毕昇编译器,请从https://www.hikunpeng.com/developer/hpc/hpckit-download获取HPCKit安装包,参考官方安装步骤完成安装。
运行与编译还需依赖以下两个组件,具体安装步骤请前往对应仓库查看:
- kutacc:鲲鹏CPU通信与算子库(RDMA集合通信、shm allreduce等),使用https://gitcode.com/zhengzhong722/kutacc/tree/sglang_930分支。
- kupl:鲲鹏加速运行时(kupl多线程后端、SHM/SDMA等),使用https://gitcode.com/kunpengcompute/kupl/tree/sglang_830分支。
在PD(Prefill-Decode)分离部署模式下,需额外安装SGLang Model Gateway与Mooncake两个组件,以实现Prefill实例与Decode实例之间的请求分配以及KVCache数据传输:
在安装SGLang之前,先激活已配置好的Python虚拟环境。随后,根据SGLang安装路径获取SGLang源代码,并依次执行以下命令完成编译安装:
# 安装SGLang主模块(包含CPU相关依赖)
cd sglang/python
pip install --upgrade pip setuptools
pip install -e .
pip install torchvision==0.24.0 triton==3.5.0 --force-reinstall
# 加载毕昇编译器环境变量
HPCKIT_PATH=/path-to-HPCKit
source ${HPCKIT_PATH}/latest/compiler/bisheng/env/setvars.sh
export CC=$(which clang)
export CXX=$(which clang++)
# 加载kutacc环境变量
KUTACC_PATH=/path-to-KUTACC
export KUTACC_LIB=${KUTACC_PATH}/install/lib
export KUTACC_INCLUDE=${KUTACC_PATH}/install/include
# 加载kupl环境变量(sgl-kernel的kupl_async模块依赖libkupl与kupl.h)
KUPL_PATH=/path-to-KUPL
export CPATH=${KUPL_PATH}/include:$CPATH
export LIBRARY_PATH=${KUPL_PATH}/lib:$LIBRARY_PATH
export LD_LIBRARY_PATH=${KUPL_PATH}/lib:$LD_LIBRARY_PATH
# 进入sgl-kernel子目录并安装内核模块
cd ../sgl-kernel
pip install -v . --no-build-isolationSGLang鲲鹏优化版本需依赖通过毕昇编译器构建的PyTorch v2.9.0,并启用kupl多线程后端以获得最佳性能。安装前请先从 https://gitcode.com/kunpengcompute/kunpeng-extension-for-pytorch/tree/main/thirdparty 获取适配补丁pytorch-v2.9.0-sglang-0830.patch,然后按后续命令完成补丁应用。
git clone -b v2.9.0 --depth=1 --recursive https://github.com/pytorch/pytorch.git
cd pytorch
git submodule update --init --recursive
git apply pytorch-v2.9.0-sglang-0830.patch以DeepSeek V3 int8量化版本为例,native模式推荐配置为DP=16、TP=16(总共256个TP Worker),需要16个节点。部署配置分布在scripts/cpu_kunpeng目录下的多个文件中:
| 文件 | 说明 |
|---|---|
runtime/env_base.sh |
共享默认配置:路径、INSTANCES实例列表、TP/DP/EP/PP并行度、各类功能开关 |
runtime/env_native.sh |
native角色默认值:节点集、SHM/HBW池、chunked prefill等(取prefill侧默认值) |
runtime/env_prefill.sh |
prefill角色默认值:节点集、master地址、端口/NUMA自动推导 |
runtime/env_decode.sh |
decode角色默认值:节点集、master地址、端口/NUMA自动推导 |
runtime/env_mooncake.sh / runtime/env_store.sh |
HiCache mooncake后端角色默认值(store master / store service,见3.6节) |
.user_env.sh |
集群级用户覆盖文件(先加载),可按角色参数分支配置 |
runtime/.user_env_base.sh |
可选的全角色共享覆盖文件(在.user_env.sh之后加载) |
runtime/.user_env_native[_<instance>].sh |
native角色/实例覆盖文件 |
runtime/.user_env_prefill[_<instance>].sh |
prefill角色/实例覆盖文件 |
runtime/.user_env_decode[_<instance>].sh |
decode角色/实例覆盖文件 |
模型路径、conda环境名、native节点信息(NATIVE_IP_SPEC/NATIVE_IP_FILE、NATIVE_MASTER_ADDR)在runtime/env_base.sh中配置(或通过.user_env.sh覆盖);prefill/decode节点集与并行度在对应角色文件中配置。完整配置加载顺序见3.4节。
由于V3量化版本权重加载较慢,可在配置文件中设置LOAD_FORMAT启用分片加载加速启动,支持sharded_state与kunpeng_state两种格式。首次使用前,需要用scripts/cpu_kunpeng/model_processing/split_weights_dsv3.py脚本对原始权重进行预处理。
native模式启动和终止命令:
sh launch.sh native
sh stop.sh server nativePD分离模式的部署方式见3.5节。
GLM-5.3(GlmMoeDsaForCausalLM)复用DeepseekV2模型栈(MLA注意力 + DSA稀疏注意力indexer + MoE),且sglang.srt.models.glm4_moe已在srt/models/registry.py的920F模型白名单中,无需修改代码。部署使用与DeepSeek V3相同的配置文件与启动命令(见3.1节),区别仅在于权重预处理脚本、模型路径以及chat template/parsers。
1. 权重预处理
首次使用前,需使用scripts/cpu_kunpeng/model_processing/split_weights_glm5.py(而非split_weights_dsv3.py)对原始量化GLM-5.3权重进行预处理,然后设置LOAD_FORMAT=kunpeng_state启用分片加载。该脚本自动识别GLM-5导出命名规范(<module> + <module>.scale)与DeepSeek流水线命名规范(<module>.weight + <module>.weight_scale),并同时支持融合式(gateup_proj/gate_up_proj)与分离式(gate_proj + up_proj)gate/up导出(分离式导出会在切分时在线融合为[gate; up])。
非MoE权重(单次运行,按attention-TP rank输出):
cd scripts/cpu_kunpeng/model_processing
python split_weights_glm5.py \
--model_dir /path-to-glm5.3-quantized \
--output_dir /path-to-glm5.3-split \
--attention_tp_size 16 \
--num_hidden_layers 78MoE专家权重(单次运行;可加--layer_range <start> <end>多机并行,每台机器写入互不重叠的层区间):
python split_weights_glm5.py --moe \
--model_dir /path-to-glm5.3-quantized \
--output_dir /path-to-glm5.3-split \
--num_hidden_layers 78--num_hidden_layers为主层数(GLM-5.3为78,见其config.json)。MTP层(第78层)会被重定向到独立的{output_dir}_mtp/目录,以便作为草稿模型独立加载。
脚本处理的GLM-5.3特有切分逻辑:
q_a_proj+kv_a_proj_with_mqa融合为fused_qkv_a_proj_with_mqa,并按--socket_tp_size(默认8)沿dim0切分。- DSA indexer投影默认跟随模型侧attention-TP切分(
indexer.wq_b沿dim0切分;indexer.wk/indexer.weights_proj沿dim1切分)。如需改为在每个rank上复制,请传入--replicate-indexer并在服务侧设置SGLANG_KUNPENG_DISABLE_INDEXER_TP_SPLIT=1。 - 无scale的bf16张量(
kv_b_proj、indexer.wk、weights_proj、lm_head、embedding等)原样拷贝。 - 源分片为标准safetensors时,MoE专家走字节级快速路径(sendfile);专家输出布局与DeepSeek脚本一致(
experts/layer_L/expert_E.safetensors,w13_weight= 融合后的[gate; up])。 - MoE切分同时会把每层
mlp.shared_experts.*输出为experts/layer_L/expert_{n_routed}.safetensors(GLM-5.3即expert_256,编号取该层已有路由专家最大id + 1),供flash-comm部署按与路由专家相同的布局加载(见下方flash-comm小节);非flash-comm部署不读取该文件,不受影响。
2. 配置
在runtime/env_base.sh(或.user_env.sh)中,将路径指向切分输出目录并启用分片加载:
MODEL_PATH="/path-to-glm5.3-split"
SPECULATIVE_DRAFT_MODEL_PATH="/path-to-glm5.3-split_mtp"
export LOAD_FORMAT="kunpeng_state"按需在.user_env.sh中为GLM设置chat template与parsers(参见runtime/env_base.sh中CHAT_TEMPLATE / TOOL_CALL_PARSER / REASONING_PARSER的相关说明),例如TOOL_CALL_PARSER=glm47。
并行度(TP/DP/EP/PP)、native/PD模式以及MTP投机解码(SGLANG_ENABLE_MTP=1、SPECULATIVE_DRAFT_MODEL_PATH指向_mtp目录)的配置方式与DeepSeek V3完全一致——见3.1节、3.5节与3.7.1节。
3. 启动
与DeepSeek V3完全相同:
sh launch.sh native # native模式
sh stop.sh server native
# 或PD分离部署流程(见3.5节):
sh launch.sh all4. flash-comm(可选)
flash-comm是prefill实例的通信与MoE优化,包含两项子特性:
- SP prefill MoE(token切片序列并行):attn-TP组内每个rank只持有序列的一个token切片;注意力输出reduce-scatter后在本地切片上做LayerNorm与MLP,各rank的topk表用一次
shm_dual_allgather合并成全表(RDMA dispatch路径下MoE combine只写回本rank的home切片,本地SHM dispatch路径下由combine_recv提取本rank切片),避免逐层全量allgather/allreduce; - 共享专家EPLB共置:共享专家作为第
n_routed个逻辑专家(GLM-5.3为256)放进EPLB物理专家表,与路由专家共用同一条dispatch/combine流水线;grouped_topk内核直接把routed_scaling_factor折入路由权重(共享专家列权重固定为1.0),forward侧不再单独缩放。
启用前提(启动时逐项校验,违反即报错退出):仅prefill实例(decode侧IS_PREFILL=0自动失效);attn-TP > 1;ep_size == tp_size(不支持ETP)。
PP拓扑:PP=1与PP>1(如pp=16 prefill)均可启用。PP>1时非末级stage通过PPProxyTensors把(hidden_states, residual)token切片传给下一stage,接收stage首个layer在prepare_attn聚回全量行(layer_input_mode按全局layer_id推导),Kunpeng graph runner按input_ids / attn_tp_size行数校验切片负载。dispatch路径两条均可:RDMA dispatch(combine写home切片,最小通信)与单节点本地SHM dispatch(每stage一节点的pp=16即此拓扑;dispatch/combine保持全量布局,combine_recv提取home切片,home切片写优化仅RDMA路径,但router/topk每rank只算1/attn_tp的收益不受影响)。
三个环境变量(prefill实例侧设置,如runtime/.user_env_prefill[_<instance>].sh):
export SGLANG_KUNPENG_FLASH_COMM=1 # flash-comm总开关,默认关
export PREFILL_INIT_EXPERT_LOCATION="$SGLANG_PATH/scripts/cpu_kunpeng/configs/ep256_glm5_3_flash_comm.json"
export PREFILL_REDUNDANT_EXPERTS=255 # 257 + 255 = 512,ep_size=16时每rank 32个本地槽位SGLANG_KUNPENG_FLASH_COMM:flash-comm总开关。仅prefill实例生效(decode侧IS_PREFILL=0自动失效);不要放进全局配置,否则native角色(IS_PREFILL同样为1)会一并启用。PREFILL_INIT_EXPERT_LOCATION(未设时回退全局INIT_EXPERT_LOCATION):EPLB专家表路径,启动脚本转为--init-expert-location。flash-comm把共享专家计为1个额外逻辑专家,因此要求非trivial的专家表——覆盖n_routed + 1个逻辑专家(GLM-5.3为257),trivial表或槽位数不匹配会启动报错。GLM-5.3参考配置为scripts/cpu_kunpeng/configs/ep256_glm5_3_flash_comm.json(78层 × 512物理槽位)。PREFILL_REDUNDANT_EXPERTS(未设时回退全局REDUNDANT_EXPERTS):冗余专家数,启动脚本转为--ep-num-redundant-experts;需满足n_routed + 1 + 冗余专家数能被ep_size整除(参考表配套255:257 + 255 = 512)。
另有两条前提自动满足、无需手工配置:IS_PREFILL=1由source env.sh prefill自动导出;SGLANG_KUNPENG_EXTEND_POWER_2_PADDING=1(默认开)保证batch token数可被attn_tp_size整除(token等分切片的前提)。
decode侧无需任何改动。
共享专家权重文件:flash-comm运行时按与路由专家相同的experts/layer_L/expert_E.safetensors布局加载共享专家(编号n_routed,GLM-5.3即expert_256.safetensors):
- 新预处理的目录:
split_weights_glm5.py --moe已自动输出该文件(见上方切分逻辑列表),无需额外操作。 - flash-comm之前预处理的旧目录:只含
expert_0..255,直接启用会报Cannot find expert weight file .../expert_256.safetensors。用scripts/cpu_kunpeng/model_processing/add_shared_expert_glm5.py就地把原始checkpoint中的mlp.shared_experts.*补进已有目录——复用split_weights_glm5.py的命名解析与gate/up融合逻辑,输出格式与切分脚本一致;自动检测{output_dir}_mtp树并按--num_hidden_layers换算层号;共享专家与路由专家形状不一致时直接报错(避免被FusedMoE槽位静默截断);--layer_range <start> <end>支持多机分工,--force覆盖已存在文件:
cd scripts/cpu_kunpeng/model_processing
python add_shared_expert_glm5.py \
--model_dir /path-to-glm5.3-quantized \
--output_dir /path-to-glm5.3-split \
--num_hidden_layers 78使用非DeepSeek模型时,需要注释掉srt/models/registry.py中第99~114行的条件判断,这段逻辑会跳过白名单之外模型依赖的加载,其目的是提升启动加载速度。也可以将条件判断的值改成具体所用模型对应的值,例如sglang.srt.models.qwen3。当前白名单已包含DeepSeek系列与GLM-5.3(sglang.srt.models.glm4_moe,见3.2节,无需修改);Qwen3.5系列(qwen3_5/qwen3_5_mtp)可通过设置SGLANG_KUNPENG_QWEN=1放行,Qwen3.8单节点部署请参考Qwen3.8部署指南。
通过./launch.sh <role> [instance]选择部署角色:
- native(默认):非PD分离,单集群全量服务。节点从
NATIVE_IP_SPEC/NATIVE_IP_FILE读取,负载均衡round_robin。 - prefill:PD分离的prefill角色。节点从
PREFILL_IP_SPEC/PREFILL_IP_FILE读取(默认值见runtime/env_prefill.sh)。 - decode:PD分离的decode角色。节点从
DECODE_IP_SPEC/DECODE_IP_FILE读取(默认值见runtime/env_decode.sh)。 - router:PD分离的router节点,单节点运行SGLang Model Gateway(
sgl-model-gateway,Rust二进制,默认取conda环境内的bin/sgl-model-gateway,可用MODEL_GATEWAY_BIN指定),默认策略cache_aware。 - tokenizer:在router节点启动某一侧的tokenizer HTTP server,用法
./launch.sh tokenizer <prefill|decode> [instance],PD分离模式下使用。 - mooncake:HiCache L3后端为mooncake时,在
MOONCAKE_MASTER_NODE(默认ROUTER_IP)上运行mooncake store master(默认取conda环境内的bin/mooncake_master,可用MOONCAKE_MASTER_BIN指定)。 - store:在
MOONCAKE_STORE_NODE上运行mooncake store service(实际持有L3共享内存段的进程)。 - all:一键部署,按
INSTANCES列表依次拉起各实例server集群、各实例tokenizer、router;当任一prefill/native实例启用HiCache且L3后端为mooncake时,会先自动拉起mooncake store master与store service。 - update:重新生成
.time_env.sh并更新NUMA二进制副本。
脚本调用关系(launch.sh为纯任务分发器,实际逻辑位于子脚本):
launch.sh(任务分发器:./launch.sh <role> [instance])
├─→ runtime/launch_cluster.sh(prefill/decode/native:env加载、stop前置、SSH分发到各节点)
│ └─→ runtime/server_cluster.sh(单节点进程启动)
├─→ runtime/launch_tokenizer.sh(tokenizer:SSH到router节点)
│ └─→ runtime/server_tokenizer.sh(tokenizer HTTP server)
├─→ runtime/launch_mooncake.sh(mooncake:store master)
├─→ runtime/launch_store.sh(store:store service)
└─→ runtime/launch_router.sh(router:等待全部后端就绪后启动Model Gateway)
└─→ runtime/server_router.sh(SGLang Model Gateway)
配置加载顺序(source env.sh <role> [instance]):
runtime/env_base.sh(共享默认值;内部依次加载.user_env.sh与runtime/.user_env_base.sh)
└─ runtime/env_native.sh / runtime/env_prefill.sh / runtime/env_decode.sh / runtime/env_mooncake.sh / runtime/env_store.sh(角色默认值,${VAR:-...}回退,不覆盖已设置的值)
└─ runtime/.user_env_<role>_<instance>.sh(指定实例时仅加载该实例文件)
或 runtime/.user_env_<role>.sh(未指定实例时加载角色默认覆盖文件)
角色默认值:prefill侧SGLANG_KUNPENG_MAX_SEQ_NUM=8、SGLANG_KUNPENG_MAX_CUR_LEN=576(native取同prefill侧值);decode侧SGLANG_KUNPENG_MAX_SEQ_NUM=64、SGLANG_KUNPENG_MAX_CUR_LEN=1(开启MTP时自动取SGLANG_SPECULATIVE_NUM_STEPS+1)。
PD分离模式下tokenizer默认与推理进程分离(SGLANG_ENABLE_TOKENIZER_SEPERATE=1,由env_base.sh按角色自动设置;native模式默认关闭)。请求路径为:客户端→SGLang Model Gateway(router节点)→各侧tokenizer HTTP server(router节点,prefill侧默认端口30001、decode侧默认30002)→prefill/decode集群。Model Gateway的后端地址是tokenizer端口而非推理master的30000端口,每个prefill后端同时携带该实例的bootstrap端口(默认9001)用于KV传输引导。
部署步骤:
-
配置:在
runtime/env_base.sh(或.user_env.sh)中设置ROUTER_IP、模型路径、conda环境等共享配置;在runtime/.user_env_prefill.sh与runtime/.user_env_decode.sh(或对应实例文件)中设置两侧节点集(PREFILL_IP_SPEC/DECODE_IP_SPEC)、master地址与并行度(PREFILL_TP_SIZE/DECODE_TP_SIZE等,未设置时回退到全局TP_SIZE/DP_SIZE)。 -
一键启动(推荐,在任一节点执行):
sh launch.sh all # 按INSTANCES:各实例server集群→各实例tokenizer→router(mooncake后端时先自动拉起mooncake master与store)- 分步启动(集群命令在各master节点执行;tokenizer/router自动SSH到
ROUTER_IP):
sh launch.sh prefill # prefill集群
sh launch.sh decode # decode集群
sh launch.sh tokenizer prefill # prefill侧tokenizer HTTP server
sh launch.sh tokenizer decode # decode侧tokenizer HTTP server
sh launch.sh router # 等待全部后端就绪后启动Model Gateway- 停止:
sh stop.sh all # router+全部tokenizer+按INSTANCES停止各实例server(mooncake后端时最后停止store与mooncake master)
sh stop.sh server prefill # 支持实例名:sh stop.sh server decode 128p
sh stop.sh router
sh stop.sh tokenizer prefill # 支持prefill|decode|all多实例部署(同角色多实例、端口/NUMA自动错开、短长序列分组路由等)参见多实例部署指南。
HiCache将KV cache分为多级,层级越靠后容量越大、延迟越高。仅prefill/native角色参与(decode不参与),页粒度为64 token,L3中1个对象=1页:
- L1:主KV cache池(DDR),即原有主池;
- L2:额外DDR池(host pool),大小由
KUNPENG_HICACHE_RATIO/KUNPENG_HICACHE_SIZE决定(仅三级模式); - L3:外部存储后端,由
KUNPENG_HICACHE_BACKEND选择,所有prefill节点共享。
export ENABLE_KUNPENG_HICACHE=1 # 总开关,默认0
export KUNPENG_HICACHE_L1L3=1 # 默认1=两级模式(L1+L3,去掉L2 host池,改用固定大小扁平中转缓冲);0=三级模式(L1+L2+L3)
- mooncake后端(默认):
launch.sh all会自动检测「prefill/native实例启用HiCache且后端为mooncake」,先拉起mooncake store master与store service;stop.sh all最后自动停止两者。主要变量:MOONCAKE_MASTER_NODE/MOONCAKE_MASTER_PORT(默认ROUTER_IP:50061)、MOONCAKE_STORE_NODE(默认同master节点)、MOONCAKE_STORE_PORT(默认8081)、MOONCAKE_STORE_SEGMENT_SIZE(默认64gb)、MOONCAKE_DEVICE(RDMA设备列表)、MOONCAKE_ENABLE_SSD_OFFLOAD(=1启用SSD offload,需设MOONCAKE_OFFLOAD_FILE_STORAGE_PATH)。存储布局自动选择page_first。 - file后端:设置
KUNPENG_HICACHE_BACKEND=file,并指定所有prefill节点共享的目录KUNPENG_HICACHE_L3_DIR(留空=关闭L3,仅L1↔L2),存储布局为layer_first。 - 其他设置:
KUNPENG_HICACHE_WRITE_POLICY(写策略,默认write_through)、KUNPENG_HICACHE_PREFETCH_POLICY(L3预取策略,默认wait_complete,即等待整页加载完成以避免重算;可选timeout/best_effort提前放弃)、KUNPENG_HICACHE_RATIO/KUNPENG_HICACHE_SIZE(L2大小,SIZE优先于RATIO)、SGLANG_HICACHE_DEBUG(=1输出详细传输日志)。
各层级变量细节与调优说明参见HiCache使用指南。
1. SGLANG_ENABLE_BINARY_LAUNCH / SGLANG_ENABLE_NUMA_DUPLICATION — 二进制启动模式
export SGLANG_ENABLE_BINARY_LAUNCH=1 # 默认开
export SGLANG_ENABLE_NUMA_DUPLICATION=1 # 默认开
- 作用:每个scheduler进程独立启动,使用
--tp-rank-in-node区分rank号。runtime/server_cluster.sh遍历RANK_IN_NODE逐个启动进程,绑CPU核(taskset -c)并配置大页。关闭时仅有一个python -m sglang.launch_server进程。 - SGLANG_ENABLE_NUMA_DUPLICATION:在上述基础上,每个NUMA节点使用
PYINSTALL_PATH/dist/sglang_server_tp{rank}/下的独立预编译二进制(SGLANG_ENABLE_BINARY_LAUNCH开启前提下),实现各NUMA节点内存本地化,减少跨NUMA访存。关闭时所有rank共享一个二进制,同时影响LD_LIBRARY_PATH的设置逻辑。多副本的构建(PyInstaller打包与NUMA副本复制)请参考PyInstaller打包工具说明。
2. SGLANG_ENABLE_TOKENIZER_SEPERATE — 分离Tokenizer
export SGLANG_ENABLE_TOKENIZER_SEPERATE=1 # PD角色默认开,native默认关
- 作用:将tokenizer从推理进程中拆出,由router节点上的独立HTTP server统一做tokenize/detokenize。
- 效果:PD分离场景下由
launch.sh tokenizer在router节点拉起各侧tokenizer HTTP server,Model Gateway将请求路由到tokenizer端口。native场景无需开启。
3. SGLANG_ENABLE_HBW_POOL / SGLANG_KUNPENG_SWAP_* — HBW内存管理
export SGLANG_ENABLE_HBW_POOL=1 # 启用HBW KV cache分配,默认开
export SGLANG_KUNPENG_SWAP_KV_IN=0 # KV cache换入(DDR→HBM,SDMA异步拷贝)
export SGLANG_KUNPENG_SWAP_KV_OUT=0 # KV cache写回(HBM→DDR)
export SGLANG_KUNPENG_SWAP_KV_BLOCKWISE=0 # decode按块换入
export SGLANG_KUNPENG_SWAP_EXPERT=1 # 专家权重逐层换入(prefill默认1)
- SGLANG_ENABLE_HBW_POOL=1:KV cache优先从高带宽内存分配,减少DRAM访存延迟。
- SGLANG_KUNPENG_SWAP_KV_IN/OUT=1:允许HBW页与DRAM之间通过SDMA异步迁移;
SWAP_KV_BLOCKWISE=1时decode仅换入所需块。 - 相关设置:
SGLANG_KUNPENG_WEIGHTS_HBW_POOL_SIZE_MB、SGLANG_KUNPENG_SWAP_MAX_KV_BLOCKS、SGLANG_KUNPENG_SDMA_MAX_EVENTS、SGLANG_KUNPENG_SDMA_THRESHOLD。
4. SGLANG_ENABLE_MTP — 多Token预测
export SGLANG_ENABLE_MTP=0 # 默认关
export SGLANG_SPECULATIVE_NUM_STEPS=2 # 投机步数,默认2
- 作用:启用DeepSeek模型的NEXTN投机解码。=1时通过
--speculative-algorithm NEXTN开启多Token预测以加速推理;SGLANG_SPECULATIVE_NUM_STEPS指定投机步数;SPECULATIVE_DRAFT_MODEL_PATH可指定MTP草稿权重(未设置时回退到MODEL_PATH)。decode侧开启MTP时SGLANG_KUNPENG_MAX_CUR_LEN自动取SGLANG_SPECULATIVE_NUM_STEPS+1。
5. SGLANG_ENABLE_GRAPH_CAPTURE — 图捕获
export SGLANG_ENABLE_GRAPH_CAPTURE=1 # 默认开
- 作用:对forward计算做图捕获与重放,消除Python调度开销。相关设置:
SGLANG_KUNPENG_GRAPH_CACHE_SIZE(捕获图缓存数量,默认10)、SGLANG_KUNPENG_EXTEND_POWER_2_PADDING(prefill图按2的幂对齐padding,默认开)、SGLANG_GRAPH_DEBUG_PRINT(逐算子调试打印)。逐op计时记录由/start_profile//stop_profile请求驱动。
6. SGLANG_ENABLE_KUCCL — kuccl通信后端
export SGLANG_ENABLE_KUCCL=0 # 默认关
- 作用:=1时使用kuccl(UCX+UCG)集合通信后端替代gloo,需配置
KUCCL_PATH。NUMA二进制副本模式下各rank自动使用NUMA本地的kuccl运行时插件副本。
7. SGLANG_KUNPENG_PP_LAYOUT — PP布局
export SGLANG_KUNPENG_PP_LAYOUT=0 # 默认0
- 作用:PP rank布局方式。
0=node_block,一个节点映射到一个PP stage(默认);1=interleave,每个节点承载全部PP stage(节点内rank 0..7属PP0、8..15属PP1)。
8. SGLANG_KUNPENG_RDMA_ALLGATHER / RDMA_BCAST / RDMA_PP_COMM — RDMA集合通信
export SGLANG_KUNPENG_RDMA_ALLGATHER=1 # 默认开
export SGLANG_KUNPENG_RDMA_BCAST=1 # 默认开
export SGLANG_KUNPENG_RDMA_PP_COMM=1 # 默认开
- 作用:scheduler间同步的allgather/broadcast走RDMA(kutacc实现),PP rank间的rid传输走RDMA。需使用sglang_930分支构建的kutacc。
9. SGLANG_KUNPENG_LC_DP_RANKS / LC_MIN_SEQ_LEN — 长序列decode CP
export SGLANG_KUNPENG_LC_DP_RANKS="" # 运行长上下文CP的DP rank列表,如"14,15"
export SGLANG_KUNPENG_LC_MIN_SEQ_LEN=4096 # 长序列判定阈值
- 作用:
input_len + max_new_tokens大于等于阈值的请求路由到LC DP rank做上下文并行decode,其余请求走常规rank。两个变量在prefill与decode实例间必须配置一致。
10. ENABLE_KUNPENG_HICACHE — 多级KV缓存
export ENABLE_KUNPENG_HICACHE=0 # 默认关
- 作用:=1时启用HiCache多级KV缓存(仅prefill/native角色参与),L3后端由
KUNPENG_HICACHE_BACKEND选择(mooncake/file)。详见3.6节与HiCache使用指南。
11. SGLANG_KUNPENG_FLASH_COMM — flash-comm
export SGLANG_KUNPENG_FLASH_COMM=0 # 默认关
- 作用:=1时启用flash-comm(prefill SP MoE token切片 + 共享专家EPLB共置)。仅在prefill实例生效,需配套
PREFILL_INIT_EXPERT_LOCATION(非trivial专家表,257逻辑专家)与PREFILL_REDUNDANT_EXPERTS(257 + 冗余数需能被ep_size整除)两个环境变量及共享专家权重文件。完整部署方法见3.2节第4部分。
- SGLANG_USE_CPU_920F:标识鲲鹏920F平台,触发fork启动、仅加载deepseek模型、CPU绑核等平台优化。
- SGLANG_USE_CPU_ENGINE:强制走CPU推理引擎。
- SGLANG_SET_CPU_AFFINITY:启用CPU绑核。
- SGLANG_LAUNCH_HTTP_ONLY:仅启动HTTP server不做推理,router节点使用。需配合
SGLANG_ENABLE_TOKENIZER_SEPERATE。 - SGLANG_SKIP_HTTP:跳过HTTP server启动,prefill/decode推理节点使用。需配合
SGLANG_ENABLE_TOKENIZER_SEPERATE。 - SGLANG_KUNPENG_PROFILE:函数调用耗时打印,帮助定位性能瓶颈。
- SGLANG_KUNPENG_PP_PROFILE:decode流水线性能分析。
- SGLANG_KUNPENG_MOE_FORCE_LOAD_BALANCE:=1强制MoE负载均衡(仅用于性能测试,不保证正确性)。
- SGLANG_KUNPENG_MOE_SHUFFLE_MODE:动态冗余专家重排洗牌模式,0=轮询,1=随机。
- SGLANG_KUNPENG_MOE_TOKEN_MULTIPLE:MoE token填充倍数,默认2。
- SGLANG_KUNPENG_SAVE_AT_TRACE:=1记录专家激活数量。
- SGLANG_DISABLE_RADIX_CACHE:=1时向启动参数追加
--disable-radix-cache。 - SGLANG_SCHEDULER_SKIP_ALL_GATHER:scheduler跳过allgather同步。注意:=1在长prompt prefill场景可能影响正确性。
- SGLANG_TOKENIZER_BACKEND:tokenizer后端,
huggingface(默认)或fastokens(需transformers>=5.12)。 - SGLANG_TOKENIZER_TIMELINE_LOG:tokenizer侧跨进程batch时间线日志。
- KUTACC_ASYNC_LAUNCH:kutacc异步launch,默认1;=0时
KUPL_EXECUTOR_COUNT需设为32。 - KUPL_SHM_TYPE / KUPL_SHM_ON_PACKAGE / KUPL_SHM_ENABLE_HUGEPAGE:kupl共享内存后端(sls)、package内存与大页开关。
- SGLANG_SET_ZMQ_CPU_AFFINITY_OFFSET:ZMQ线程CPU亲和起始核。
- SGLANG_KUNPENG_QWEN:=1时放行Qwen3.5系列模型(
qwen3_5/qwen3_5_mtp)的加载(见3.3节)。 - SGLANG_KUNPENG_DISABLE_MLA_ALL2ALL:=1禁用MLA alltoall路径,默认0。
- SGLANG_KUNPENG_ALLTOALL_FENCE:=1在MLA shm alltoall后追加显式
kupl_shm_fence,默认0。 - SGLANG_KUNPENG_ALLREDUCE_NAIVE:=1使用非kutacc的朴素shm allreduce,默认0。
- SGLANG_KUNPENG_ENABLE_SHM_FENCE:SHM fence开关,默认0。
- SGLANG_ENABLE_OVERLAP:调度overlap开关,默认0;
SGLANG_ENABLE_OVERLAP_TRACE为对应trace开关。 - SGLANG_KUNPENG_HBW_RESIDENT_NON_EXPERT_WEIGHTS / _EXPERT_WEIGHTS / _GRAPH:非专家权重/专家权重/图权重HBW常驻开关。非专家与图默认1;专家权重全局默认0,decode侧默认1。
- SGLANG_KUNPENG_MOE_PREFILL_FORCE_DDR:=1时prefill MoE权重强制走DDR(长prompt prefill实例使用)。
- LONG_PROMPT_PREFILL_INSTANCE:=1启用长prompt prefill实例预设(TP=16/DP=1/PP=16、chunk 2048、MoE强制DDR)。
共享内存池
- SGLANG_KUNPENG_PREFILL_SHM_SIZE_MB:prefill阶段共享内存池大小,默认476MB。
- SGLANG_KUNPENG_DECODE_SHM_SIZE_MB:decode阶段共享内存池大小,默认100MB。
HBW内存池
- SGLANG_KUNPENG_WEIGHTS_HBW_POOL_SIZE_MB:权重缓存在高带宽内存中的预分配大小,默认3400MB(prefill侧3400、decode侧3900)。
- SGLANG_KUNPENG_MEMORY_ALIGNMENT:HBW内存对齐字节数,默认4096。
- SGLANG_KUNPENG_SWAP_MAX_KV_BLOCKS:按块换入时最大KV块数,默认512。
SHM批处理容量
- SGLANG_KUNPENG_MAX_SEQ_NUM:SHM预分配最大序列数。prefill默认8,decode默认64。
- SGLANG_KUNPENG_MAX_CUR_LEN:SHM预分配最大序列长度。prefill默认576,decode默认1(MTP时为投机步数+1)。
- SGLANG_KUNPENG_MAX_SEQ_LEN:最大序列长度,默认65536。
SDMA传输
- SGLANG_KUNPENG_SDMA_MAX_EVENTS:SDMA最大并发事件数,默认10。
- SGLANG_KUNPENG_SDMA_THRESHOLD:SDMA传输阈值,超过此大小使用硬件DMA而非CPU memcpy,默认5。
调度与并发
- CHUNKED_PREFILL_SIZE_PER_DP:每DP rank的chunked prefill大小,默认4096(实际启动参数为该值×DP_SIZE)。
- STREAM_INTERVAL:流式输出刷新间隔token数(
--stream-interval),默认1。 - TOKENIZER_WORKER_NUM:tokenizer worker数量,默认1。
- SGLANG_DISAGGREGATION_THREAD_POOL_SIZE:PD分离传输线程池大小,默认4。
- SGLANG_PP_LAYER_PARTITION:decode PP各stage层数划分(如
"35,26"),项数=decode PP size,总和=模型总层数。
模型加载
- LOAD_FORMAT:权重加载格式,支持
sharded_state与kunpeng_state,启用分片/预格式化加载加速启动(DeepSeek V3 INT8推荐)。
多线程后端
- KUPL_EXECUTOR_BACKEND / KUPL_EXECUTOR_COUNT:指定kupl多线程后端与线程数。常规PyTorch仅支持omp。
KUPL_EXECUTOR_COUNT默认33(KUTACC_ASYNC_LAUNCH=0时需设为32)。 - KUTACC_FUSEDMOE_MULTI_OPERAND_GEMM:kutacc fusedmoe gateup 多操作数 GEMM(decode 侧)。默认 1 = 8 个本地专家的 streaming/ZA 入口合并为一次内核调用;0 = 逐专家调用(回退)。
其他
- DROP_CACHES:=1时stop.sh清理节点OS页缓存。
- GEMM_TILING_PLAN_FILE:GEMM tiling计划文件路径,默认
scripts/cpu_kunpeng/configs/gemm_32_tiling.csv。 - SDMA_KO_PATH:SDMA驱动ko文件路径。
- KUCCL_PATH:kuccl安装路径(
SGLANG_ENABLE_KUCCL=1时需要)。 - LIBPTHREAD_HOOK_PATH:libpthread_hook.so路径(分离tokenizer模式使用)。
- ROUTER_PREFILL_POLICY:Model Gateway的prefill路由策略。留空使用主策略(cache_aware);设为
bucket启用bucket策略(要求INSTANCES含至少2个prefill条目)。 - ROUTER_BALANCE_ABS_THRESHOLD:bucket策略下两实例累计字符数绝对差阈值,默认64。
- ROUTER_BALANCE_REL_THRESHOLD:bucket策略下相对负载阈值,默认1.5。
- ROUTER_BUCKET_ADJUST_INTERVAL_SECS:bucket分界线自动调整间隔秒数,默认5。
- ROUTER_PREFILL_SHORT_COUNT:分组模式短序列组prefill实例数,默认0(动态均衡模式);大于0时启用短/长序列固定分组路由。
- ROUTER_PREFILL_LENGTH_THRESHOLD:分组模式字符长度阈值,默认4096(按字符计,非token)。
策略细节与多实例路由说明参见多实例部署指南。
验证脚本scripts/cpu_kunpeng/curl.sh支持多种功能,以下为常用用法;scripts/cpu_kunpeng/client/tokenize.py用于统计prompt的实际token数。
sh curl.sh # 基础推理(默认prompts/128.txt,32 req/s)
sh curl.sh -s -m 50 # 流式,50 tokens
sh curl.sh -n 10 -m 20 # 10个请求
sh curl.sh -s -f prompts/1k.txt # 长prompt
sh curl.sh -J -f chat.jsonl # chat模式:-f为JSONL请求体,直发/v1/chat/completions
sh curl.sh -i # 多轮交互式对话
python3 client/tokenize.py -f prompts/1k.txt # 统计prompt的token数(发往/v1/tokenize)client/tokenize.py用法:-f FILE[,FILE...]|DIR指定prompt来源(每个文件整体作为一个prompt,支持多行;多个文件用逗号分隔;目录取其中*.txt/*.md按文件名排序逐个作为prompt)。目标地址可用HOST/PORT环境变量覆盖(默认ROUTER_IP或127.0.0.1的30000端口)。
# 固定路由到指定DP rank
sh curl.sh -d 3 -n 10 -m 20
# 在rank区间内轮询(支持"0-15"、"0,2,5"等写法)
sh curl.sh -d 0-15 -n 10 -m 20# 开启profile模式(自动调用 start_profile / stop_profile;
# PD分离部署下自动发往两侧tokenizer HTTP端口)
sh curl.sh -p -s -f prompts/ragged.txt| 参数 | 说明 | 默认值 |
|---|---|---|
-p |
启用profile(start/stop;PD分离部署下发往两侧tokenizer HTTP端口) | 关闭 |
-s |
启用流式输出 | 关闭 |
-d RANK|RANGE |
固定路由到指定DP rank,或在rank集合内轮询(如0-15、0,2,5) |
服务端负载均衡 |
-n NUM |
请求数量(超过文件行数时循环使用prompt) | 文件所有行 |
-m TOKENS |
每请求/每轮最大token数 | 10(对话模式1024) |
-r RATE |
发送速率(req/s,需大于0) | 32 |
-c CONC |
最大并发请求数 | 等于请求数 |
-f FILE|DIR |
prompt来源:文件(每行一个prompt,支持gen_st_prompts.py输出的JSON行)或目录(每个*.txt/*.md文件作为一个整文件prompt,按文件名排序循环) | prompts/128.txt |
-J |
chat模式:-f文件为JSONL(每行一个含model/messages的chat请求体),直发/v1/chat/completions,由服务端渲染chat template |
关闭 |
-v |
详细统计(请求数>1时生效):decode吞吐表、接受率(配合-s)、每请求时延明细 |
关闭 |
-F |
fake-transfer模式(注入bootstrap_host=2.2.2.2,decode跳过KV传输;端口从INSTANCES的decode条目自动推导,CURL_PORT可覆盖) |
关闭 |
-i |
多轮交互式对话模式 | 关闭 |
请求默认发往env.sh中配置的ROUTER_IP(gateway所在节点,curl.sh通过source env.sh none读取);通过CURL_HOST/CURL_PORT环境变量可覆盖目标地址与端口(默认端口30000)。根据请求的返回结果对正确性进行验证。
scripts/cpu_kunpeng/benchmark.sh支持GSM8K、MMLU精度基准与aisbench性能测试(对gateway端口发起):
bash benchmark.sh gsm8k --max-new-tokens 128 --num-questions 50
bash benchmark.sh mmlu --nsub 60 --parallel 32各测试项的默认值可通过环境变量覆盖,详见脚本头部说明。
在一个集群中同时部署多个prefill/decode实例(实例专属配置文件、端口/NUMA资源自动推导、短长序列分组路由、不同PP拓扑的prefill混布等)的完整说明,请参见多实例部署指南。