Skip to content
kunpengcomputePublic

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

SGLang鲲鹏优化版本参考实现

Release Notes

  • [2026/11] 新增flash-comm部署说明(prefill SP MoE + 共享专家EPLB共置,见3.2节);split_weights_glm5.py切分时自动输出共享专家文件,新增旧目录补齐脚本add_shared_expert_glm5.py。
  • [2026/10] 新增GLM-5.3部署指南(权重预处理、配置、启动);新增多级KV缓存(HiCache)与mooncake L3后端部署说明、mooncake/store部署角色。
  • [2026/09] 更新部署文档:新增多实例部署、分离tokenizer的PD分离部署方式及相关环境变量说明。
  • [2026/05] 本版本基于SGLang官方v0.5.11版本进行优化适配。

1. 简介

SGLang鲲鹏优化版本是基于开源高性能推理框架SGLang与鲲鹏平台推出的DeepSeek V3模型服务化部署参考实现。该实现充分发挥鲲鹏处理器的众核并行与大带宽互联特性,结合SGLang的KV缓存管理机制、PD分离架构与高效并发调度能力,为鲲鹏生态用户提供低时延、高吞吐的请求处理能力。

1.1 版本配套

  • 运行平台
    • 鲲鹏 920 专业版
  • 系统规格
    • openEuler 22.03(LTS-SP4)AArch64

2. SGLang安装部署过程

2.1 SGLang依赖安装

在正式安装SGLang相关组件之前,需先完成Python虚拟环境的创建与激活,参考命令如下所示,更多信息可参考SGLang官方社区提供的安装指南。

source ~/anaconda3/start_conda.sh
conda create -n sgl-cpu python=3.12 -y
conda activate sgl-cpu

此外,编译SGLang内核模块需要毕昇编译器,请从https://www.hikunpeng.com/developer/hpc/hpckit-download获取HPCKit安装包,参考官方安装步骤完成安装。

运行与编译还需依赖以下两个组件,具体安装步骤请前往对应仓库查看:

在PD(Prefill-Decode)分离部署模式下,需额外安装SGLang Model Gateway与Mooncake两个组件,以实现Prefill实例与Decode实例之间的请求分配以及KVCache数据传输:

  • SGLang Model Gateway:安装方式请参考SGLang官方文档。
  • Mooncake:安装方式请参考Mooncake官方GitHub仓库。

2.2 SGLang应用安装

在安装SGLang之前,先激活已配置好的Python虚拟环境。随后,根据SGLang安装路径获取SGLang源代码,并依次执行以下命令完成编译安装:

# 安装SGLang主模块(包含CPU相关依赖)
cd sglang/python
pip install --upgrade pip setuptools
pip install -e .
pip install torchvision==0.24.0 triton==3.5.0 --force-reinstall

# 加载毕昇编译器环境变量
HPCKIT_PATH=/path-to-HPCKit
source ${HPCKIT_PATH}/latest/compiler/bisheng/env/setvars.sh
export CC=$(which clang)
export CXX=$(which clang++)

# 加载kutacc环境变量
KUTACC_PATH=/path-to-KUTACC
export KUTACC_LIB=${KUTACC_PATH}/install/lib
export KUTACC_INCLUDE=${KUTACC_PATH}/install/include

# 加载kupl环境变量(sgl-kernel的kupl_async模块依赖libkupl与kupl.h)
KUPL_PATH=/path-to-KUPL
export CPATH=${KUPL_PATH}/include:$CPATH
export LIBRARY_PATH=${KUPL_PATH}/lib:$LIBRARY_PATH
export LD_LIBRARY_PATH=${KUPL_PATH}/lib:$LD_LIBRARY_PATH

# 进入sgl-kernel子目录并安装内核模块
cd ../sgl-kernel
pip install -v . --no-build-isolation

2.3 PyTorch v2.9.0安装

SGLang鲲鹏优化版本需依赖通过毕昇编译器构建的PyTorch v2.9.0,并启用kupl多线程后端以获得最佳性能。安装前请先从 https://gitcode.com/kunpengcompute/kunpeng-extension-for-pytorch/tree/main/thirdparty 获取适配补丁pytorch-v2.9.0-sglang-0830.patch,然后按后续命令完成补丁应用。

git clone -b v2.9.0 --depth=1 --recursive https://github.com/pytorch/pytorch.git
cd pytorch
git submodule update --init --recursive
git apply pytorch-v2.9.0-sglang-0830.patch

3. SGLang部署和启动

3.1 DeepSeek模型使用

以DeepSeek V3 int8量化版本为例,native模式推荐配置为DP=16、TP=16(总共256个TP Worker),需要16个节点。部署配置分布在scripts/cpu_kunpeng目录下的多个文件中:

文件 说明
runtime/env_base.sh 共享默认配置:路径、INSTANCES实例列表、TP/DP/EP/PP并行度、各类功能开关
runtime/env_native.sh native角色默认值:节点集、SHM/HBW池、chunked prefill等(取prefill侧默认值)
runtime/env_prefill.sh prefill角色默认值:节点集、master地址、端口/NUMA自动推导
runtime/env_decode.sh decode角色默认值:节点集、master地址、端口/NUMA自动推导
runtime/env_mooncake.sh / runtime/env_store.sh HiCache mooncake后端角色默认值(store master / store service,见3.6节)
.user_env.sh 集群级用户覆盖文件(先加载),可按角色参数分支配置
runtime/.user_env_base.sh 可选的全角色共享覆盖文件(在.user_env.sh之后加载)
runtime/.user_env_native[_<instance>].sh native角色/实例覆盖文件
runtime/.user_env_prefill[_<instance>].sh prefill角色/实例覆盖文件
runtime/.user_env_decode[_<instance>].sh decode角色/实例覆盖文件

模型路径、conda环境名、native节点信息(NATIVE_IP_SPEC/NATIVE_IP_FILE、NATIVE_MASTER_ADDR)在runtime/env_base.sh中配置(或通过.user_env.sh覆盖);prefill/decode节点集与并行度在对应角色文件中配置。完整配置加载顺序见3.4节。

由于V3量化版本权重加载较慢,可在配置文件中设置LOAD_FORMAT启用分片加载加速启动,支持sharded_state与kunpeng_state两种格式。首次使用前,需要用scripts/cpu_kunpeng/model_processing/split_weights_dsv3.py脚本对原始权重进行预处理。

native模式启动和终止命令:

sh launch.sh native
sh stop.sh server native

PD分离模式的部署方式见3.5节。

3.2 GLM-5.3模型使用

GLM-5.3(GlmMoeDsaForCausalLM)复用DeepseekV2模型栈(MLA注意力 + DSA稀疏注意力indexer + MoE),且sglang.srt.models.glm4_moe已在srt/models/registry.py的920F模型白名单中,无需修改代码。部署使用与DeepSeek V3相同的配置文件与启动命令(见3.1节),区别仅在于权重预处理脚本、模型路径以及chat template/parsers。

1. 权重预处理

首次使用前,需使用scripts/cpu_kunpeng/model_processing/split_weights_glm5.py(而非split_weights_dsv3.py)对原始量化GLM-5.3权重进行预处理,然后设置LOAD_FORMAT=kunpeng_state启用分片加载。该脚本自动识别GLM-5导出命名规范(<module> + <module>.scale)与DeepSeek流水线命名规范(<module>.weight + <module>.weight_scale),并同时支持融合式(gateup_proj/gate_up_proj)与分离式(gate_proj + up_proj)gate/up导出(分离式导出会在切分时在线融合为[gate; up])。

非MoE权重(单次运行,按attention-TP rank输出):

cd scripts/cpu_kunpeng/model_processing
python split_weights_glm5.py \
    --model_dir /path-to-glm5.3-quantized \
    --output_dir /path-to-glm5.3-split \
    --attention_tp_size 16 \
    --num_hidden_layers 78

MoE专家权重(单次运行;可加--layer_range <start> <end>多机并行,每台机器写入互不重叠的层区间):

python split_weights_glm5.py --moe \
    --model_dir /path-to-glm5.3-quantized \
    --output_dir /path-to-glm5.3-split \
    --num_hidden_layers 78

--num_hidden_layers为主层数(GLM-5.3为78,见其config.json)。MTP层(第78层)会被重定向到独立的{output_dir}_mtp/目录,以便作为草稿模型独立加载。

脚本处理的GLM-5.3特有切分逻辑:

  • q_a_proj + kv_a_proj_with_mqa融合为fused_qkv_a_proj_with_mqa,并按--socket_tp_size(默认8)沿dim0切分。
  • DSA indexer投影默认跟随模型侧attention-TP切分(indexer.wq_b沿dim0切分;indexer.wk / indexer.weights_proj沿dim1切分)。如需改为在每个rank上复制,请传入--replicate-indexer并在服务侧设置SGLANG_KUNPENG_DISABLE_INDEXER_TP_SPLIT=1。
  • 无scale的bf16张量(kv_b_proj、indexer.wk、weights_proj、lm_head、embedding等)原样拷贝。
  • 源分片为标准safetensors时,MoE专家走字节级快速路径(sendfile);专家输出布局与DeepSeek脚本一致(experts/layer_L/expert_E.safetensors,w13_weight = 融合后的[gate; up])。
  • MoE切分同时会把每层mlp.shared_experts.*输出为experts/layer_L/expert_{n_routed}.safetensors(GLM-5.3即expert_256,编号取该层已有路由专家最大id + 1),供flash-comm部署按与路由专家相同的布局加载(见下方flash-comm小节);非flash-comm部署不读取该文件,不受影响。

2. 配置

在runtime/env_base.sh(或.user_env.sh)中,将路径指向切分输出目录并启用分片加载:

MODEL_PATH="/path-to-glm5.3-split"
SPECULATIVE_DRAFT_MODEL_PATH="/path-to-glm5.3-split_mtp"
export LOAD_FORMAT="kunpeng_state"

按需在.user_env.sh中为GLM设置chat template与parsers(参见runtime/env_base.sh中CHAT_TEMPLATE / TOOL_CALL_PARSER / REASONING_PARSER的相关说明),例如TOOL_CALL_PARSER=glm47。

并行度(TP/DP/EP/PP)、native/PD模式以及MTP投机解码(SGLANG_ENABLE_MTP=1、SPECULATIVE_DRAFT_MODEL_PATH指向_mtp目录)的配置方式与DeepSeek V3完全一致——见3.1节、3.5节与3.7.1节。

3. 启动

与DeepSeek V3完全相同:

sh launch.sh native          # native模式
sh stop.sh server native
# 或PD分离部署流程(见3.5节):
sh launch.sh all

4. flash-comm(可选)

flash-comm是prefill实例的通信与MoE优化,包含两项子特性:

  • SP prefill MoE(token切片序列并行):attn-TP组内每个rank只持有序列的一个token切片;注意力输出reduce-scatter后在本地切片上做LayerNorm与MLP,各rank的topk表用一次shm_dual_allgather合并成全表(RDMA dispatch路径下MoE combine只写回本rank的home切片,本地SHM dispatch路径下由combine_recv提取本rank切片),避免逐层全量allgather/allreduce;
  • 共享专家EPLB共置:共享专家作为第n_routed个逻辑专家(GLM-5.3为256)放进EPLB物理专家表,与路由专家共用同一条dispatch/combine流水线;grouped_topk内核直接把routed_scaling_factor折入路由权重(共享专家列权重固定为1.0),forward侧不再单独缩放。

启用前提(启动时逐项校验,违反即报错退出):仅prefill实例(decode侧IS_PREFILL=0自动失效);attn-TP > 1;ep_size == tp_size(不支持ETP)。

PP拓扑:PP=1与PP>1(如pp=16 prefill)均可启用。PP>1时非末级stage通过PPProxyTensors把(hidden_states, residual)token切片传给下一stage,接收stage首个layer在prepare_attn聚回全量行(layer_input_mode按全局layer_id推导),Kunpeng graph runner按input_ids / attn_tp_size行数校验切片负载。dispatch路径两条均可:RDMA dispatch(combine写home切片,最小通信)与单节点本地SHM dispatch(每stage一节点的pp=16即此拓扑;dispatch/combine保持全量布局,combine_recv提取home切片,home切片写优化仅RDMA路径,但router/topk每rank只算1/attn_tp的收益不受影响)。

三个环境变量(prefill实例侧设置,如runtime/.user_env_prefill[_<instance>].sh):

export SGLANG_KUNPENG_FLASH_COMM=1              # flash-comm总开关,默认关
export PREFILL_INIT_EXPERT_LOCATION="$SGLANG_PATH/scripts/cpu_kunpeng/configs/ep256_glm5_3_flash_comm.json"
export PREFILL_REDUNDANT_EXPERTS=255            # 257 + 255 = 512,ep_size=16时每rank 32个本地槽位
  • SGLANG_KUNPENG_FLASH_COMM:flash-comm总开关。仅prefill实例生效(decode侧IS_PREFILL=0自动失效);不要放进全局配置,否则native角色(IS_PREFILL同样为1)会一并启用。
  • PREFILL_INIT_EXPERT_LOCATION(未设时回退全局INIT_EXPERT_LOCATION):EPLB专家表路径,启动脚本转为--init-expert-location。flash-comm把共享专家计为1个额外逻辑专家,因此要求非trivial的专家表——覆盖n_routed + 1个逻辑专家(GLM-5.3为257),trivial表或槽位数不匹配会启动报错。GLM-5.3参考配置为scripts/cpu_kunpeng/configs/ep256_glm5_3_flash_comm.json(78层 × 512物理槽位)。
  • PREFILL_REDUNDANT_EXPERTS(未设时回退全局REDUNDANT_EXPERTS):冗余专家数,启动脚本转为--ep-num-redundant-experts;需满足n_routed + 1 + 冗余专家数能被ep_size整除(参考表配套255:257 + 255 = 512)。

另有两条前提自动满足、无需手工配置:IS_PREFILL=1由source env.sh prefill自动导出;SGLANG_KUNPENG_EXTEND_POWER_2_PADDING=1(默认开)保证batch token数可被attn_tp_size整除(token等分切片的前提)。

decode侧无需任何改动。

共享专家权重文件:flash-comm运行时按与路由专家相同的experts/layer_L/expert_E.safetensors布局加载共享专家(编号n_routed,GLM-5.3即expert_256.safetensors):

  • 新预处理的目录:split_weights_glm5.py --moe已自动输出该文件(见上方切分逻辑列表),无需额外操作。
  • flash-comm之前预处理的旧目录:只含expert_0..255,直接启用会报Cannot find expert weight file .../expert_256.safetensors。用scripts/cpu_kunpeng/model_processing/add_shared_expert_glm5.py就地把原始checkpoint中的mlp.shared_experts.*补进已有目录——复用split_weights_glm5.py的命名解析与gate/up融合逻辑,输出格式与切分脚本一致;自动检测{output_dir}_mtp树并按--num_hidden_layers换算层号;共享专家与路由专家形状不一致时直接报错(避免被FusedMoE槽位静默截断);--layer_range <start> <end>支持多机分工,--force覆盖已存在文件:
cd scripts/cpu_kunpeng/model_processing
python add_shared_expert_glm5.py \
    --model_dir /path-to-glm5.3-quantized \
    --output_dir /path-to-glm5.3-split \
    --num_hidden_layers 78

3.3 非DeepSeek模型使用

使用非DeepSeek模型时,需要注释掉srt/models/registry.py中第99~114行的条件判断,这段逻辑会跳过白名单之外模型依赖的加载,其目的是提升启动加载速度。也可以将条件判断的值改成具体所用模型对应的值,例如sglang.srt.models.qwen3。当前白名单已包含DeepSeek系列与GLM-5.3(sglang.srt.models.glm4_moe,见3.2节,无需修改);Qwen3.5系列(qwen3_5/qwen3_5_mtp)可通过设置SGLANG_KUNPENG_QWEN=1放行,Qwen3.8单节点部署请参考Qwen3.8部署指南。

3.4 部署模式

通过./launch.sh <role> [instance]选择部署角色:

  • native(默认):非PD分离,单集群全量服务。节点从NATIVE_IP_SPEC/NATIVE_IP_FILE读取,负载均衡round_robin。
  • prefill:PD分离的prefill角色。节点从PREFILL_IP_SPEC/PREFILL_IP_FILE读取(默认值见runtime/env_prefill.sh)。
  • decode:PD分离的decode角色。节点从DECODE_IP_SPEC/DECODE_IP_FILE读取(默认值见runtime/env_decode.sh)。
  • router:PD分离的router节点,单节点运行SGLang Model Gateway(sgl-model-gateway,Rust二进制,默认取conda环境内的bin/sgl-model-gateway,可用MODEL_GATEWAY_BIN指定),默认策略cache_aware。
  • tokenizer:在router节点启动某一侧的tokenizer HTTP server,用法./launch.sh tokenizer <prefill|decode> [instance],PD分离模式下使用。
  • mooncake:HiCache L3后端为mooncake时,在MOONCAKE_MASTER_NODE(默认ROUTER_IP)上运行mooncake store master(默认取conda环境内的bin/mooncake_master,可用MOONCAKE_MASTER_BIN指定)。
  • store:在MOONCAKE_STORE_NODE上运行mooncake store service(实际持有L3共享内存段的进程)。
  • all:一键部署,按INSTANCES列表依次拉起各实例server集群、各实例tokenizer、router;当任一prefill/native实例启用HiCache且L3后端为mooncake时,会先自动拉起mooncake store master与store service。
  • update:重新生成.time_env.sh并更新NUMA二进制副本。

脚本调用关系(launch.sh为纯任务分发器,实际逻辑位于子脚本):

launch.sh(任务分发器:./launch.sh <role> [instance])
  ├─→ runtime/launch_cluster.sh(prefill/decode/native:env加载、stop前置、SSH分发到各节点)
  │      └─→ runtime/server_cluster.sh(单节点进程启动)
  ├─→ runtime/launch_tokenizer.sh(tokenizer:SSH到router节点)
  │      └─→ runtime/server_tokenizer.sh(tokenizer HTTP server)
  ├─→ runtime/launch_mooncake.sh(mooncake:store master)
  ├─→ runtime/launch_store.sh(store:store service)
  └─→ runtime/launch_router.sh(router:等待全部后端就绪后启动Model Gateway)
         └─→ runtime/server_router.sh(SGLang Model Gateway)

配置加载顺序(source env.sh <role> [instance]):

runtime/env_base.sh(共享默认值;内部依次加载.user_env.sh与runtime/.user_env_base.sh)
  └─ runtime/env_native.sh / runtime/env_prefill.sh / runtime/env_decode.sh / runtime/env_mooncake.sh / runtime/env_store.sh(角色默认值,${VAR:-...}回退,不覆盖已设置的值)
       └─ runtime/.user_env_<role>_<instance>.sh(指定实例时仅加载该实例文件)
          或 runtime/.user_env_<role>.sh(未指定实例时加载角色默认覆盖文件)

角色默认值:prefill侧SGLANG_KUNPENG_MAX_SEQ_NUM=8、SGLANG_KUNPENG_MAX_CUR_LEN=576(native取同prefill侧值);decode侧SGLANG_KUNPENG_MAX_SEQ_NUM=64、SGLANG_KUNPENG_MAX_CUR_LEN=1(开启MTP时自动取SGLANG_SPECULATIVE_NUM_STEPS+1)。

3.5 PD分离部署

PD分离模式下tokenizer默认与推理进程分离(SGLANG_ENABLE_TOKENIZER_SEPERATE=1,由env_base.sh按角色自动设置;native模式默认关闭)。请求路径为:客户端→SGLang Model Gateway(router节点)→各侧tokenizer HTTP server(router节点,prefill侧默认端口30001、decode侧默认30002)→prefill/decode集群。Model Gateway的后端地址是tokenizer端口而非推理master的30000端口,每个prefill后端同时携带该实例的bootstrap端口(默认9001)用于KV传输引导。

部署步骤:

  1. 配置:在runtime/env_base.sh(或.user_env.sh)中设置ROUTER_IP、模型路径、conda环境等共享配置;在runtime/.user_env_prefill.sh与runtime/.user_env_decode.sh(或对应实例文件)中设置两侧节点集(PREFILL_IP_SPEC/DECODE_IP_SPEC)、master地址与并行度(PREFILL_TP_SIZE/DECODE_TP_SIZE等,未设置时回退到全局TP_SIZE/DP_SIZE)。

  2. 一键启动(推荐,在任一节点执行):

sh launch.sh all   # 按INSTANCES:各实例server集群→各实例tokenizer→router(mooncake后端时先自动拉起mooncake master与store)
  1. 分步启动(集群命令在各master节点执行;tokenizer/router自动SSH到ROUTER_IP):
sh launch.sh prefill            # prefill集群
sh launch.sh decode             # decode集群
sh launch.sh tokenizer prefill  # prefill侧tokenizer HTTP server
sh launch.sh tokenizer decode   # decode侧tokenizer HTTP server
sh launch.sh router             # 等待全部后端就绪后启动Model Gateway
  1. 停止:
sh stop.sh all                 # router+全部tokenizer+按INSTANCES停止各实例server(mooncake后端时最后停止store与mooncake master)
sh stop.sh server prefill      # 支持实例名:sh stop.sh server decode 128p
sh stop.sh router
sh stop.sh tokenizer prefill   # 支持prefill|decode|all

多实例部署(同角色多实例、端口/NUMA自动错开、短长序列分组路由等)参见多实例部署指南。

3.6 多级KV缓存(HiCache)部署

HiCache将KV cache分为多级,层级越靠后容量越大、延迟越高。仅prefill/native角色参与(decode不参与),页粒度为64 token,L3中1个对象=1页:

  • L1:主KV cache池(DDR),即原有主池;
  • L2:额外DDR池(host pool),大小由KUNPENG_HICACHE_RATIO/KUNPENG_HICACHE_SIZE决定(仅三级模式);
  • L3:外部存储后端,由KUNPENG_HICACHE_BACKEND选择,所有prefill节点共享。
export ENABLE_KUNPENG_HICACHE=1   # 总开关,默认0
export KUNPENG_HICACHE_L1L3=1     # 默认1=两级模式(L1+L3,去掉L2 host池,改用固定大小扁平中转缓冲);0=三级模式(L1+L2+L3)
  • mooncake后端(默认):launch.sh all会自动检测「prefill/native实例启用HiCache且后端为mooncake」,先拉起mooncake store master与store service;stop.sh all最后自动停止两者。主要变量:MOONCAKE_MASTER_NODE/MOONCAKE_MASTER_PORT(默认ROUTER_IP:50061)、MOONCAKE_STORE_NODE(默认同master节点)、MOONCAKE_STORE_PORT(默认8081)、MOONCAKE_STORE_SEGMENT_SIZE(默认64gb)、MOONCAKE_DEVICE(RDMA设备列表)、MOONCAKE_ENABLE_SSD_OFFLOAD(=1启用SSD offload,需设MOONCAKE_OFFLOAD_FILE_STORAGE_PATH)。存储布局自动选择page_first。
  • file后端:设置KUNPENG_HICACHE_BACKEND=file,并指定所有prefill节点共享的目录KUNPENG_HICACHE_L3_DIR(留空=关闭L3,仅L1↔L2),存储布局为layer_first。
  • 其他设置:KUNPENG_HICACHE_WRITE_POLICY(写策略,默认write_through)、KUNPENG_HICACHE_PREFETCH_POLICY(L3预取策略,默认wait_complete,即等待整页加载完成以避免重算;可选timeout/best_effort提前放弃)、KUNPENG_HICACHE_RATIO/KUNPENG_HICACHE_SIZE(L2大小,SIZE优先于RATIO)、SGLANG_HICACHE_DEBUG(=1输出详细传输日志)。

各层级变量细节与调优说明参见HiCache使用指南。

3.7 环境变量说明

3.7.1 功能类

1. SGLANG_ENABLE_BINARY_LAUNCH / SGLANG_ENABLE_NUMA_DUPLICATION — 二进制启动模式

export SGLANG_ENABLE_BINARY_LAUNCH=1      # 默认开
export SGLANG_ENABLE_NUMA_DUPLICATION=1   # 默认开
  • 作用:每个scheduler进程独立启动,使用--tp-rank-in-node区分rank号。runtime/server_cluster.sh遍历RANK_IN_NODE逐个启动进程,绑CPU核(taskset -c)并配置大页。关闭时仅有一个python -m sglang.launch_server进程。
  • SGLANG_ENABLE_NUMA_DUPLICATION:在上述基础上,每个NUMA节点使用PYINSTALL_PATH/dist/sglang_server_tp{rank}/下的独立预编译二进制(SGLANG_ENABLE_BINARY_LAUNCH开启前提下),实现各NUMA节点内存本地化,减少跨NUMA访存。关闭时所有rank共享一个二进制,同时影响LD_LIBRARY_PATH的设置逻辑。多副本的构建(PyInstaller打包与NUMA副本复制)请参考PyInstaller打包工具说明。

2. SGLANG_ENABLE_TOKENIZER_SEPERATE — 分离Tokenizer

export SGLANG_ENABLE_TOKENIZER_SEPERATE=1  # PD角色默认开,native默认关
  • 作用:将tokenizer从推理进程中拆出,由router节点上的独立HTTP server统一做tokenize/detokenize。
  • 效果:PD分离场景下由launch.sh tokenizer在router节点拉起各侧tokenizer HTTP server,Model Gateway将请求路由到tokenizer端口。native场景无需开启。

3. SGLANG_ENABLE_HBW_POOL / SGLANG_KUNPENG_SWAP_* — HBW内存管理

export SGLANG_ENABLE_HBW_POOL=1            # 启用HBW KV cache分配,默认开
export SGLANG_KUNPENG_SWAP_KV_IN=0         # KV cache换入(DDR→HBM,SDMA异步拷贝)
export SGLANG_KUNPENG_SWAP_KV_OUT=0        # KV cache写回(HBM→DDR)
export SGLANG_KUNPENG_SWAP_KV_BLOCKWISE=0  # decode按块换入
export SGLANG_KUNPENG_SWAP_EXPERT=1        # 专家权重逐层换入(prefill默认1)
  • SGLANG_ENABLE_HBW_POOL=1:KV cache优先从高带宽内存分配,减少DRAM访存延迟。
  • SGLANG_KUNPENG_SWAP_KV_IN/OUT=1:允许HBW页与DRAM之间通过SDMA异步迁移;SWAP_KV_BLOCKWISE=1时decode仅换入所需块。
  • 相关设置:SGLANG_KUNPENG_WEIGHTS_HBW_POOL_SIZE_MB、SGLANG_KUNPENG_SWAP_MAX_KV_BLOCKS、SGLANG_KUNPENG_SDMA_MAX_EVENTS、SGLANG_KUNPENG_SDMA_THRESHOLD。

4. SGLANG_ENABLE_MTP — 多Token预测

export SGLANG_ENABLE_MTP=0              # 默认关
export SGLANG_SPECULATIVE_NUM_STEPS=2   # 投机步数,默认2
  • 作用:启用DeepSeek模型的NEXTN投机解码。=1时通过--speculative-algorithm NEXTN开启多Token预测以加速推理;SGLANG_SPECULATIVE_NUM_STEPS指定投机步数;SPECULATIVE_DRAFT_MODEL_PATH可指定MTP草稿权重(未设置时回退到MODEL_PATH)。decode侧开启MTP时SGLANG_KUNPENG_MAX_CUR_LEN自动取SGLANG_SPECULATIVE_NUM_STEPS+1。

5. SGLANG_ENABLE_GRAPH_CAPTURE — 图捕获

export SGLANG_ENABLE_GRAPH_CAPTURE=1  # 默认开
  • 作用:对forward计算做图捕获与重放,消除Python调度开销。相关设置:SGLANG_KUNPENG_GRAPH_CACHE_SIZE(捕获图缓存数量,默认10)、SGLANG_KUNPENG_EXTEND_POWER_2_PADDING(prefill图按2的幂对齐padding,默认开)、SGLANG_GRAPH_DEBUG_PRINT(逐算子调试打印)。逐op计时记录由/start_profile//stop_profile请求驱动。

6. SGLANG_ENABLE_KUCCL — kuccl通信后端

export SGLANG_ENABLE_KUCCL=0  # 默认关
  • 作用:=1时使用kuccl(UCX+UCG)集合通信后端替代gloo,需配置KUCCL_PATH。NUMA二进制副本模式下各rank自动使用NUMA本地的kuccl运行时插件副本。

7. SGLANG_KUNPENG_PP_LAYOUT — PP布局

export SGLANG_KUNPENG_PP_LAYOUT=0  # 默认0
  • 作用:PP rank布局方式。0=node_block,一个节点映射到一个PP stage(默认);1=interleave,每个节点承载全部PP stage(节点内rank 0..7属PP0、8..15属PP1)。

8. SGLANG_KUNPENG_RDMA_ALLGATHER / RDMA_BCAST / RDMA_PP_COMM — RDMA集合通信

export SGLANG_KUNPENG_RDMA_ALLGATHER=1  # 默认开
export SGLANG_KUNPENG_RDMA_BCAST=1      # 默认开
export SGLANG_KUNPENG_RDMA_PP_COMM=1    # 默认开
  • 作用:scheduler间同步的allgather/broadcast走RDMA(kutacc实现),PP rank间的rid传输走RDMA。需使用sglang_930分支构建的kutacc。

9. SGLANG_KUNPENG_LC_DP_RANKS / LC_MIN_SEQ_LEN — 长序列decode CP

export SGLANG_KUNPENG_LC_DP_RANKS=""        # 运行长上下文CP的DP rank列表,如"14,15"
export SGLANG_KUNPENG_LC_MIN_SEQ_LEN=4096   # 长序列判定阈值
  • 作用:input_len + max_new_tokens大于等于阈值的请求路由到LC DP rank做上下文并行decode,其余请求走常规rank。两个变量在prefill与decode实例间必须配置一致。

10. ENABLE_KUNPENG_HICACHE — 多级KV缓存

export ENABLE_KUNPENG_HICACHE=0  # 默认关
  • 作用:=1时启用HiCache多级KV缓存(仅prefill/native角色参与),L3后端由KUNPENG_HICACHE_BACKEND选择(mooncake/file)。详见3.6节与HiCache使用指南。

11. SGLANG_KUNPENG_FLASH_COMM — flash-comm

export SGLANG_KUNPENG_FLASH_COMM=0  # 默认关
  • 作用:=1时启用flash-comm(prefill SP MoE token切片 + 共享专家EPLB共置)。仅在prefill实例生效,需配套PREFILL_INIT_EXPERT_LOCATION(非trivial专家表,257逻辑专家)与PREFILL_REDUNDANT_EXPERTS(257 + 冗余数需能被ep_size整除)两个环境变量及共享专家权重文件。完整部署方法见3.2节第4部分。

3.7.2 其他开关类

  • SGLANG_USE_CPU_920F:标识鲲鹏920F平台,触发fork启动、仅加载deepseek模型、CPU绑核等平台优化。
  • SGLANG_USE_CPU_ENGINE:强制走CPU推理引擎。
  • SGLANG_SET_CPU_AFFINITY:启用CPU绑核。
  • SGLANG_LAUNCH_HTTP_ONLY:仅启动HTTP server不做推理,router节点使用。需配合SGLANG_ENABLE_TOKENIZER_SEPERATE。
  • SGLANG_SKIP_HTTP:跳过HTTP server启动,prefill/decode推理节点使用。需配合SGLANG_ENABLE_TOKENIZER_SEPERATE。
  • SGLANG_KUNPENG_PROFILE:函数调用耗时打印,帮助定位性能瓶颈。
  • SGLANG_KUNPENG_PP_PROFILE:decode流水线性能分析。
  • SGLANG_KUNPENG_MOE_FORCE_LOAD_BALANCE:=1强制MoE负载均衡(仅用于性能测试,不保证正确性)。
  • SGLANG_KUNPENG_MOE_SHUFFLE_MODE:动态冗余专家重排洗牌模式,0=轮询,1=随机。
  • SGLANG_KUNPENG_MOE_TOKEN_MULTIPLE:MoE token填充倍数,默认2。
  • SGLANG_KUNPENG_SAVE_AT_TRACE:=1记录专家激活数量。
  • SGLANG_DISABLE_RADIX_CACHE:=1时向启动参数追加--disable-radix-cache。
  • SGLANG_SCHEDULER_SKIP_ALL_GATHER:scheduler跳过allgather同步。注意:=1在长prompt prefill场景可能影响正确性。
  • SGLANG_TOKENIZER_BACKEND:tokenizer后端,huggingface(默认)或fastokens(需transformers>=5.12)。
  • SGLANG_TOKENIZER_TIMELINE_LOG:tokenizer侧跨进程batch时间线日志。
  • KUTACC_ASYNC_LAUNCH:kutacc异步launch,默认1;=0时KUPL_EXECUTOR_COUNT需设为32。
  • KUPL_SHM_TYPE / KUPL_SHM_ON_PACKAGE / KUPL_SHM_ENABLE_HUGEPAGE:kupl共享内存后端(sls)、package内存与大页开关。
  • SGLANG_SET_ZMQ_CPU_AFFINITY_OFFSET:ZMQ线程CPU亲和起始核。
  • SGLANG_KUNPENG_QWEN:=1时放行Qwen3.5系列模型(qwen3_5/qwen3_5_mtp)的加载(见3.3节)。
  • SGLANG_KUNPENG_DISABLE_MLA_ALL2ALL:=1禁用MLA alltoall路径,默认0。
  • SGLANG_KUNPENG_ALLTOALL_FENCE:=1在MLA shm alltoall后追加显式kupl_shm_fence,默认0。
  • SGLANG_KUNPENG_ALLREDUCE_NAIVE:=1使用非kutacc的朴素shm allreduce,默认0。
  • SGLANG_KUNPENG_ENABLE_SHM_FENCE:SHM fence开关,默认0。
  • SGLANG_ENABLE_OVERLAP:调度overlap开关,默认0;SGLANG_ENABLE_OVERLAP_TRACE为对应trace开关。
  • SGLANG_KUNPENG_HBW_RESIDENT_NON_EXPERT_WEIGHTS / _EXPERT_WEIGHTS / _GRAPH:非专家权重/专家权重/图权重HBW常驻开关。非专家与图默认1;专家权重全局默认0,decode侧默认1。
  • SGLANG_KUNPENG_MOE_PREFILL_FORCE_DDR:=1时prefill MoE权重强制走DDR(长prompt prefill实例使用)。
  • LONG_PROMPT_PREFILL_INSTANCE:=1启用长prompt prefill实例预设(TP=16/DP=1/PP=16、chunk 2048、MoE强制DDR)。

3.7.3 大小/阈值类

共享内存池

  • SGLANG_KUNPENG_PREFILL_SHM_SIZE_MB:prefill阶段共享内存池大小,默认476MB。
  • SGLANG_KUNPENG_DECODE_SHM_SIZE_MB:decode阶段共享内存池大小,默认100MB。

HBW内存池

  • SGLANG_KUNPENG_WEIGHTS_HBW_POOL_SIZE_MB:权重缓存在高带宽内存中的预分配大小,默认3400MB(prefill侧3400、decode侧3900)。
  • SGLANG_KUNPENG_MEMORY_ALIGNMENT:HBW内存对齐字节数,默认4096。
  • SGLANG_KUNPENG_SWAP_MAX_KV_BLOCKS:按块换入时最大KV块数,默认512。

SHM批处理容量

  • SGLANG_KUNPENG_MAX_SEQ_NUM:SHM预分配最大序列数。prefill默认8,decode默认64。
  • SGLANG_KUNPENG_MAX_CUR_LEN:SHM预分配最大序列长度。prefill默认576,decode默认1(MTP时为投机步数+1)。
  • SGLANG_KUNPENG_MAX_SEQ_LEN:最大序列长度,默认65536。

SDMA传输

  • SGLANG_KUNPENG_SDMA_MAX_EVENTS:SDMA最大并发事件数,默认10。
  • SGLANG_KUNPENG_SDMA_THRESHOLD:SDMA传输阈值,超过此大小使用硬件DMA而非CPU memcpy,默认5。

调度与并发

  • CHUNKED_PREFILL_SIZE_PER_DP:每DP rank的chunked prefill大小,默认4096(实际启动参数为该值×DP_SIZE)。
  • STREAM_INTERVAL:流式输出刷新间隔token数(--stream-interval),默认1。
  • TOKENIZER_WORKER_NUM:tokenizer worker数量,默认1。
  • SGLANG_DISAGGREGATION_THREAD_POOL_SIZE:PD分离传输线程池大小,默认4。
  • SGLANG_PP_LAYER_PARTITION:decode PP各stage层数划分(如"35,26"),项数=decode PP size,总和=模型总层数。

模型加载

  • LOAD_FORMAT:权重加载格式,支持sharded_state与kunpeng_state,启用分片/预格式化加载加速启动(DeepSeek V3 INT8推荐)。

多线程后端

  • KUPL_EXECUTOR_BACKEND / KUPL_EXECUTOR_COUNT:指定kupl多线程后端与线程数。常规PyTorch仅支持omp。KUPL_EXECUTOR_COUNT默认33(KUTACC_ASYNC_LAUNCH=0时需设为32)。
  • KUTACC_FUSEDMOE_MULTI_OPERAND_GEMM:kutacc fusedmoe gateup 多操作数 GEMM(decode 侧)。默认 1 = 8 个本地专家的 streaming/ZA 入口合并为一次内核调用;0 = 逐专家调用(回退)。

其他

  • DROP_CACHES:=1时stop.sh清理节点OS页缓存。
  • GEMM_TILING_PLAN_FILE:GEMM tiling计划文件路径,默认scripts/cpu_kunpeng/configs/gemm_32_tiling.csv。
  • SDMA_KO_PATH:SDMA驱动ko文件路径。
  • KUCCL_PATH:kuccl安装路径(SGLANG_ENABLE_KUCCL=1时需要)。
  • LIBPTHREAD_HOOK_PATH:libpthread_hook.so路径(分离tokenizer模式使用)。

3.7.4 路由策略类

  • ROUTER_PREFILL_POLICY:Model Gateway的prefill路由策略。留空使用主策略(cache_aware);设为bucket启用bucket策略(要求INSTANCES含至少2个prefill条目)。
  • ROUTER_BALANCE_ABS_THRESHOLD:bucket策略下两实例累计字符数绝对差阈值,默认64。
  • ROUTER_BALANCE_REL_THRESHOLD:bucket策略下相对负载阈值,默认1.5。
  • ROUTER_BUCKET_ADJUST_INTERVAL_SECS:bucket分界线自动调整间隔秒数,默认5。
  • ROUTER_PREFILL_SHORT_COUNT:分组模式短序列组prefill实例数,默认0(动态均衡模式);大于0时启用短/长序列固定分组路由。
  • ROUTER_PREFILL_LENGTH_THRESHOLD:分组模式字符长度阈值,默认4096(按字符计,非token)。

策略细节与多实例路由说明参见多实例部署指南。

4. 正确性验证

验证脚本scripts/cpu_kunpeng/curl.sh支持多种功能,以下为常用用法;scripts/cpu_kunpeng/client/tokenize.py用于统计prompt的实际token数。

4.1 基本用法

sh curl.sh                       # 基础推理(默认prompts/128.txt,32 req/s)
sh curl.sh -s -m 50              # 流式,50 tokens
sh curl.sh -n 10 -m 20           # 10个请求
sh curl.sh -s -f prompts/1k.txt  # 长prompt
sh curl.sh -J -f chat.jsonl      # chat模式:-f为JSONL请求体,直发/v1/chat/completions
sh curl.sh -i                    # 多轮交互式对话
python3 client/tokenize.py -f prompts/1k.txt  # 统计prompt的token数(发往/v1/tokenize)

client/tokenize.py用法:-f FILE[,FILE...]|DIR指定prompt来源(每个文件整体作为一个prompt,支持多行;多个文件用逗号分隔;目录取其中*.txt/*.md按文件名排序逐个作为prompt)。目标地址可用HOST/PORT环境变量覆盖(默认ROUTER_IP或127.0.0.1的30000端口)。

4.2 路由测试

# 固定路由到指定DP rank
sh curl.sh -d 3 -n 10 -m 20
# 在rank区间内轮询(支持"0-15"、"0,2,5"等写法)
sh curl.sh -d 0-15 -n 10 -m 20

4.3 性能分析

# 开启profile模式(自动调用 start_profile / stop_profile;
# PD分离部署下自动发往两侧tokenizer HTTP端口)
sh curl.sh -p -s -f prompts/ragged.txt

4.4 参数说明

参数 说明 默认值
-p 启用profile(start/stop;PD分离部署下发往两侧tokenizer HTTP端口) 关闭
-s 启用流式输出 关闭
-d RANK|RANGE 固定路由到指定DP rank,或在rank集合内轮询(如0-15、0,2,5) 服务端负载均衡
-n NUM 请求数量(超过文件行数时循环使用prompt) 文件所有行
-m TOKENS 每请求/每轮最大token数 10(对话模式1024)
-r RATE 发送速率(req/s,需大于0) 32
-c CONC 最大并发请求数 等于请求数
-f FILE|DIR prompt来源:文件(每行一个prompt,支持gen_st_prompts.py输出的JSON行)或目录(每个*.txt/*.md文件作为一个整文件prompt,按文件名排序循环) prompts/128.txt
-J chat模式:-f文件为JSONL(每行一个含model/messages的chat请求体),直发/v1/chat/completions,由服务端渲染chat template 关闭
-v 详细统计(请求数>1时生效):decode吞吐表、接受率(配合-s)、每请求时延明细 关闭
-F fake-transfer模式(注入bootstrap_host=2.2.2.2,decode跳过KV传输;端口从INSTANCES的decode条目自动推导,CURL_PORT可覆盖) 关闭
-i 多轮交互式对话模式 关闭

请求默认发往env.sh中配置的ROUTER_IP(gateway所在节点,curl.sh通过source env.sh none读取);通过CURL_HOST/CURL_PORT环境变量可覆盖目标地址与端口(默认端口30000)。根据请求的返回结果对正确性进行验证。

4.5 基准测试

scripts/cpu_kunpeng/benchmark.sh支持GSM8K、MMLU精度基准与aisbench性能测试(对gateway端口发起):

bash benchmark.sh gsm8k --max-new-tokens 128 --num-questions 50
bash benchmark.sh mmlu  --nsub 60 --parallel 32

各测试项的默认值可通过环境变量覆盖,详见脚本头部说明。

5. 多实例部署

在一个集群中同时部署多个prefill/decode实例(实例专属配置文件、端口/NUMA资源自动推导、短长序列分组路由、不同PP拓扑的prefill混布等)的完整说明,请参见多实例部署指南。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages