配置生成脚本

配置生成脚本#

自动生成工作负载配置的Python脚本位于以下路径:

${NPU_SIM_ROOT}/llm/test/tool_script/workload_autogen.py

脚本使用方法:#

可参考脚本中定义的各参数使用。目前支持的参数配置如下:

参数名

参数含义

默认值

output_dir

输出目录

./test

output_name

输出文件名

config.json

B

batch_size

1

T

平均输入长度

256

DH

head_dim

128

NH

head_num

32

KVH

kv_head_num

8

HS

hidden_size

2560

L

model_layer

32

pp

PP size

32

dp

DP size

1

tp

TP size

1_1 (mn维度_k维度)

IS

intermed_size

9728

avg_output

平均输出长度

50

model

模型架构

gpt (可选 gpt or qwen)