配置生成脚本#
自动生成工作负载配置的Python脚本位于以下路径:
${NPU_SIM_ROOT}/llm/test/tool_script/workload_autogen.py
脚本使用方法:#
可参考脚本中定义的各参数使用。目前支持的参数配置如下:
参数名 |
参数含义 |
默认值 |
|---|---|---|
output_dir |
输出目录 |
./test |
output_name |
输出文件名 |
config.json |
B |
batch_size |
1 |
T |
平均输入长度 |
256 |
DH |
head_dim |
128 |
NH |
head_num |
32 |
KVH |
kv_head_num |
8 |
HS |
hidden_size |
2560 |
L |
model_layer |
32 |
pp |
PP size |
32 |
dp |
DP size |
1 |
tp |
TP size |
1_1 (mn维度_k维度) |
IS |
intermed_size |
9728 |
avg_output |
平均输出长度 |
50 |
model |
模型架构 |
gpt (可选 gpt or qwen) |