deepseekv3 开启 tp + ep 的混合模式的时候，精度会下降。

[hiworldwzj]

LOADWORKER=14 python -m lightllm.server.api_server --model_dir /mtc/sufubao/DeepSeek-V3.2 --tp 8 --graph_max_batch_size 32 --tool_call_parser deepseekv32 --mem_fraction 0.8 --reasoning_parser deepseek-v3 --dp 4 --enable_ep_moe

HF_ALLOW_CODE_EVAL=1 HF_DATASETS_OFFLINE=0 lm_eval --model local-completions --model_args '{"model":"deepseek-ai/DeepSeek-V3.2", "base_url":"http://localhost:8000/v1/completions", "max_length": 16384}' --tasks gsm8k --batch_size 500 --confirm_run_unsafe_code

上面是评测的命令，也做了tp 8 然后 dp 2， dp 1的消融分析，也是一样的现象，可能是ep 模式下，qkv 部分的支持切分可能存在精度问题。只有tp 8， dp 8 的时候，精度是正常的。

[hiworldwzj]

补充信息：
我发现 tp 8 dp 1 开 ep 精度直接崩了， tp 8 dp 2 或者 dp 4 精度只是下降。

[hiworldwzj]

补充信息:
tp 8 dp 1 不开 ep 精度是ok，结合上面的信息，说明问题大概率出现在moe权重加载部分。