Evaluation Nemo Evaluator 配置说明

# 配置参考 NeMo Evaluator 使用 Hydra 进行配置管理，并采用分层覆盖系统。 ## 配置结构 yaml # 完整配置结构 defaults: - execution: local # 执行后端 - deployment: none # 模型部署方式 - _self_ execution: # 执行器特定设置 output_dir: ./results mode: sequential target: # 模型端点设置 api_endpoint: model_id: model-name url: http://endpoint/v1/chat/completions api_key_name: API_KEY type: chat # chat, completions, vlm, embedding adapter_config: interceptors: [] evaluation: # 全局评估设置 nemo_evaluator_config: config: params: temperature: 0.0 parallelism: 4 # 任务列表 tasks: - name: task_name env_vars: {} nemo_evaluator_config: {} # 针对特定任务的覆盖 ## 配置部分 ### Defaults 部分 选择执行和部署的基础配置： yaml defaults: - execution: local # 选项: local, slurm, lepton - deployment: none # 选项: none, vllm, sglang, nim - _self_ 可用的执行配置： - `local` - 基于 Docker 的本地执行 - `slurm` - 通过 SSH/sbatch 的 HPC 集群 - `lepton` - Lepton AI 云平台 可用的部署配置： - `none` - 评估现有端点 - `vllm` - 使用 vLLM 部署模型 - `sglang` - 使用 SGLang 部署模型 - `nim` - 使用 NVIDIA NIM 部署模型 ### Execution 部分 控制评估的运行方式和位置： yaml execution: # 通用设置 output_dir: ./results # 结果写入位置 mode: sequential # sequential (顺序) 或 parallel (并行) # 本地执行器特定设置 docker_args: - "--gpus=all" - "--shm-size=16g" memory_limit: "64g" cpus: 8 # Slurm 执行器特定设置 hostname: cluster.example.com account: my_account partition: gpu qos: normal nodes: 1 gpus_per_node: 8 walltime: "04:00:00" # Lepton 执行器特定设置 resource_shape: gpu.a100-80g num_replicas: 1 ### Target 部分 指定要评估的模型端点： yaml target: api_endpoint: # 必填字段 model_id: meta/llama-3.1-8b-instruct url: https://integrate.api.nvidia.com/v1/chat/completions api_key_name: NGC_API_KEY # 环境变量名称 # 可选字段 type: chat # chat, completions, vlm, embedding timeout: 300 # 请求超时时间（秒） max_retri