分布式训练
通用环境变量列表
在使用分布式训练时,平台为用户注入了大量的通用环境变量,便于用户在代码中便捷地使用。
平台级环境变量
和角色无关
| 变量 | 变量说明 | 示例 |
|---|---|---|
| GJ_TRAINING_TASK_ID | 任务ID | 55195 |
| GJ_TRAINING_VC_JOB_NAME | 任务元数据名(Volcano Job 名称) | distributedtraining-72-hwxvccfg |
| GJ_TRAINING_ROLE | 角色名 | master |
| GJ_TRAINING_ROLE_INDEX | 角色索引 | 0 |
| GJ_TRAINING_ROLE_REPLICAS | 角色副本数 | 1 |
| GJ_TRAINING_FRAMEWORK | 框架 | PyTorch |
| GJ_TRAINING_POD_NAME | Pod名 | distributedtraining-72-hwxvccfg-master-0 |
| GJ_TRAINING_LOG_DIR | 任务工作区中的日志输出目录,未设置任务工作区其值为空字符串 | /workspace/logs |
| GJ_TRAINING_<ROLE>_CPU_LIMIT | 角色<ROLE>的CPU核数,对于myrole-0,变量名为 GJ_TRAINING_MYROLE_0_CPU_LIMIT |
128 |
| GJ_TRAINING_<ROLE>_GPU_LIMIT | 角色<ROLE>的GPU卡数,对于myrole-0,变量名为GJ_TRAINING_MYROLE_0_CPU_LIMIT | 8 |
| GJ_TRAINING_<ROLE>_REPLICAS | 角色<ROLE>的副本数,对于myrole-0,变量名为GJ_TRAINING_MYROLE_0_CPU_LIMIT | 1 |
Volcano 框架插件环境变量
和角色有关
| 框架 | 插件 | 运行时变量 |
| PyTorch | pytorch + svc | VC_TASK_INDEX、VK_TASK_INDEX、MASTER_ADDR、MASTER_PORT、WORLD_SIZE、RANK |
| MPI | mpi + ssh + svc | VC_TASK_INDEX、VK_TASK_INDEX、MPI_HOST,主要面向 master |
| TensorFlow | tensorflow + svc | VC_TASK_INDEX、VK_TASK_INDEX、TF_CONFIG |
| Custom | env + svc | VC_TASK_INDEX、VK_TASK_INDEX(这两个环境变量由env插件提供) |