您当前的位置:首页产经 >  >> 
京东云推出vGPU池化方案:GPU利用率最高提升70%
来源:中关村在线      时间:2023-08-16 11:17:18


(资料图片仅供参考)

京东云近日推出了vGPU池化方案,据官方表示,这一方案能提供一站式GPU算力池化能力,使GPU利用率最高提升70%,大幅降低大模型推理成本。京东云凭借自主研发的混合多云操作系统云舰,在原有支持混合多云CPU算力池化能力基础上,针对大模型训练所需的泛算力池化能力,进一步增加了针对AI应用所需的调度管理能力,包括卡管理、节点管理、异构资源调度管理等。这为包括大模型训练在内的多种AI应用,提供了一站式算力池化解决方案,从而全面提升资源利用率。京东云的池化方案具有四大优势:算力切分灵活,支持任意比例切分和动态调整机制,一张物理卡可供多个容器使用,性能衰减在2%以内;精细化配额管理,支持灵活的配额管理,有效保障资源按需分配,提升推理稳定性和训练性能;多场景适配,适配主流CUDA版本和不同GPU芯片适配,支持TensorFlows、Pytorch等行业主流的AI训练框架;多节点管理,支持节点虚拟分组和节点组指定应用使用,全面提升大模型训练效率。在使用场景中,开发者可以根据卡型号申请资源,按算力和显存切分,统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配,在任务结束即可释放,支持多任务算力隔离和任务冷启动。从实践效果看,通过GPU异构资源池化,AI运行效率显著提高,整体GPU利用率提升70%。结合任意切分和按需分配,在同等GPU数量的前提下,实现了数倍业务量扩展和资源共享,降低了硬件采购成本,使用更少的AI芯片支撑了更多的训练和推理任务。

标签:

X 关闭

X 关闭