基础设施层:这是整个架构的基础支撑,支持 NVIDIA、昆仑芯等多种 AI 加速卡,以满足不同计算需求;同时兼容 CentOS、Ubuntu、麒麟等主流操作系统,确保与企业现有 IT 环境的兼容性,降低部署难度。
平台组件层:整合了一系列关键技术组件,包括容器引擎、镜像管理、BCCL 通信库、AIAK 加速套件、AI 组件及算力池化技术。这些组件协同工作,为上层应用提供了强大的技术支撑,例如容器引擎和镜像管理保障了应用的快速部署与一致性运行,BCCL 通信库和 AIAK 加速套件则提升了分布式计算的效率和模型处理的速度。
能力中心层:提供了丰富的功能模块,涵盖用户权限管理、多形态资源调度、大规模训练任务管理、弹性模型部署及自动化运维等。用户权限管理确保了不同角色的人员能在合适的权限范围内开展工作;多形态资源调度则能根据任务特点和资源状况,实现资源的最优分配;大规模训练任务管理和弹性模型部署满足了企业在模型开发和应用落地过程中的多样化需求;自动化运维则减轻了企业的运维负担,提高了系统的稳定性。
模型弹性化托管:提供灵活的模型托管服务,支持模型根据业务需求进行弹性伸缩。当业务量激增时,能够快速增加资源以保障模型的稳定运行;当业务量下降时,又能自动缩减资源,避免浪费,从而适应不同规模的业务需求,提高资源的利用效率。
训练推理加速:通过对算子的深度优化,显著提升模型训练和推理的速度。在模型训练阶段,能够缩短训练周期,让企业更快地得到可用的模型;在推理阶段,能够提高响应速度,提升用户体验,尤其适用于对实时性要求较高的业务场景,如智能客服、实时推荐等。
资源利用率提升:提供多种资源调度策略,确保资源能够得到高效分配和使用。通过对资源的精细化管理,避免了资源闲置和浪费的情况,帮助企业降低成本,提高投入产出比。
轻量快速交付:采用容器化和轻量级部署方式,能够实现快速交付和上线,大大缩短业务迭代周期。同时,提供从单机到集群的平滑扩展方案,企业可以根据业务的发展逐步扩大规模,无需担心技术壁垒和兼容性问题。
一体机扩展方案:适用于已交付百舸 DeepSeek 一体机的客户,无需重新部署就能扩展异构算力资源,包括高性能存储、高性能网络等。其优势在于灵活性和简便性,企业在单机使用后,可根据实际业务场景逐步增加资源,计算、网络、存储等都能根据需求弹性扩展,避免了一次性大规模投入带来的风险和浪费。
高可用方案:面向需要完整建设异构计算平台的企业,能提供管控面高可用、一体化网络及存储(并行文件存储、对象存储)等能力,还可对接镜像中心等客户自有平台。该方案的优势是提供全功能、高可用的完整版产品功能,能够一次性满足小、中、大规模异构资源管理建设诉求,确保企业的 AI 业务能够稳定、高效地运行。
昆仑版:支持训练推理全场景,算力采用 “Intel / 海光 4 号 CPU + 百度自研的昆仑芯 P800 加速卡模组”,集成了 5 大组件技术,支撑 7 大能力中心。它深度适配 DeepSeek V3&R1 及蒸馏模型,提供友好的用户界面及多种部署访问方式,交付上线速度快,能有效加速客户 AI 应用落地。其预置功能丰富,包括资源中心(根据任务需求智能分配算力、存储等资源)、用户中心(提供自定义用户、角色方便组织管理)、运维中心(提供丰富的可观测指标及多维度事件统计)、训练任务(提供针对模型的训练、微调及加速能力)、模型部署(提供灵活、便捷的模型部署及加速能力)、联网搜索(提供轻量化联网搜索能力对接)等。
NV 版:同样支持训练推理全场景,算力采用 “Intel+4/8 张 Nvidia H20/L20 GPU 卡加速卡”,也集成了 5 大组件技术,支撑 7 大能力中心,并且深度适配 DeepSeek V3&R1 及蒸馏模型,提供友好的用户界面及多种部署访问方式,交付上线快,能加速客户 AI 应用落地。该版本凭借 Nvidia GPU 的强大性能,在处理大规模、高精度的 AI 任务时表现出色,适合对算力要求较高的企业。
下一篇:千帆一体机:企业大模型应用的全能解决方案