概要:
**机架式服务器(含上架安装导轨)
*.支持双路 ***** ****® 第四/五代可扩展处理器(*******);
*.可扩展***(*******)*** ****内存;
*.通道******** *.****;支持*块双宽***卡;
*.可支持***.* ** *.*寸硬盘;
*.双口千兆以太网口;
*.*****(*+*)铂金级高效电源。
硬件参数要求:
*)处理器:配置*颗***** **** ****处理器,单颗处理器性能如下:核心数***;线程数**线程;主频*.* ***;最大睿频*.* ***;三级缓存** **;***功耗*** *;
*)内存:配置*条内存条,单条容量****,频率*******
*)系统盘:配置*块 企业级***** *** 硬盘
*)数据盘:配置*块 企业级 *** **** ******* 硬盘
*)配置*块*端口 ****/* **缓存****卡;支持**** *、*、*、*、**、** 和 **等****级别
*)扩展性:支持不低于**个前置热插拔*.* ****/***/****硬盘位
*)***: 本次配置*块***加速卡; ****** *** *** **** ********* ***
**)电源:配置≥*个*****电源
*)操作系统及技术支持:预安装****** ******系统操作系统,能够提供专用管理软件安装以及其他软件环境搭建的技术支持
其他要求:
*)机器学习/深度学习/大模型框架支持:集成深度学习各种框架(如**********,******* 等)模型开发、模型训练等;
*)开发容器管理:提供基于容器的开发容器创建、停止、复制等管理功能,用户可基于公共镜像、自定义镜像创建开发容器;可将开发容器保存为容器镜像,用于训练、推理的运行环境;提供 ******* ********、****** 等主流开发环境;
*)训练任务管理:可通过***界面快速创建大模型/机器学习的模型训练任务
*)用户可按需选择所需的 *** 资源, 支持多机多卡分布式大规模训练;支持在线查看训练日志,
*)支持 *** ***方式登录和操作训练任务所运行的各个容器;训练完成销毁运行环境、释放计算资源;可灵活配置训练参数;支持基于*********** 的训练可视化;
*)推理服务管理:可通过***界面快速创建推理服务,用户可按需选择所需的***资源,
*)支持 ******、******** 等推理加速技术;可灵活配置推理服务启动参数;
*)大模型应用快速构建:基于推理服务的大模型应用快速构建功能,用户可通过 ***界面简单配置后形成大模型应用;支持向量数据库创建与管理,并作为知识库提供给大模型;支持提示词工程;
*)支持多模态大模型应用的创建;提供易用的大模型应用界面访问方案,并提供 *** 接口体系供大模型应用的二次开发;