【分散采购备案单】高精度***数据处理分析系统

项目概况

采购货物信息列表

序号	货物（服务）名称	数量	计量单位	预算单价
*	高精度***数据处理分析系统	*	套	******
	技术参数	设备硬件参数如下：*）***：配备***及以上显存的***卡×*；*）内存：采用**** ****及以上；*）存储：支持***以上的****存储空间；*）处理器：支持单****架构，具备**个物理核心，主频*.****以上；*）系统盘：***容量****以上；*）网卡：配置*个千兆电口和*个万兆光口。 设备功能点： 功能与服务要求如下：*）模型兼容能力：预置国际国内不少于*个开源模型，参数量级覆盖**、**、***、***、***、****，支持多种主流开源大模型管理，包括但不限于*****系列、****系列、********系列模型；*）模型运行性能：支持运行参数量为**** 模型，模型精度高于****，运行时并发请求数 >= *，>= ** *****/*，总的预填充速度 >= *** *****/*；*** ****模型，并发请求 >= **, 系统总吞吐 >= **** *****/*；*** ****模型，并发请求>=**, 系统总吞吐 >= **** *****/*；*** ****模型，并发请求>=**, 系统总吞吐 >= ***** *****/；*）模型并行能力：支持同时运行****、***、***参数量级模型。；*）模型精度：支持模型量化精度不得低于****量化，其中******** ****模型需要高于****精度，***及以下参数量模型需要支持****精度；*）接口支持：支持******标准**** ***********接口，支持模型调用的***加密；*）流量控制：支持对不同模型接口的并发请求数进行限制；*）安全控制：所有模型访问请求需经认证，禁止未认证请求直接通过端口访问；*）模型切换：支持模型切换策略，能够简单快速切换使用模型，无需手动修改底层参数即可启动模型；*)集群管理：支持多服务器集群管理能力，考虑集群性能优化，提高推理效率，要求在集群下支持部署预填充*解码（**************）解耦与大规模专家并行（**）技术； **）模型导入：支持自行上传模型的能力，上传后模型能通过平台调用；**）模型推理加速：模型运行时支持*****缓存加速，无需手动配置参数，采用图形化界面；**)模型启动管理:模型启动时支持指定***个数，支持手动选卡选择***个数，支持限制并发数，支持手动设置上下文长度;**)模型运行启动检测:支持模型启动时自动检测当前显存资源是否充足，并自动给出提示; **）图形化操作界面:以上功能均为图形化的操作界面，使用便捷。
	相关材料	参数.****