自定義 : 1.原廠正品 2.高度：≤6U機架式服務器 3.處理器：配置≥2顆Intel Xeon處理器，單顆處理器≥56核，基本主頻≥2.0GHz 4.內(nèi)存：配置≥32條64GB DDR5 4800MHz內(nèi)存 5.硬盤：配置≥2塊480G SSD硬盤，≥4塊7.68T NVME SSD硬盤； 6.RAID卡：配置≥1塊RAID卡，緩存≥2GB； 7.網(wǎng)絡：配置≥2個萬兆網(wǎng)絡接口（含SFP+光模塊），配置≥1塊雙口HDR 200Gb HCA卡及1根IB線纜； 8.GPU卡：配置≥8塊NVIDIA * 96GB GPU卡；為滿足AI計算通信需求，要求基于bandwidthTest的Host to Device帶寬≥55GB/s、基于p2pBandwidthLatencyTest實測的GPU卡間通信帶寬≥740GB/s、基于stream實測的顯存帶寬≥3.2TB/s、基于nccl-test實測的8卡Allreduce通信性能≥420GB/s； 9.I/O擴展槽：可擴展≥10個PCIe 5.0 x16插槽； 10. 管理：配置AI服務器統(tǒng)一管理軟件，支持服務器全方位性能監(jiān)控，包括CPU 利用率、CPU溫度、內(nèi)存使用率、SWAP使用率，TCP重傳率，UDP連接數(shù)，硬盤讀寫次數(shù)及讀寫時速率，出入風口溫度，風扇轉(zhuǎn)速及風扇占空比，網(wǎng)絡發(fā)送速率、接收速率等，系統(tǒng)進程數(shù)等；支持服務器BMC、BIOS、硬盤、RAID卡、網(wǎng)卡批量升級，服務器BIOS、BMC、RAID批量配置；支持服務器硬盤故障預測、內(nèi)存故障預測功能；支持流程管理功能，包括設備上架流程、設備下架流程、問題處理流程、測試環(huán)境變更流程、硬件變更改配流程、設備位置變更流程等； 11.AI平臺：配置2個節(jié)點及以上的AI訓推一體平臺軟件；支持通過平臺快速構建交互式AI開發(fā)環(huán)境，提供Jupyter、Webshell在線交互開發(fā)功能，支持對接第三方開發(fā)工具VSCode、PyCharm；支持單機或分布式訓練任務，可以提交Tensorflow、Caffe、pytorch、PaddlePaddle、MXNet框架的單機或分布式訓練作業(yè)，支持大模型訓練容錯；****服務部署，支持基于標準模型文件、自定義Docker鏡像、yaml、Helm等多種部署方式；支持推理服務生命周期管理，支持服務上線過程中的離線測試、定時發(fā)布、流量調(diào)節(jié)、在線部署、多分桶測試、在線滾動更新、灰度發(fā)布、在線服務評估、服務下線等全流程服務管理能力；支持GPU共享，支持GPU顯存隔離切分、GPU復用、Mig配置三種GPU共享方式；支持親和性調(diào)度策略、可基于數(shù)據(jù)集緩存位置、交換機拓撲、節(jié)點親和性等親和性策略進行調(diào)度；支持平臺內(nèi)創(chuàng)建持久卷聲明，****服務部署模式掛載持久卷聲明進行；提供數(shù)據(jù)緩存加速機制，數(shù)據(jù)集可高速并行緩存到計算節(jié)點本地，并提供緩存數(shù)據(jù)的生命周期管理，支持緩存進度查看，可進行緩存數(shù)據(jù)的增量更新、手動清理等。 12. 支持基于yum的模塊安裝與更新、實現(xiàn)應用軟件及其依賴組件的高效安裝與更新。 13. 售后服務：提供三年原廠售后支持服務，官方網(wǎng)站查詢配置與實際供貨配置一致； 14. 電源：配置冗余電源； 15. 制造商進行過至少1個NLP大模型如GPT2、GPT3等參數(shù)量大于10億的NLP語言模型的擴展性測試，測試內(nèi)容需包含單機多卡的性能測試和多機多卡的性能測試； 16. 制造商進行過AI多機并行加速性能測試，測試至少兩種深度學習框架，使用ImageNet圖片集，測試模型采用AlexNet，或Resnet從1個GPU卡到16個GPU卡的性能，加速比≥14x；;

自定義 : 1.原廠正品 2.高度：≤6U機架式服務器 3.處理器：配置≥2顆Intel Xeon處理器，單顆處理器≥28核，基本主頻≥2.0GHz 4.內(nèi)存：配置≥16根32GB ECC 內(nèi)存，可擴展≥32根內(nèi)存條 5.硬盤：配置≥2塊480G SSD硬盤，≥4塊3.84T NVME SSD硬盤，支持≥12塊3.5寸硬盤擴展； 6.RAID卡：配置≥1塊RAID卡，緩存≥2GB； 7.網(wǎng)絡：配置≥4個千兆網(wǎng)絡接口，配置≥2個萬兆網(wǎng)絡接口（含SFP+光模塊），配置≥1塊雙口HDR 200GbHCA卡及1根IB線纜； 8.GPU卡：配置≥6塊NVIDIA L20 48GB GPU卡； 9.I/O擴展槽：滿配GPU卡后，同時支持≥4個PCIe x16插槽； 10.拓撲切換：支持在不斷電情況下實現(xiàn)CPU-GPU間拓撲切換，支持Balance/Common/Cascade三種拓撲； 11. 管理：配置AI服務器統(tǒng)一管理軟件，支持服務器全方位性能監(jiān)控，包括CPU 利用率、CPU溫度、內(nèi)存使用率、SWAP使用率，TCP重傳率，UDP連接數(shù)，硬盤讀寫次數(shù)及讀寫時速率，出入風口溫度，風扇轉(zhuǎn)速及風扇占空比，網(wǎng)絡發(fā)送速率、接收速率等，系統(tǒng)進程數(shù)等；支持服務器BMC、BIOS、硬盤、RAID卡、網(wǎng)卡批量升級，服務器BIOS、BMC、RAID批量配置；支持服務器硬盤故障預測、內(nèi)存故障預測功能；支持流程管理功能，包括設備上架流程、設備下架流程、問題處理流程、測試環(huán)境變更流程、硬件變更改配流程、設備位置變更流程等； 12.AI平臺：配置1個節(jié)點（物理服務器）人工智能訓推一體平臺；支持通過平臺快速構建交互式AI開發(fā)環(huán)境，提供Jupyter、Webshell在線交互開發(fā)，支持對接第三方開發(fā)工具VSCode、PyCharm；支持單機或分布式訓練任務，可以提交Tensorflow、Caffe、pytorch、PaddlePaddle、MXNet框架的單機或分布式訓練作業(yè)，支持大模型訓練容錯；****服務部署，支持基于標準模型文件、自定義Docker鏡像、原生部署yaml、Helm部署多種部署方式；支持推理服務生命周期管理，支持服務上線過程中的離線測試、定時發(fā)布、流量調(diào)節(jié)、在線部署、多分桶測試、在線滾動更新、灰度發(fā)布、在線服務評估、服務下線等全流程服務管理能力；支持GPU共享，支持GPU顯存隔離切分、GPU復用、Mig配置三種GPU共享方式；支持親和性調(diào)度策略、可基于數(shù)據(jù)集緩存位置、交換機拓撲、節(jié)點親和性等親和性策略進行調(diào)度；支持平臺內(nèi)創(chuàng)建持久卷聲明，****服務部署模式掛載持久卷聲明進行；提供數(shù)據(jù)緩存加速機制，數(shù)據(jù)集可高速并行緩存到計算節(jié)點本地，并提供緩存數(shù)據(jù)的生命周期管理，支持緩存進度查看，可進行緩存數(shù)據(jù)的增量更新、手動清理等； 13.支持基于yum 的模塊安裝與更新、實現(xiàn)應用軟件及其依賴組件的高效安裝與更新，提供一年原廠技術支持服務。 14.電源：配置≥4個2200W電源； 15.售后服務：提供三年原廠售后質(zhì)保服務；官網(wǎng)查詢配置與實際供貨配置一致； 16.要求制造商進行過至少1個NLP大模型如GPT2、GPT3等參數(shù)量大于10億的NLP語言模型在GPU服務器上的擴展性測試，其中測試內(nèi)容需包含單機多卡的性能測試和多機多卡的性能測試； 17. 制造商進行過AI多機并行加速性能測試，測試至少兩種深度學習框架，使用ImageNet圖片集，測試模型采用AlexNet，或Resnet從1個GPU卡到16個GPU卡的性能，加速比≥14x；;