隨著大型語言模型(Large Language Model,LLM)的快速發展以及Meta的Llama-3和Mistral的Mixtral 8x22B等開源模型不斷推出,企業更容易取得並使用當今最先進的AI模型。簡化AI基礎設施並以最具成本效益的方式提供存取能力,對於支援目前的快速AI變革至關重要。Supermicro雲端原生AI SuperCluster使即時存取的雲端便利性和可攜性之間得以連結,並透過NVIDIA AI Enterprise讓任何規模的AI專案,從評估測試階段順暢地進行到實際作業階段。這提供了能在任何地方運行並安全管理資料的靈活性,包括自架系統或地端大型資料中心。
隨著各界企業快速進行生成式AI的實驗性使用,Supermicro與NVIDIA密切合作,確保完善且靈活地從AI應用的實驗和評估試行推動至作業部署和大規模資料中心AI。此順暢流程是藉由NVIDIA AI Enterprise軟體平台的機櫃、叢集級最佳化而實現,能使從初步探索至可擴展AI落地的過程更流暢無阻。
託管服務涉及基礎架構的選擇、資料共享和生成式AI策略控管。NVIDIA NIM微服務作為 NVIDIA AI Enterprise的一部分,可在無缺陷情況下提供託管生成式AI和開源部署優勢。其多功能推論運行環境透過微服務,可加速從開源模型到NVIDIA基礎模型等各類型生成式AI的部署。此外,NVIDIA NeMoTM可實現透過資料庋用、進階自訂和檢索增強生成(Retrieval-Augmented Generation,RAG)的客製模型開發,以實現企業級解決方案。與搭配NVIDIA AI Enterprise的Supermicro SuperCluster整合後,NVIDIA NIM能為可擴展、加速型生成式AI作業的部署提供最快途徑。