AMD在Advancing AI 2024上發表領先業界的AI解決方案 (台北新聞網-大台灣新聞網)

AMD推出第5代AMD EPYC處理器、AMD Instinct MI325X加速器、新一代網路解決方案和AMD Ryzen AI PRO處理器，為企業AI提供大規模支援

AMD攜手戴爾、Google Cloud、HPE、聯想、Meta、微軟、Oracle Cloud Infrastructure、Supermicro和AI領導者Databricks、Essential AI、Fireworks AI、Luma AI及Reka AI，展示針對企業和終端使用者擴展的AMD AI解決方案

Cohere、Google DeepMind、Meta、微軟、OpenAI等公司的技術領導者分享如何使用AMD ROCm軟體在AMD Instinct加速器上部署模型和應用程式

台北—2024年10月11日—AMD（NASDAQ: AMD）推出定義人工智慧（AI）運算時代的最新高效能運算解決方案，包括第5代AMD EPYC™伺服器CPU、AMD Instinct™ MI325X加速器、AMD Pensando™ Salina DPU、AMD Pensando Pollara 400 NIC和適用於企業級AI PC的AMD Ryzen™ AI PRO 300系列處理器。AMD攜手合作夥伴展示如何大規模部署AMD AI解決方案、AMD ROCm™開源AI軟體產業體系的持續成長動能，以及眾多基於AMD Instinct加速器、EPYC CPU和Ryzen PRO CPU的全新解決方案陣容。

AMD董事長暨執行長蘇姿丰博士表示，資料中心和AI為AMD帶來了巨大的成長機會，採用EPYC和AMD Instinct處理器的客戶正持續增長，挹注著強勁的發展動能。憑藉全新的EPYC CPU、AMD Instinct GPU和Pensando DPU，我們正在提供領先業界的運算能力，為客戶最重要、最嚴苛的工作負載提供支援。展望未來，我們預計資料中心AI加速器市場至2028年將成長至5,000億美元。AMD致力於透過擴展的晶片、軟體、網路和叢集等級解決方案大規模地提供開放式創新。

定義AI時代的資料中心
AMD為AI、企業、雲端和混合式工作負載推出廣泛的資料中心解決方案組合：
• 全新AMD EPYC 9005系列處理器提供破紀錄的效能註1，實現滿足不同資料中心需求的最佳化運算解決方案。AMD EPYC 9005系列處理器基於最新的“Zen 5”架構，提供多達192核心，即日起在各大OEM和ODM的多種平台上提供。
• AMD持續履行年度AI加速器產品藍圖的節奏，推出AMD Instinct MI325X，為要求最嚴苛的AI工作負載提供領先的效能和記憶體功能。AMD也分享預計在2025年下半年推出的下一代AMD Instinct MI350系列加速器的新細節，擴展AMD Instinct在記憶體容量和生成式AI效能的領先優勢。AMD在開發基於AMD CDNA Next架構的AMD Instinct MI400系列加速器方面取得重大進展，計劃於2026年推出。
• AMD持續推進AMD ROCm軟體堆疊，使AMD Instinct MI300X加速器在各種熱門的AI模型中的推論和訓練效能提升1倍註2。如今，超過100萬個模型在AMD Instinct上無縫運行且開箱即用，是MI300X推出時可用數量的3倍，並且為最廣泛採用的模型提供Day-0支援。
• AMD亦擴展高效能網路產品組合，以滿足AI基礎設施不斷演變的系統網路需求，最大限度地提升CPU和GPU效能，從而在整個系統中提供效能、可擴展性和效率。AMD Pensando Salina DPU為AI系統提供高效能前端網絡，而首款UEC就緒的AMD Pensando Pollara 400 NIC可降低效能調整的複雜性，有助於縮短生產時間。

AMD合作夥伴展示如何運用AMD資料中心解決方案推動領先的生成式AI功能、提供數百萬人每天使用的雲端基礎設施，並為領先企業提供本地和混合式資料中心支援：
• 自2023年12月推出以來，AMD Instinct MI300X加速器已被各大雲端、OEM和ODM合作夥伴大規模部署，每天為數百萬廣受歡迎之AI模型的使用者提供服務，包括OpenAI的ChatGPT、Meta Llama以及Hugging Face平台上超過100萬個開源模型。
• Google重點分享AMD EPYC處理器如何為AI、高效能、通用型和機密運算等各種執行個體（instance）提供支援，其中包括其AI Hypercomputer，這是一款旨在最大化AI投資回報率的超級運算架構。Google也宣布搭載EPYC 9005系列的虛擬機器將於2025年初上市。
• Oracle Cloud Infrastructure (OCI)分享如何運用AMD EPYC CPU、AMD Instinct加速器和Pensando DPU為Uber、Red Bull Powertrains、PayPal和Fireworks AI等客戶提供快速、節能的運算和網路基礎設施。OCI宣布推出搭載EPYC 9005處理器的全新E6運算平台。
• Databricks展示其模型和工作流程如何在AMD Instinct和ROCm上無縫運行，並透露他們的測試顯示AMD Instinct MI300X GPU的大記憶體容量和運算能力有助於在Llama和Databricks專有模型上實現50%以上的效能提升。
• 微軟執行長Satya Nadella分享微軟與AMD在產品和基礎設施方面的長期合作和共同創新，MI300X在Microsoft Azure和GPT工作負載上提供了強大的效能。Nadella與蘇姿丰博士也一同探討兩家公司在AMD Instinct藍圖上的深入合作關係，以及微軟計劃如何運用未來數代AMD Instinct加速器（包括MI350系列及未來版本）為AI應用提供領先業界的每瓦每美元效能。
• Meta詳細介紹了AMD EPYC CPU和AMD Instinct加速器如何在AI部署和服務中為Meta運算基礎設施提供支援，並透過MI300X為Llama 405B上的所有即時流量提供服務。Meta也與AMD合作，從晶片、系統、網路到軟體和應用程式實現AI效能最佳化。
• 戴爾、HPE、聯想和美超微（Supermicro）等各大OEM廠商正在擴展其基於高效能、高能效的AMD EPYC處理器產品陣容，推出旨在實現AI時代資料中心現代化的全新平台。

持續擴大開放AI產業體系
AMD持續推進開放式AI產業體系，並透過全新功能、工具、最佳化和支援以擴展AMD ROCm開源軟體堆疊，幫助開發人員從AMD Instinct加速器中獲取極致效能，並為當今的AI技術提供即時的支援。來自Essential AI、Fireworks AI、Luma AI和Reka AI的領導者探討了他們如何在AMD硬體和軟體實現模型最佳化。

AMD亦舉辦開發者大會，吸引來自微軟、OpenAI、Meta、Cohere、xAI等AI開發者產業體系的技術領導者。由對AI轉型至關重要的AI程式語言、模型和框架（例如Triton、TensorFlow、vLLM和Paged Attention、FastChat等）的發明者主持精彩演講，分享了開發人員如何透過廠商獨立（vendor-agnostic）的編程語言來解鎖AI效能最佳化、在AMD Instinct加速器上加速模型，並分享移植到ROCm軟體的簡易性以及產業體系如何從開源方法中受益。

透過AI PC提升企業生產力
AMD推出AMD Ryzen AI PRO 300系列處理器，為首款商用微軟Copilot+筆記型電腦挹注效能註3。Ryzen AI PRO 300系列處理器系列為企業用戶增加了企業級安全性和可管理性功能，擴展AMD在效能和電池續航力方面的領先地位。
• Ryzen AI PRO 300系列處理器採用全新AMD “Zen 5”和AMD XDNA™ 2架構，是全球最先進的商用處理器註4。Ryzen AI 9 HX PRO 375處理器提供頂尖效能，實現無與倫比的生產力註5和領先業界的55 NPU TOPS AI效能註5，可在Ryzen AI PRO筆電上於本地處理AI任務。
• 微軟分享Windows 11 Copilot+和Ryzen AI PRO 300系列如何為新一代AI體驗做好準備，帶來全新的生產力和安全功能。
• HP和聯想等OEM合作夥伴正在透過搭載Ryzen AI PRO 300系列處理器的新型PC來擴展其商業產品陣容，預計到2025年將有超過100款平台上市。

相關資源
• 觀看AMD Advancing AI主題演講
• X：於@AMD追蹤AMD新訊
• LinkedIn：於AMD LinkedIn追蹤AMD新訊

關於AMD
50多年來，AMD（NASDAQ：AMD）推動創新高效能運算、繪圖及視覺技術。全球數十億的消費者、世界500強企業以及尖端科學研究機構皆仰賴AMD的技術來改善生活、工作及娛樂。AMD員工致力於研發領先的高效能與自行調適產品，不斷突破技術的極限。欲瞭解AMD如何成就今天，啟發未來，請瀏覽AMD網站、部落格、LinkedIn及X。

©2024年，AMD公司版權所有。AMD、AMD箭頭、EPYC、AMD CDNA、AMD Instinct、Pensando、ROCm、Ryzen及上述名稱的組合是AMD公司的商標。其他產品名稱只為提供資訊為目的，也可能是各自所有者的商標。

註1：MI300-62：由AMD效能實驗室截至2024年9月29日進行的測試，在配備8個AMD Instinct™ MI300X GPU並搭配Llama 3.1-8B、Llama 3.1-70B、 Mixtral-8x7B、Mixtral-8x22B Qwen 72B模型，對ROCm 6.2軟體與ROCm 6.0軟體進行推論效能比較。

採用vLLM 0.5.5的ROCm 6.2效能與採用vLLM 0.3.3的ROCm 6.0效能進行比較，並在1至256的批次大小和128至2048的序列長度上進行測試。

配置：
1P AMD EPYC™ 9534 CPU伺服器，配備8個AMD Instinct™ MI300X (192GB，750瓦)GPU、Supermicro AS-8125GS-TNMR2、NPS1（每插槽1個NUMA）、1.5 TiB 24 DIMMs、4800 mts記憶體、64 GiB/DIMM、4x 3.49TB美光7450儲存、BIOS版本1.8、ROCm 6.2.0-00、vLLM 0.5.5、PyTorch 2.4.0、Ubuntu® 22.04 LTS以及Linux Kernel 5.15.0-119-generic。
對比
1P AMD EPYC 9534 CPU伺服器，配備8個AMD Instinct™ MI300X (192GB，750瓦)GPU、Supermicro AS-8125GS-TNMR2、NPS1（每插槽1個NUMA）、1.5TiB 24 DIMMs、4800 mts記憶體、64 GiB/DIMM、4x 3.49TB美光7450儲存、BIOS版本1.8、ROCm 6.0.0-00、vLLM 0.3.3、PyTorch 2.1.1、Ubuntu 22.04 LTS以及Linux Kernel 5.15.0-119-generic。

伺服器製造商可能會改變配置，從而產生不同的結果。效能可能會因各種因素而有所不同，包括但不限於不同版本的配置、vLLM和驅動程式。

註2：STXP-05：基於截至2024年10月發布，採用AMD產品規格和競爭產品的Microsoft Copilot+並滿足最低40 TOPS要求。微軟要求請參閱https://support.microsoft.com/en-us/topic/copilot-pc-hardware-requirements-357821...。

註3：GD-203b：截至2024年9月，基於x86平台的小節點尺寸和頂尖互連技術。

註4：STXP-10：截至2024年9月，AMD效能實驗室使用以下系統進行測試：HP EliteBook X G1a搭載AMD Ryzen AI 9 HX PRO 375處理器@40瓦、Radeon™ 890M顯示核心、32GB RAM、512GB SSD、VBS=ON、Windows 11 Pro；Lenovo ThinkPad T14s Gen 6搭載AMD Ryzen™ AI 7 PRO 360處理器@22瓦、Radeon™ 880M顯示核心、32GB RAM、1TB SSD、VBS=ON、Windows 11 Pro；Dell Latitude 7450搭載Intel Core Ultra 7 165U處理器@15瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、32GB RAM、512GB NVMe SSD、Microsoft Windows 11 Professional；Dell Latitude 7450搭載Intel Core Ultra 7 165H處理器@28瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、16GB RAM、512GB NVMe SSD、Microsoft Windows 11 Pro。以下應用在平衡模式下進行測試：Teams + Procyon Office Productivity、Teams + Procyon Office Productivity Excel、Teams + Procyon Office Productivity Outlook、Teams + Procyon Office Productivity Power Point、Teams + Procyon Office Productivity Word、綜合幾何平均值。每個Microsoft Teams通話由9位參與者（3X3）組成。筆記型電腦製造商可能會改變配置，從而產生不同的結果。

STXP-11：截至2024年9月，AMD效能實驗室使用以下系統進行測試：(1) Lenovo ThinkPad T14s Gen 6搭載AMD Ryzen™ AI 7 PRO 360處理器@22瓦、Radeon™ 880M顯示核心、32GB RAM、1TB SSD、VBS=ON、Windows 11 Pro；(2) Dell Latitude 7450搭載Intel Core Ultra 7 165U處理器@15瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、32GB RAM、512GB NVMe SSD、Microsoft Windows 11 Professional；(3) Dell Latitude 7450搭載Intel Core Ultra 7 165H處理器@28瓦（vPro enabled）、Intel Arc顯示核心、VBS=ON、16GB RAM、512GB NVMe SSD、Microsoft Windows 11 Pro。以下應用在平衡模式下進行測試：Procyon Office Productivity、Procyon Office Productivity Excel、Procyon Office Productivity Outlook、Procyon Office Productivity Power Point、Procyon Office Productivity Word、綜合幾何平均值。筆記型電腦製造商可能會改變配置，從而產生不同的結果。

註5：GD-243：AMD Ryzen處理器的TOPS是在最佳情境下可以執行的每秒最大操作數量，可能並不典型。TOPS可能會因多種因素而異，包括特定的系統配置、AI模型和軟體版本。

按此進入「新聞快訊區」,快速掌握即時情報!