Meta Llama 3.1及Mistral Large 2模型在AWS正式可用，為打造生成式AI應用提供更多選擇 (台北新聞網-大台灣新聞網)

【台北訊，2024年7月25日】amazon web services（aws）宣布，meta剛剛發布的新一代llama模型在amazon bedrock和amazon sagemaker中提供。客戶也可以在基於aws trainium和aws inferentia自研晶片的amazon elastic cloud compute（amazon ec2）執行個體中部署這些模型。llama 3.1模型是一系列預訓練和指令微調的大型語言模型（llms），支持8b、70b和405b三種尺寸，適用於廣泛的使用場景。開發人員、研究人員和企業可以用此模型進行文本摘要和分類、情感分析、語言翻譯和程式碼生成。同時，mistral ai的mistral large 2（24.07）基礎模型（fm）也已在amazon bedrock中正式可用。mistral large 2是mistral large的最新版本，根據mistral ai表示，mistral large 2在多語言能力、數學、推論、程式碼編寫等方面均有較優異的表現。



meta llama 3.1為生成式ai能力樹立全新標準

meta表示，llama 3.1 405b是目前最優秀和最大的開源基礎模型（foundation models, fms）之一，為生成式ai能力樹立新標準。它特別適用於合成資料生成和模型蒸餾，這能在後續訓練中提升較小尺寸llama模型的效能。llama 3.1 405b還在通用知識、數學、工具使用和多語言翻譯方面有出色的表現。



得益於大幅增加的訓練資料和規模，與之前的版本相比，所有新的llama 3.1模型都較顯著優異。這些模型支援128k的上下文長度，相較於llama 3增加了12萬個標記（token），模型容量是上一版本的16倍，並提升了在多語言對話場景中的推論能力，包括以下八種語言：英語、德語、法語、義大利語、葡萄牙語、印地語、西班牙語和泰語。



llama 3.1模型還增強對語言細微差別的理解能力，即能更好地理解上下文，並能更有效地處理複雜問題。該模型還可以從長篇文本中獲取更多資訊，以做出更明智的決策，並利用更豐富的上下文資料生成更加細緻和精練的回應。



aws執行長matt garman表示：「我們與meta保持著長期合作關係，今天很高興能將他們最先進的模型提供給我們的客戶。客戶希望根據他們的具體應用案例自訂和優化llama模型，透過aws使用llama 3.1，客戶可以利用最新的領先模型來負責任地建構ai應用。」



過去十年間，meta一直致力於為開發人員提供工具，並促進開發人員、研究人員和企業之間的合作共贏。llama模型提供各種參數尺寸，允許開發人員選擇最適合其需求和推論預算的模型。aws上的llama模型打開了充滿無限可能的新世界，開發人員毋須再擔心擴展性或基礎設施管理等問題。aws提供了一種簡單的開箱即用的方式來使用llama。



meta創始人暨執行長馬克祖克柏表示：「開源是讓ai造福所有人的關鍵。我們一直在與aws合作，將整個llama 3.1模型整合到amazon sagemaker jumpstart和amazon bedrock中，這樣開發人員就可以全面使用aws的各種能力來建構出色的應用，例如用於處理複雜任務的高級智慧體。」



llama 3.1模型的優勢



llama 3.1 405b

• 適用於建構企業應用程式和研發

• 應用案例包括：長篇文本生成、多語言和機器翻譯、編寫程式碼工具使用、增強的上下文理解，以及高級推論和決策



llama 3.1 70b

• 適用於內容生成、對話ai、語言理解和研發

• 應用案例包括：文本摘要、文本分類、情感分析和細微推論、語言建模、程式碼生成和遵循指令



llama 3.1 8b

• 適用於運算能力和資源有限的情況以及行動裝置

• 更快的訓練時間

• 應用案例包括：文本摘要和分類、情感分析和語言翻譯



aws為客戶提供多種大型語言模型

amazon bedrock為數萬名客戶提供安全、便捷的模型，提供效能卓越、完全託管的大型語言模型和其他基礎模型選擇，是客戶開始使用llama 3.1的便捷途徑，其中8b和70b參數模型已經正式可用，405b版本目前提供預覽。



只要透過amazon bedrock的api，客戶就能使用llama 3.1模型，同時利用aws的所有安全性和功能，且無需管理任何底層基礎設施。客戶還可以使用llama 3.1提供的負責任ai能力，該功能能夠與amazon bedrock的資料治理和評估功能配合使用，例如guardrails和模型評估。客戶還可以使用amazon bedrock即將推出的微調功能來自訂模型。



amazon sagemaker是資料科學家和機器學習工程師預訓練、評估和微調基礎模型的絕佳平台，能夠提供先進的技術和精細的控制能力來部署基礎模型，以滿足生成式ai應用案例在準確性、延遲和成本方面的嚴格要求。現在，透過amazon sagemaker jumpstart，客戶僅需幾次點擊即可發現和部署所有llama 3.1模型。隨著即將推出的微調功能，資料科學家和機器學習工程師將能夠更進一步使用llama 3.1，例如在短短幾小時內將llama 3.1調適用於他們的特定資料集。



aws執行長matt garman表示：「amazon bedrock是使用llama 3.1進行快速建構的簡單途徑，提供產業領先的隱私和資料治理評估功能和內建保護措施。amazon sagemaker提供的工具選擇和精細控制，則使各行各業的客戶能夠輕鬆訓練和調整llama模型，在aws上推動生成式ai創新。」



對於希望透過自行管理的機器學習工作流程的方式在aws上部署llama 3.1模型的客戶，amazon ec2提供廣泛的加速運算選項，提供更大的靈活性和對底層資源的控制。aws trainium 和aws inferentia2能夠為微調和部署llama 3.1模型提供高效能和成本效益。客戶可以透過使用基於aws自研ai晶片的amazon ec2 trn1和inf2執行個體來開啟使用llama 3.1的旅程。



客戶已經在aws上使用llama模型

• 全球金融服務集團野村控股（nomura）的業務延伸至30個國家和地區。該集團正在使用amazon bedrock中的llama模型簡化大量產業文檔的分析，以獲得相關的商業資訊，使員工可以將更多時間專注於從日誌檔、市場評論或原始文檔等資料來源中獲得洞見和關鍵資訊。

• 領先的外包數位服務和客戶體驗提供商taskus使用amazon bedrock中的llama模型來支援其專屬生成式ai平台—taskgpt。taskus在該平台上建構智慧工具，自動化部分客戶服務流程，讓團隊成員專注於處理更複雜的問題，並提供更好的客戶體驗。



mistral large 2在amazon bedrock中正式可用

mistral large 2是一款先進的大型語言模型（llm），擁有一流的推論、知識和程式碼編寫能力，並支援幾十種語言，包括英語、法語、德語、西班牙語、義大利語、中文、日語、韓語、葡萄牙語、荷蘭語、波蘭語、阿拉伯語和印地語等。mistral ai投入了大量努力來增強模型的推論能力。模型訓練的關鍵是讓模型盡量減少「幻覺」的產生，或生成看上去可信但實際上不正確或不相關的資訊。這是透過微調模型來實現的，使模型在回應中更加謹慎和明智，確保其提供可靠和準確的輸出。此外，新款mistral large 2經過訓練，會在找不到解決方案或沒有足夠的資訊來提供自信的答案時承認這一點。



mistral ai表示，該模型還精通程式碼編寫，並經過超過80種程式設計語言的訓練，如python、java、c、c++、java、bash、swift和fortran。它擁有一流的代理能力，可以原生呼叫函數和輸出json，進而實現與外部系統、api和工具的無縫交流。此外，mistral large 2（24.07）擁有先進的推論和數學能力，使其成為解決複雜邏輯和計算難題的強大工具。



mistral large 2還提供了128k標記（tokens）的上下文窗口。目前，該模型（mistral.mistral-large-2407-v1:0）已在aws美國西部2區（us-west-2）正式可用。

按此進入「新聞快訊區」,快速掌握即時情報!