Armv9 邊緣 AI 平台亮相 強化 AI 與 ML 處理能力
矽智財大廠 Arm 控股 26 日發布全球首個 Armv9 邊緣 AI 運算平台，以全新 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，支援運行超過 10 億個參數的邊緣端 AI 模型，將 AI、ML 處理技術及安全功能擴展至邊緣端，涵蓋高效能設計到電源效率最佳化的裝置，吸引AWS、西門子和瑞薩電子等多家企業合作。
看準邊緣端的 AI 運算需求，Arm 資深副總裁暨物聯網事業部總經理 Paul Williamson 表示，AI 的革新已不再侷限於雲端。隨著世界的互聯和智慧化水準的日益提升，從智慧城市到工業自動化，在邊緣端處理 AI 工作負載不僅帶來顯著的優勢，其必要性更是不可或缺。專為 IoT 打造的 Armv9 邊緣 AI 運算平台，代表此發展進入重要的里程碑。
隨著 IoT 愈來愈普及，帶動運算需求上升，例如自動駕駛汽車精準導航、智慧相機功能升級，以及更自然的 AI 人機界面。
此次發佈的運算平台整合了全新高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的 Ethos-U85 NPU。相較於去年推出的基於 Cortex-M85 的平台，新平台的 ML 效能提高了 8 倍。適用於工業自動化、智慧相機等領域。Arm Kleidi 也擴展至 IoT 領域，效能提升 70%，協助2,000 多萬名開發人員簡化邊緣 AI 開發流程。
為下一代智慧 IoT 裝置提供安全基礎
Cortex-A320 擁有 Armv9 架構的優勢，例如針對 ML 效能的 SVE2，與前代 Cortex-A35 相比，Cortex-A320 的 ML 效能提升十倍，純量效能提升 30%。
該平台所採用的 Armv9.2 架構為最小的 Cortex-A 裝置，引入了指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）等安全功能，有助於在暴露環境中保護邊緣裝置處理的敏感資料。
邊緣 AI 普及面臨的最主要障礙之一就是軟體發展和部署的複雜性。Arm 將 Arm Kleidi 擴展到IoT，簡化 AI 和 ML 工作負載的部署，無需開發人員額外操作。KleidiAI 已整合至 Llama.cpp、ExecuTorch 和 LiteRT 等 AI 框架中，提升Meta Llama 3 和 Phi-3 模型效能達 70%。
該平台能夠支援在基於代理人的 AI 應用上運行經過調校的 LLM 和 SLM，開闢全新的邊緣應用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，可減少延遲時間，解提升隱私保護水準。
Arm 亞太區 IoT 市場資深經理黃晏祥表示，邊緣 AI 目前主要應用於非 LLM 領域，例如影像辨識或線性模型，但預估 1 年半到 2 年內，基於 LLM 的邊緣 AI 會越來越普及，能夠以文字或語音指令操作邊緣 AI 裝置，或透過聲音辨識進行安全監控。
Arm 應用工程總監徐達勇表示，A320 定位於邊緣 AIoT 市場，適用於智慧零售、智慧工廠、智慧城市及智慧家庭等多種場景，A320 的推出助於加速邊緣 AI 的普及。
亞馬遜網路服務公司 IoT 技術負責人 Yasser Alsaied 表示，新平台為 AWS 的客戶實現在 Armv9 技術上運行 AWS IoT Greengrass 的輕量裝置運作環境— Nucleus Lite，幫助邊緣裝置以較低記憶體需求運行，適用於精準農業、智慧製造和自動駕駛的異常檢測等應用場景。