FTNN 新聞網
政治讀新術_每周一四
週五不政經_每周五
王義川 吳崢 范世平 溫朗東【政治讀新術】完整版20240620

【新創尖兵叫板輝達2】生成式AI成IC設計大廠新戰場 聯發科、高通積極競逐

發布時間:2023/8/16 06:50

生成AI不只在雲端處理器點燃火苗,在邊緣AI也掀起新戰火,IC設計龍頭大哥聯發科來勢洶洶。
生成AI不只在雲端處理器點燃火苗,在邊緣AI也掀起新戰火,IC設計龍頭大哥聯發科來勢洶洶。

圖文/鏡週刊

生成式AI需要的大語言模型(LLM)不只放在雲端伺服器,還能在兼具安全性高、能耗較低、傳輸快的邊緣運算做成專屬或小型的落地應用,此次除了耐能新品宣布支援輕量級大語言模型NanoGPT;其實,IC設計龍頭聯發科也早有動作,早在2021年,公司就推出可執行 Transformer模型的AI處理器(APU),近期更有升級版產品將對外發布。此外,高通(Qualcomm)日前也與Meta在智慧手機進行大語言模型的邊雲協作,代表生成式AI已成了邊緣運算晶片業者的新戰場。

廣告 更多內容請繼續往下閱讀

 

本刊曾報導,相較於雲端伺服器需要的AI多為英特爾(Intel)、超微(AMD)、輝達(Nvidia)的處理器,邊緣AI如同大腦(雲端)延伸而出的神經系統,透過手機、電腦、行動裝置或5G基地台連網,就能處理緊急或特定需求的訊息,因具「快速、可靠、隱私」3大特性,非常適合有安全考量的電動車自動駕駛與智慧醫療場域;此外,智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人,也是常見的應用。

AI晶片從雲端下放到邊緣端需求看好,Markets and Markets報告就指出,2022~2027年全球邊緣AI硬體市場規模年均複合成長率(CAGR)達20.8%,主要成長動能包括物聯網裝置、5G應用、終端裝置影像分析等領域;而軟體部分,2022~2027年全球邊緣AI軟體市場規模CAGR也高達28.9%,主要來自自駕系統、智慧電表、預測性維護、安防監控、智慧城市等新應用。

廣告 更多內容請繼續往下閱讀

因應生成AI的崛起,據了解,聯發科近期也將針對支援大語言模型發表處理器新品,事實上,根據聯發科網站,公司早在2021年就推出Transformer模型的APU處理器,並以NeuroPilot平台在手機及其他終端產品廣泛地運用,時間點與耐能第一代支援Transformer的KL530一致。

集邦科技(TrendForce)分析師曾柏楷向本刊分析,邊緣AI未來一定會有越來越多的生成式AI需求,因為LLM並不完全是越來越大的趨勢,而是走一個產業客製、參數夠用就好的方向。

曾柏楷進一步舉例,像高通近期跟Meta合作,雙方預計在智慧手機以及PC上運行LLM(大型語言模型)達到邊雲混合協作,就是一個可預期的商用案例,此外,一些具商業機密如高端智慧製造設備、國防等數據不外流或是完全內網的環境如果要運用生成式AI,同樣是需要邊緣AI的部署,當邊緣AI能越做越多、LLM越來越小,兩者就會出現應用交叉點。


【點擊看完整全文】

更多鏡週刊報導
【新創尖兵叫板輝達1】耐能推輕量級生成AI晶片攻邊緣運算 電子大咖站台拉高聲勢
【IC小兵大轉骨1】自斷手腳砍掉低毛利客戶 宜特董座強硬動作讓公司大躍進
【IC小兵大轉骨2】搭上AI伺服器熱潮 宜特養出高毛利新金雞母
top