發布時間:2023/8/16 06:50
圖文/鏡週刊
生成式AI需要的大語言模型(LLM)不只放在雲端伺服器,還能在兼具安全性高、能耗較低、傳輸快的邊緣運算做成專屬或小型的落地應用,此次除了耐能新品宣布支援輕量級大語言模型NanoGPT;其實,IC設計龍頭聯發科也早有動作,早在2021年,公司就推出可執行 Transformer模型的AI處理器(APU),近期更有升級版產品將對外發布。此外,高通(Qualcomm)日前也與Meta在智慧手機進行大語言模型的邊雲協作,代表生成式AI已成了邊緣運算晶片業者的新戰場。
廣告 更多內容請繼續往下閱讀
本刊曾報導,相較於雲端伺服器需要的AI多為英特爾(Intel)、超微(AMD)、輝達(Nvidia)的處理器,邊緣AI如同大腦(雲端)延伸而出的神經系統,透過手機、電腦、行動裝置或5G基地台連網,就能處理緊急或特定需求的訊息,因具「快速、可靠、隱私」3大特性,非常適合有安全考量的電動車自動駕駛與智慧醫療場域;此外,智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人,也是常見的應用。
AI晶片從雲端下放到邊緣端需求看好,Markets and Markets報告就指出,2022~2027年全球邊緣AI硬體市場規模年均複合成長率(CAGR)達20.8%,主要成長動能包括物聯網裝置、5G應用、終端裝置影像分析等領域;而軟體部分,2022~2027年全球邊緣AI軟體市場規模CAGR也高達28.9%,主要來自自駕系統、智慧電表、預測性維護、安防監控、智慧城市等新應用。
廣告 更多內容請繼續往下閱讀
因應生成AI的崛起,據了解,聯發科近期也將針對支援大語言模型發表處理器新品,事實上,根據聯發科網站,公司早在2021年就推出Transformer模型的APU處理器,並以NeuroPilot平台在手機及其他終端產品廣泛地運用,時間點與耐能第一代支援Transformer的KL530一致。
集邦科技(TrendForce)分析師曾柏楷向本刊分析,邊緣AI未來一定會有越來越多的生成式AI需求,因為LLM並不完全是越來越大的趨勢,而是走一個產業客製、參數夠用就好的方向。
曾柏楷進一步舉例,像高通近期跟Meta合作,雙方預計在智慧手機以及PC上運行LLM(大型語言模型)達到邊雲混合協作,就是一個可預期的商用案例,此外,一些具商業機密如高端智慧製造設備、國防等數據不外流或是完全內網的環境如果要運用生成式AI,同樣是需要邊緣AI的部署,當邊緣AI能越做越多、LLM越來越小,兩者就會出現應用交叉點。
不斷更新/楊勇緯輸了!不敵哈薩克名將 落入敗部復活賽爭銅牌
不斷更新/林真豪對上世界排名第3強將!止步16強
大哥也愛金家王朝!投信本週納聯電破3.4萬張摘金 「這族群」霸榜6檔也被青睞
壞消息!台鐵北迴線又遭土石流掩埋 搶通時程將延至8/3
林襄明星賽喊「臭馬傑森」!遭疑根本沒分手 親曝兩人關係
破發的外資不要了!00940上週遭殺15萬張 00929綠霧環繞悲扛9連賣
代理市長首日 邱臣遠重申:兌現高虹安對市民的政見承諾
歡迎主人回家!皮皮「貓臉塞玩具」哀怨喵嗚好可憐
他買預售屋年底要交問「該留還賣」? 網見門牌勸:賣掉後買不回來了
買下帶租約房!她崩潰「租客不肯搬」:付違約金也不行
老婆繼承500萬遺產!人夫不滿提議買房遭拒 網嗆:那是她的錢
凱米颱風讓農民心血化為烏有! 柯志恩:督促行政部門簡化農損流程
影/停車場「鴕鳥模仿片」 爆紅千萬人觀看 本尊竟是超正日本女偶像!?
抓到了!民事訴狀發現一「細節」 李正皓將再告發高虹安貪汙
桃園人挺台北通勤差距不大 遭一票過來人點出2大因素:真的麻煩!
志工重回街頭教回覆查詢單 拆樑團體嗆基隆選委會:停止淪為謝國樑打手行徑!
小坪數想裝潢!他驚見「預算100萬起接案」狂哀 網:不要以為越小越便宜
扯!柯粉工程師自稱經手銀行APP囂張喊「綠粉不要用」 銀行緊急聲明怒斥「惡意造謠」
他安排全家日本出遊長輩「一毛不拔」 網建議一招輕鬆解決
超萌狗狗蹭冷氣!炎炎夏日禮貌敲門使出「必殺技」成功消暑 爽趴成一條「狗狗蟲」