【新創尖兵叫板輝達1】耐能推輕量級生成AI晶片攻邊緣運算　電子大咖站台拉高聲勢

圖文／鏡週刊

日前獲鴻海加碼投資的AI晶片新創──耐能科技今(15)日舉行新品發表會，發佈一款可支援輕量級生成式AI(Nano GPT)的類神經網路(NPU)晶片KL730，因為可做機器視覺又能進行語意分析，打破過去邊緣運算在專用處理器晶片多僅能做影像辨識而有所突破，不但行政院副院長鄭文燦親自站台，現場來賓更是冠蓋雲集，包括鴻海資訊長龔培元、台積電資深業務經理楊東疆、欣興電子董事長曾子章、威剛董事長陳立白、久元董事長汪秉龍，以及南亞科、研華、久元等高管都到場一睹為快。

廣告 更多內容請繼續往下閱讀

 

成立於2015年的耐能總部位於美國，一直以邊緣運算所需的類神經網路晶片為產品主力，這種邊緣運算所需的專用處理晶片，如同大腦（雲端）延伸而出的神經系統，大多透過手機、電腦、行動裝置或5G基地台連網，就能處理緊急或特定需求的訊息，因具「快速、可靠、隱私」三大特性，非常適合有安全考量的應用領域，像電動車自動駕駛與智慧醫療場域；此外，智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人，也是常見的應用。

隨著生成AI崛起，這次的新品擴大到可支援nanoGPT的語言模型，公司以邊緣運算AI新革命做比喻，執行長劉峻誠在現場更興奮地展示用這顆晶片只需個別約15分鐘，就能生成出四個可年輕、可老派會說台、日語等的虛擬分身，更直言比起輝達(Nvidia)創辦人黃仁勳耗時3、4個月在發表會打造的虛擬分身，時間上明顯縮短，PK意味相當濃厚。

廣告 更多內容請繼續往下閱讀

「GPT已不是一般公司可負擔的投資，真正為AI而生的應該是NPU，如此才能有效解決高成本問題並加速普及。」生成式AI帶動雲端服務業者大舉投資AI伺服器，然其所需的通用處理器晶片目前由輝達高佔9成，效能強大卻也高貴，劉峻誠認為，耐能這款新品，可以幫助企業降低導入生成式AI的訓練成本，此外，被訓練的資料不需放在雲端而在邊端(Edge)執行，隱私安全更能獲得保護，加上傳輸運算速度比上雲還快，更能解決大型資料中心帶來的耗電問題，這三大痛點，也是他信心看待需求面可與輝達一較上下的原因。

劉峻誠並透露，早在2021年，耐能就因應日系與德系車廠的需求，推出過第一代支持Transformer的處理器晶片KL530，然而，「當時並不知道大語言模型的應用會開展成這麼大。」但兩年後的今日拐點已到，ChatGPT問世刺激生成式AI大量需求，他看到客戶從過去的被動教育轉為主動詢問，因此，KL730不但在效能上做了有效提升，還擴大支援最先進輕量級 GPT 大型語言模型的nanoGPT，讓一般中小企業可負擔，加速AI普及。

談及KL730有何應用，劉峻誠表示，KL730的定位主要放在企業邊緣伺服器、智慧家居、汽車輔助駕駛(ADAS)與互聯網(AIOT)等四大場景，公司也強調，工程師也能依此來生成新的半導體晶片，無需與大型雲端公司營運的資料中心共用機密數據。

資料顯示，比起ChatGPT使用的GTP-3語言模型，NanoGPT是特斯拉(Tesla)前AI總監今年初才發布的中小型語言模型，即使參數量沒有GPT-3大，要提供38小时訓練，仍得包含含Nvidia8顆A100、40GB的算量，一名在場參觀的業者因此指出，耐能KL730雖可支援nanoGPT，若要穩定的完成運算，算力的配合也是關鍵。

【點擊看完整全文】

更多鏡週刊報導
【新創尖兵叫板輝達2】生成式AI成IC設計大廠新戰場　聯發科、高通積極競逐
【AI電源大戰1】AI新賽道彎道超車電源一哥　光寶總座揭兩大關鍵技術
【IC小兵大轉骨1】自斷手腳砍掉低毛利客戶　宜特董座強硬動作讓公司大躍進