2024臺灣教育科技展早鳥啟動!4/12前報名現省5000!

熱門: 智慧城市  UX  物聯網 

<BC Award 2023>金獎 - NVIDIA H100 Tensor



NVIDIA A100 Tensor核心GPU為各種規模的作業提供前所未有的AI、資料分析及高效能運算 (HPC)能力。2023年NVIDIA帶來到運算效率更高、更為節能的NVIDIA H100 Tensor 核心 GPU,勇奪COMPUTEX BEST Choice Golden Award,代表NVIDIA致力在應用領域提供最佳解決方案的技術與用心,獲得評審的肯定。

在NVIDIA 2023 年度GTC大會上,不只全球科技大廠微軟、Google、AWS齊聚,連Netflix、福特汽車、Nike等多個領域的知名品牌也都來參與這場盛會,為什麼大家如此看重AI? ChatGPT讓大家看到了AI對於各產業帶來的改變,逐漸開始思考如何利用AI來提升效率、實現商業策略,例如醫療業、雲端產業、通訊行業,都很積極。

誠如NVIDIA一再強調,GPU是一切發展的根本,H100作為企業級AI的最佳選擇,其搭載專用的 Transformer Engine,並使用 NVIDIA® NVLink® Switch 系統,同時針對研發、訓練和應用生成式AI、大型語言模型(LLM)及推薦系統進行了最佳化調整。為聊天機器人、推薦引擎、視覺辨識等大規模的人工智慧和高效能運算提供前所未有的效能。

LLM並不是新東西,然而在過去幾年,其複雜程度成長驚人,而在ChatGPT之後,未來可預期也會有更多、更複雜的模型。為了讓這些模型能有更好、更精準、更快速的表現,H100不僅能加速推理速度達高達 30 倍,並實現最低延遲時間。第四代 Tensor 核心更能加速所有精確度,包括 FP64、TF32、FP32、FP16、INT8,以及目前的 FP8,能夠減少記憶體使用量並提升效能,且仍然能夠維持大型語言模型的正確度。

從技術層面來看,對於長久以來,追求以GPU、平行運算為核心,進而擴展至各種相關應用領域的NVIDIA來說,H100 Tensor 核心 GPU的運算效率無庸置疑,與前一代 A100 GPU 相比,人工智慧效能提升高達 6 倍,高效能運算效能則提升高達 3 倍,可說是專為締造極致效率而生。而其第二代多執行個體 GPU 技術可將 GPU 分割成較小的運算單元,大幅提升資料中心使用者可用的 GPU 用戶端數量。

在很多產業中,有多少效能做多少事。例如過往的氣象預報準確度較低,但近年隨著技術上、硬體上的提升,能做到更即時、精準的預測。當今的科學運算工作流程極為複雜,當中有著大量且難以移動的龐大資料集,全球團隊也只能使用各自的專業工具處理。而在A100的基礎上,依照客戶需求打造打造而成的H100,擁有新架構、高效能、低功耗等特點,能夠支援所有應用,解決開發新應用面臨的種種問題。

能源並非取之不盡、用之不竭,各設備商無不積極思考如何在消耗最少能源下,做到更多事情,而高效率的背後,正意味著可節省更多的能源消耗。在資料分析、深度學習、電腦視覺、繪圖等高度運算的科學應用需求下,在追求更極致的效能之餘,亟力尋求效能與節能之間的平衡,是NVIDIA 始終努力的目標,而目前,H100 Tensor 核心 GPU或許最佳解答。



(發佈時間:2023-06-01)

上一則 下一則
回列表頁
轉寄   列印   分享
照片新聞
大專資服競賽數位人才媒合會 獲企業和求職者肯定
台北市長蔣萬安出席夏日電玩展舞台活動
經濟部技術處邱求慧處長參觀InnoVEX
數發部唐鳳部長:集思廣益找到滿足需求並降低不信任感的解決方案
總統府秘書長林佳龍參觀2023智慧城市展
台北市長蔣萬安為2023智慧城市展台北市願景館揭開序幕
專題報導
影音專區
COMPUTOUR 2023 - COMPUTEX 2023年度創新解決方案速覽 with BC Award
InnoVEX 2023 新世代歐美EV創新論壇
InnoVEX 2023 亞洲智慧移動新未來論壇
InnoVEX 2023 新創競賽:頒獎典禮
InnoVEX 2023 新創競賽:決賽
InnoVEX 2023 元宇宙揭秘論壇