digi@你詐不到我

<BC Award 2023>金獎 - NVIDIA H100 Tensor



NVIDIA A100 Tensor核心GPU為各種規模的作業提供前所未有的AI、資料分析及高效能運算 (HPC)能力。2023年NVIDIA帶來到運算效率更高、更為節能的NVIDIA H100 Tensor 核心 GPU,勇奪COMPUTEX BEST Choice Golden Award,代表NVIDIA致力在應用領域提供最佳解決方案的技術與用心,獲得評審的肯定。

在NVIDIA 2023 年度GTC大會上,不只全球科技大廠微軟、Google、AWS齊聚,連Netflix、福特汽車、Nike等多個領域的知名品牌也都來參與這場盛會,為什麼大家如此看重AI? ChatGPT讓大家看到了AI對於各產業帶來的改變,逐漸開始思考如何利用AI來提升效率、實現商業策略,例如醫療業、雲端產業、通訊行業,都很積極。

誠如NVIDIA一再強調,GPU是一切發展的根本,H100作為企業級AI的最佳選擇,其搭載專用的 Transformer Engine,並使用 NVIDIA® NVLink® Switch 系統,同時針對研發、訓練和應用生成式AI、大型語言模型(LLM)及推薦系統進行了最佳化調整。為聊天機器人、推薦引擎、視覺辨識等大規模的人工智慧和高效能運算提供前所未有的效能。

LLM並不是新東西,然而在過去幾年,其複雜程度成長驚人,而在ChatGPT之後,未來可預期也會有更多、更複雜的模型。為了讓這些模型能有更好、更精準、更快速的表現,H100不僅能加速推理速度達高達 30 倍,並實現最低延遲時間。第四代 Tensor 核心更能加速所有精確度,包括 FP64、TF32、FP32、FP16、INT8,以及目前的 FP8,能夠減少記憶體使用量並提升效能,且仍然能夠維持大型語言模型的正確度。

從技術層面來看,對於長久以來,追求以GPU、平行運算為核心,進而擴展至各種相關應用領域的NVIDIA來說,H100 Tensor 核心 GPU的運算效率無庸置疑,與前一代 A100 GPU 相比,人工智慧效能提升高達 6 倍,高效能運算效能則提升高達 3 倍,可說是專為締造極致效率而生。而其第二代多執行個體 GPU 技術可將 GPU 分割成較小的運算單元,大幅提升資料中心使用者可用的 GPU 用戶端數量。

在很多產業中,有多少效能做多少事。例如過往的氣象預報準確度較低,但近年隨著技術上、硬體上的提升,能做到更即時、精準的預測。當今的科學運算工作流程極為複雜,當中有著大量且難以移動的龐大資料集,全球團隊也只能使用各自的專業工具處理。而在A100的基礎上,依照客戶需求打造打造而成的H100,擁有新架構、高效能、低功耗等特點,能夠支援所有應用,解決開發新應用面臨的種種問題。

能源並非取之不盡、用之不竭,各設備商無不積極思考如何在消耗最少能源下,做到更多事情,而高效率的背後,正意味著可節省更多的能源消耗。在資料分析、深度學習、電腦視覺、繪圖等高度運算的科學應用需求下,在追求更極致的效能之餘,亟力尋求效能與節能之間的平衡,是NVIDIA 始終努力的目標,而目前,H100 Tensor 核心 GPU或許最佳解答。



(發佈時間:2023-06-01)

上一則 下一則
回列表頁
轉寄   列印   分享
照片新聞
全力支持新創 本會何春盛常務理事出席InnoVEX 2024 Night Party
行政院長卓榮泰參訪2024 InnoVEX
本會在COMPUTEX、InnoVEX設置TCA 50展位 歡慶TCA 50周年
行政院長陳建仁參訪國發會「臺灣淨零願景館」
東京電玩展推手CESA來台 與本會共同為台日遊戲產業發展助力
大專資服競賽數位人才媒合會 獲企業和求職者肯定
專題報導
影音專區
【未來科技不斷電】奈米高熵氧化物花卉發光技術之極光蘭花應用於室內減碳技術
【未來科技不斷電】多維奈米銀鍍層之可拉伸導電纖維應變感測器
【未來科技不斷電】全球首創以弱監督式多實例學習框架精準解析數位病理影像之基因表現及存活預測
【未來科技不斷電】多孔電極與非貴金屬觸媒:陰離子交換膜水電解技術的未來
【未來科技不斷電】介面聚電解質絡合紡織技術製備生物啟發的人工韌帶應用於韌帶再生
【未來科技不斷電】高靈敏經濟可靠拉曼光譜篩檢晶片於食安的快速篩檢應用