Agentic Research

GPU(顯示卡/圖形處理器)

又稱:顯示卡 · 顯卡 · graphics card · GPU 是什麼 · CUDA · 獨立顯卡

一種擅長「同時做很多簡單運算」的晶片,因此特別適合大模型這類工作量。

你會在什麼時候遇到它

你在挑機器、讀規格表的第一步就會遇到它。但「有 GPU」這句話本身幾乎沒有資訊量 —— 真正決定能不能跑的通常是它的記憶體(VRAM)有多大,而不是它有多少核心。只認得「有沒有 GPU」,你會在下一步載入模型時直接撞牆,卻說不出原因。

打個比方

CPU 像幾位博士:每一位都能處理複雜、要反覆判斷的任務,但人數少。GPU 像一整間工廠的小學生:每人只會加減乘除,但人多到可以同一秒算完整面牆的數字。大模型的前向計算就是「同一種簡單運算、重複幾百萬次」,正好是小學生軍團的強項。

最小範例

兩台機器都「有 GPU」:
  A:入門顯卡,VRAM 很小      → 大模型載不進去,直接失敗
  B:資料中心顯卡,VRAM 很大   → 同一個模型輕鬆載入

「有 GPU」回答不了你能跑什麼。
要接著問:VRAM 多大?記憶體頻寬多高?哪一代、哪個架構?

規格表最愛用大字印核心數與 FLOPS,但決定「能不能跑」的往往是 VRAM,決定「跑多快」的往往是記憶體頻寬。先看這兩個,核心數擺最後。

最常搞錯的地方

  • 以為「有 GPU 就能跑大模型」。能不能跑先決於 VRAM 裝不裝得下;裝不下是直接失敗,不是變慢。
  • 只比核心數或 FLOPS 就下結論。不同架構、不同世代的「一個核心」根本不是同一件事,數字不能直接比。
  • 把內建顯示晶片(內顯)當成獨立顯卡。內顯通常跟系統共用記憶體、算力也低,能跑的模型規模差很多。

相關詞條

下一步