GPU(顯示卡/圖形處理器)
又稱:顯示卡 · 顯卡 · graphics card · GPU 是什麼 · CUDA · 獨立顯卡
一種擅長「同時做很多簡單運算」的晶片,因此特別適合大模型這類工作量。
你會在什麼時候遇到它
你在挑機器、讀規格表的第一步就會遇到它。但「有 GPU」這句話本身幾乎沒有資訊量 —— 真正決定能不能跑的通常是它的記憶體(VRAM)有多大,而不是它有多少核心。只認得「有沒有 GPU」,你會在下一步載入模型時直接撞牆,卻說不出原因。
打個比方
CPU 像幾位博士:每一位都能處理複雜、要反覆判斷的任務,但人數少。GPU 像一整間工廠的小學生:每人只會加減乘除,但人多到可以同一秒算完整面牆的數字。大模型的前向計算就是「同一種簡單運算、重複幾百萬次」,正好是小學生軍團的強項。
最小範例
兩台機器都「有 GPU」:
A:入門顯卡,VRAM 很小 → 大模型載不進去,直接失敗
B:資料中心顯卡,VRAM 很大 → 同一個模型輕鬆載入
「有 GPU」回答不了你能跑什麼。
要接著問:VRAM 多大?記憶體頻寬多高?哪一代、哪個架構?規格表最愛用大字印核心數與 FLOPS,但決定「能不能跑」的往往是 VRAM,決定「跑多快」的往往是記憶體頻寬。先看這兩個,核心數擺最後。
最常搞錯的地方
- 以為「有 GPU 就能跑大模型」。能不能跑先決於 VRAM 裝不裝得下;裝不下是直接失敗,不是變慢。
- 只比核心數或 FLOPS 就下結論。不同架構、不同世代的「一個核心」根本不是同一件事,數字不能直接比。
- 把內建顯示晶片(內顯)當成獨立顯卡。內顯通常跟系統共用記憶體、算力也低,能跑的模型規模差很多。