GPU 型號可以作為討論起點,但未足以構成完整的主機需求。「想租一部 H200 伺服器」仍然留下不少問題:打算運行甚麼、需要多少 GPU 記憶體、同時有多少人使用,以及何時需要開始?一份簡短的工作負載說明,可以幫助供應商評估配置,亦讓您收到的報價更容易比較。
如果您正在了解 RTX 6000、H100、H200 或 B300,索取報價前可先整理以下七項資料。第一天未必需要有全部答案;清楚標示未知事項,反而有助雙方集中處理真正需要釐清的問題。
1. 先說明工作內容,而不只是 GPU 型號
由應用程式和預期成果開始。您需要的是場景渲染、GPU 程式開發、AI 模型推理、微調現有模型,還是從零開始訓練?請提供使用的軟件或框架、模型或項目規模,以及所需的作業系統或驅動程式版本。
亦要說明如何判斷配置是否合用。例如,互動服務可能需要在指定的同時請求數量下,維持可接受的回應時間;批次工作則可能需要在一個工作天內完成。這些是有待評估的要求,並非供應商單憑 GPU 型號就應作出的效能承諾。
2. 確認完整型號、世代及伺服器配置
名稱相近,不代表硬件相同。舊款 Quadro RTX 6000、RTX 6000 Ada 與 RTX PRO 6000 Blackwell 是不同產品,不能混用名稱。正式報價應列明確實的 GPU 型號、數量、伺服器配置,以及與工作負載相關的互連方式。
數據中心 GPU 的名稱亦未能代表整部伺服器。NVIDIA 為 H200 列出不同外形規格及伺服器選項;HGX 文件則介紹完整的多 GPU 平台配置,包括 HGX B300。這些資料可以協助您提出更準確的問題,但不能據此假設供應商的方案已包含某個平台。可參考 NVIDIA H200 官方規格 及 HGX 平台資料.
3. 分開列出 GPU 記憶體與系統 RAM
GPU 記憶體和主機的系統 RAM 應分開列明。伺服器配備 32GB 系統 RAM,並不表示其 GPU 配備 32GB VRAM。請要求供應商明確標示兩項數值,不要自行解讀一個籠統的「記憶體」規格。
如已有實測數據,請提供記憶體使用量。AI 工作亦應說明測試所用的模型、數值精度、上下文長度及批次大小。如果目前只有估算,請標示為估算,並查詢如何安排具代表性的測試。不要只因模型檔案看似放得下,就認定某個配置適合。
4. 說明同時使用量及工作模式
一位開發者測試模型,與一個需要同時處理多個客戶請求的服務,運作要求並不相同。請列出預計使用人數或工作數量、一般及高峰需求,以及工作能否排隊處理。如多個應用程式需要共用算力,也應一併說明。
另外,您需要持續運行、間歇實驗,還是定時處理批次工作?請確認建議方案如何分配資源及包含哪些服務。報價應清楚列出這些假設,避免把不同的服務安排當成相同方案來比較。
5. 加入儲存、地區及資料傳輸需求
估算模型檔案、資料集、輸出結果及暫存檔案所需的空間。確認哪些儲存屬於持久儲存、停止或移除機器後資料會如何處理,以及備份是否包括在內,還是需要另行安排。如有復原要求,請明確提出;儲存空間與備份並不是同一回事。
說明首選地區,以及使用者和來源資料所在的位置。亦應估算上載、下載及系統之間的傳輸量,並要求列明適用的儲存、網絡及資料傳輸費用。這樣可以在確認報價前,先釐清 GPU 以外的需求。
6. 提供預算、開始日期及租用時間
一份實用的查詢應包含預算範圍、幣別、希望開始的日期及預計租用時間。請說明日期是否有彈性,以及項目日後會否擴展,讓團隊有依據討論選項,而不會把參考價格誤當成已保留資源。
比較正式報價時,應使用相同的期間及服務範圍。核對計費單位、所含資源、適用稅項、額外費用及取消條款。如果只想試用,或工作負載仍未確定,可以查詢有哪些安排;不要假設月費參考價已包括按小時計費、免費試用或退款政策。
7. 訂購前確認貨量及最終報價
CloudHosting.App 的 GPU 訂購須先核實貨量並取得正式報價。RTX 6000 供應有限;H100、H200 及 B300 是可提出需求的型號,並不代表 CloudHosting 已確認有庫存。網站列出型號,或已開始聊天查詢,都不等於保留了資源。
目前公開的單卡配置參考價為每月 US$2,232,配置是一張舊款 Quadro RTX 6000、8 vCPU、32GB 系統 RAM 及 640GB 磁碟空間。這只是該配置的參考價格,並非 Ada、Blackwell 或多 GPU 方案的報價。地區、確實規格、供應情況及最終費用仍須確認。請參閱 CloudHosting GPU 查詢專頁 的已核准參考配置及聯絡入口。
今天就可以準備的查詢清單
整理以下資料:應用程式或模型、首選 GPU 及數量、GPU 記憶體需求、系統 RAM、同時使用量、儲存空間、首選地區、資料傳輸需求、預算、開始日期及租用時間。加上姓名和回覆電郵,並標示希望由團隊協助評估的部分。
您可以透過 GPU 專頁上的 CloudHosting AI 助理 開始查詢,或電郵 [email protected]。對話會先由 AI 協助;需要團隊跟進時,會以電郵回覆,並不保證立即接通真人客服。如果工作負載可能適合一般 VM,亦可瀏覽 CloudHosting 官網 ,先說明應用需求,再決定是否必須使用 GPU。
常見問題
未知道需要多少 GPU 記憶體,可以先查詢嗎?
可以。請提供應用程式或模型資料,以及已有的測試結果,並說明尚未確定的部分,讓團隊討論下一步如何評估。
提出查詢後,是否保證有貨及指定部署日期?
不是。請等候團隊明確確認供應、規格、價格及開通安排,才把查詢視為訂單。
先說明工作負載、確認完整 GPU 型號、規劃運作環境,並列明預算與時間安排;訂購前須確認供應及正式報價。
