本地 AI 虛擬化：Proxmox、Docker 與 GPU 直通最佳實踐
基礎設施演進：從單一工作負載到虛擬化 AI 實驗室
隨著我們跨過年中並回顧近期像 ICML 這類會議的趨勢，在開源 AI 社群中出現了一個明顯的主題：本地基礎設施的專業化。討論已經從在桌面上運行單一模型，轉向在單一伺服器上多個獨立的人工智慧環境。這就是虛擬化的力量–一種將強大實體機器轉變為靈活、安全且可擴展的 AI 實驗室的方法。對於認真對待本地 AI 的企業與研究人員而言，精通像 Proxmox 這樣的裸機虛擬化工具和 Docker 的容器化技術，並通過 GPU 直通這項關鍵技術橋接，已不再是選項，而是成熟、可生產本地 AI 策略的基石。
虛擬化直接放大了本地人工智慧的核心優勢：它通過隔離專案來增強數據隱私和安全性，通過允許動態資源配置來提升靈活性和可擴展性，並通過建立於開源平台上來鞏固你擺脫供應商鎖定的自由。本文提供了一個構建這種虛擬化基礎的實用指南，確保你的硬體投資發揮最大效用，並且你的人工智慧計畫可以無限制地成長。
為什麼要虛擬化您的本地 AI 堆疊？
在深入探索「如何」之前，先鞏固「為何」。虛擬化的本地人工智慧環境提供實際的好處，以解決常見的擴展痛點：
- 隔離與可重現性：在完全獨立的環境中運行不同的 AI 專案（例如，一個穩定的聊天機器人、一個實驗性的圖像生成器、一個微調任務）。這可以防止庫衝突，允許完美的可重現性，並簡化備份和遷移。
- 最佳硬體利用：一台高性能的 GPU 伺服器可以托管多個虛擬機（VMs）或容器，每個運行不同的模型或服務不同的團隊。這將昂貴的硬體從偶爾使用的資源轉變為持續被利用的資產。
- 增強的安全性與管理：透過隔離工作負載，您可以控制潛在的安全問題。它還簡化了用戶存取控制，並允許您在進行重大更新之前對虛擬機進行快照，以便輕鬆回滾。
- 開發到生產流程：使用輕量級的 Docker 容器進行開發和測試，然後將相同的容器部署到更強大的 Proxmox 虛擬機上進行生產，確保整個生命周期的一致性。
核心技術 1：Proxmox VE – 裸金屬虛擬機管理程式
Proxmox 虛擬環境（VE）是一個強大又開源的平台，讓你可以把實體伺服器變成一個超級管理器，管理多個虛擬機和 Linux 容器（LXC）。
為什麼選擇 Proxmox 來做 AI？
它讓你完全掌控底層硬體。你可以建立分配好 CPU 核心、記憶體，最重要的是可以透過直通方式直接使用 GPU 資源的專用虛擬機。這對於建立持久、功能完整的環境來說非常理想，像是長時間運行的模型伺服器或複雜的 AI 流程。
最佳實踐設置：
- 直接安裝在裸機上：將 Proxmox 直接安裝在你的伺服器硬體上，而不是現有的作業系統中，這樣可以獲得最佳效能和穩定性。
- 設定儲存池：為你的 AI 虛擬機設置專用的快速儲存（例如 NVMe 儲存池），以確保模型加載和檢查點保存迅速。備份則使用較慢、容量較大的儲存。
- 網路隔離：為你的 AI 工作負載建立一個獨立的虛擬網路（VLAN），以管理流量並提升安全性。
核心技術 2：Docker – 容器化引擎
Docker 將應用程式和它的依賴打包成一個標準化、可攜帶的單位，稱為容器。對 AI 來說，這意味著你可以有一個容器裝著 Ollama，另一個裝著 AutoGPT，再有第三個裝著特定的 PyTorch 訓練環境–全部在同一台主機上獨立運行。
為什麼用 Docker 做 AI？
它效率超高又很快。容器共享主機的核心，所以幾秒鐘就能啟動，而且開銷非常小。Docker Hub 上龐大的 AI/ML 生態系統提供幾乎所有框架和工具的預建映像，大大加快了設置速度。
最佳實踐設置：
- 使用官方/社群映像檔：從已驗證的映像檔開始，例如 ollama/ollama、nvcr.io/nvidia/pytorch 或 langchain/langchain，確保有穩定的基礎。
- 使用卷來持久化數據：千萬不要把模型、數據集或資料庫存放在容器裡。使用 Docker 卷或綁定掛載來掛載目錄（例如：-v /your/models:/root/.ollama/models）。
- 為編排而撰寫：使用 docker-compose.yml 文件來定義和運行多容器應用程式。這非常適合用一個指令就啟動完整的環境，例如一個 Postgres 資料庫、一個 Redis 快取，還有一個 Ollama API 容器。
關鍵橋樑：GPU 直通 (VFIO)
這是高效能虛擬化 AI 的關鍵。GPU 直通允許你把實體 GPU 專門給某個虛擬機器使用，或者讓 Docker 容器也能用到，讓它們的效能幾乎達到本機水平。
方法 A：直接透傳到 Proxmox 虛擬機
這讓一個虛擬機可以獨占並完全控制 GPU。對於專用的高效能 AI 工作負載來說，這是最好的選擇。
實作步驟：
- 啟用 IOMMU：在主機 BIOS/UEFI 和 Proxmox 核心裡（透過編輯 /etc/default/grub）。
- 識別 GPU：使用 lspci -nn | grep -i vga 找到你的 GPU ID（例如，NVIDIA 顯卡的 ID 是 10de:2231）。
- 封鎖驅動程式：透過將其 ID 加入 VFIO 模組列表（/etc/modprobe.d/vfio.conf）來防止主機使用 GPU。
- 附加到虛擬機：在 Proxmox 網頁介面中，將 PCI 裝置添加到你想要的虛擬機。勾選「All Functions」和「ROM-Bar」選項。
方法 B：與 Docker 容器共用 GPU（NVIDIA）
對於以容器為基礎的工作流程，NVIDIA 容器工具組是必備的。
實施步驟：
- 安裝驅動程式：確保主機系統上安裝了最新的 NVIDIA 驅動程式。
- 安裝工具包：按照 NVIDIA 的指南安裝 nvidia-container-toolkit。
- 測試運行時：透過編輯 /etc/docker/daemon.json，將 Docker 設定為使用 nvidia 運行時。
- 使用 GPU 運行：啟動容器時加上 –gpus all 參數：docker run –gpus all ollama/ollama serve。
選擇你的道路：實用決策指南
| 使用情境與目標 | 建議的主要方法 | 關鍵配置與理由 |
| 多團隊/AIServer
為不同部門或項目提供獨立完整的環境。 |
帶 GPU 直通的 Proxmox VE | 將整個 GPU 專門分配給特定的虛擬機。提供強大的隔離性、完整的作業系統客製化，對傳統 IT 團隊來說也更容易管理。 |
| 開發與實驗
快速測試不同的模型、框架和工具鏈。 |
帶有 NVIDIA 執行環境的 Docker | 使用 Docker Compose 來定義堆疊。最大化硬體共享和效率；容器可立即從預先建立的映像啟動。 |
| 混合生產實驗室
結合穩定、長期運行的服務與短暫的研究項目。 |
Proxmox 與 Docker 結合 | 在裸機上運行 Proxmox。在一個帶有 GPU 直通的強力虛擬機裡，運行 Docker 來管理多個 AI 應用容器。這增加了一層管理和隔離。 |
解決常見的虛擬化問題
- 在 VM/容器中出現「未偵測到 GPU」：這幾乎總是直通配置的問題。再檢查一下 IOMMU 群組，確保主機驅動已正確黑名單化，並確認 PCI 裝置的所有功能都已正確連接。
- 容器效能差：確保你正在使用 nvidia runtime 和 –gpus 標誌。另外，確認你的主機擁有與容器應用程式所需 CUDA 版本相符的 GPU 驅動程式版本
- Proxmox 主機在啟動虛擬機時崩潰：通常和有問題的 ROM-Bar 處理有關。可以試著在未勾選「ROM-Bar」選項下啟動虛擬機，或者使用特定的 GPU ROM 文件來提高穩定性。
結論：建立你的主權 AI 雲
正如最近的會議所強調的，未來可擴展的開源 AI 將是模組化和軟體定義的。使用 Proxmox 和 Docker 虛擬化你的本地 AI 基礎設施，是打造自有主權 AI 雲端的決定性一步–一個靈活、私密且具成本效益的平台，體現了 LocalArch.ai 所倡導的數據控制和長期價值原則。
這種方式能讓你的投資具備未來保障。需要測試新的模型嗎？開一個 Docker 容器就行。需要給新的資料科學團隊提供專屬環境嗎？在 Proxmox 裡複製一個 VM 範本就好。掌握這些虛擬化和直通技術後，你就不只是單純使用 AI 工具，而是能成為一個能打造彈性、可擴展 AI 生態系統的架構師，讓它隨著你的野心無縫成長。
設計和實現一個穩健的虛擬化本地 AI 基礎設施需要細心的規劃和專業知識。LocalArch.ai 團隊利用在 Proxmox、Docker 和 GPU 配置上的深厚經驗，為客戶打造量身定制、可投入生產的本地 AI 平台。聯絡我們，將你的硬體轉變成專屬的 AI 雲端吧。
