隨著人工智慧技術的普及，許多人對使用 AI 模型產生了興趣，但這些模型通常會收集使用者的查詢和反饋數據，進而作為企業訓練資料。對於希望保持隱私和控制自身數據的使用者而言，本地發布 AI 是一個絕佳選擇。

本地運行客製化聊天機器人，不僅免除了訂閱費用、雲端依賴，也避免了企業的監管，您可以在自己的個人計算機上運行一個完全私人化的 AI，根據您的需求進行學習和調整。

DeepSeek 提供的開源模型，如 DeepSeek-V3 和 DeepSeek-R1，使這一切成為可能。通過本地發布，您可以完全掌控 AI 如何學習，並保持您的數據完全私密。

經過大規模測試，我們找到了三種有效的設置方法，能夠實現上述需求。以下是您需要的準備工作以及如何讓它們為您服務。

💡 DeepSeek R1 擅長於編碼性能，且可運行於較低硬件要求的環境中。

定制的 DeepSeek 模型有什麼最佳選擇？

定制 DeepSeek 模型是基礎模型的專業化版本。基於強大的 Transformer 架構，DeepSeek 已經擅長生成類人文本。但通過定制，您可以將其轉化為特定領域的專家，無論是客服支援、教育工具還是專門的研究。

DeepSeek 的蒸餾模型進一步提高了靈活性。這些緊湊型版本提供了如 1.5B、7B、8B、14B、32B、70B 參數大小的選擇，保持了令人印象深刻的推理能力，同時大幅度降低了硬件需求。

這對您意味著什麼呢？較小的模型（尤其是 8B 以下）可以在普通電腦上流暢運行，無需昂貴的雲端計算或專用硬件，您可以在個人計算機上發布和實驗這些強大的 AI 工具。

這些模型基於我們即將討論的成熟架構，即使在較為謙遜的設置下也能提供卓越的性能。

如何選擇適合的客製化設置方案？

不同的路徑並沒有固有的優劣，它們滿足不同的需求。在做決定前，您可以問自己以下問題：

  1. 您是否處理不應該在第三方伺服器上進行處理的敏感資訊？
  2. 您是否有強大的硬件資源？
  3. 您是否需要在沒有網際網路訪問的情況下使用助手？
  4. 避免訂閱費用對您是否重要？
  5. 多名團隊成員是否需要使用同一個助手？

我們將基於以下因素探討每種設置方案：

  • 每個模型的最佳使用情境
  • 發布範疇
  • 軟硬件需求
  • 優點

無代碼方式：使用 CodeGPT 本地化 DeepSeek R1 模型的快速指南

CodeGPT 提供了一個無代碼的、雲端驅動的解決方案，用於運行 DeepSeek R1，非常適合那些尋求快速設置和共享訪問的團隊和非技術使用者。與 GitHub Copilot 不同，CodeGPT 允許您使用本地的 LLMs，例如 DeepSeek R1，在熱門 IDE（如 VS Code、Cursor 和 JetBrains）中進行提示、代碼完成、單元測試等。此外，它也是一個基於網頁的平台，具有更廣泛的團隊任務 AI 代理功能。您只需創建一個免費帳戶即可開始。

計算要求：

  • RAM：1GB+（更大的模型需要更多）
  • 磁碟空間：20MB+（本地模型需要額外空間）
  • CPU：Intel Core i5+（不支持舊的 ARM）
  • macOS：除 Sonoma 以外的所有版本
  • Linux：從2024年開始支持
  • Windows：Windows 11 或更新版本
  • IDE：VS Code 1.96.0+
  • 無法使用 VLAN/VPN 除非授權
  • 需要 Internet 進行 CodeGPT

實施步驟：

要在 CodeGPT 上運行 DeepSeek R1，您可以按照以下步驟進行：

  • 步驟 1： 使用 Google 或 GitHub 登錄 codegpt.co，創建一個新的 AI 代理並選擇 DeepSeek R1 作為模型。
  • 步驟 2： 在“代理知識”部分上傳您的文件或 GitHub 存儲庫，以便於代理獲取數據，作為您的私人知識庫。
  • 步驟 3： 在“指令”標籤下設置系統提示，以限制響應僅使用您上傳的數據，並可選擇性地新增準確性和行為規則。
  • 步驟 4： 測試您的代理的響應，以確保其準確性，然後發布它並通過公共鏈接或在您的組織內部分享。
  • 步驟 5： 定期在“代理歷史”面板中審查代理的表現，利用指標提高準確性和效率。

請注意：CodeGPT 利用生成式 AI 的力量提供所有功能。它可能不總是提供正確的資訊，因此需要確認其結果是否正確。

為什麼使用 CodeGPT 來運行客製的 DeepSeek R1 模型？

  • 不需要技術知識
  • 方便的文件管理
  • 內建的分析和監控功能
  • 可與多個使用者共享

基於代碼：如何在 LM Studio 和 Ollama 上運行客製化的 DeepSeek R1 模型

方法一：在 LM Studio 上運行客製化的 DeepSeek R1 模型

對於完全的數據主權和離線的 DeepSeek R1 操作，LM Studio 提供了一個強大的自我托管解決方案，儘管它需要一定的技術能力。LM Studio 精簡了模型的發現、下載和本地執行，提供了一個兼容的 API，方便無縫整合。它支持功能調用以增強提示交互，並允許通過其“高級配置”進行細微的模型調整。

即使沒有高端硬件，您仍可以解鎖 DeepSeek R1 的核心能力。值得注意的是，DeepSeek R1 的輸出包括描述性的“思考”階段，提供了其推理過程的見解，您可以選擇顯示或隱藏。

計算要求

  • 最低16GB RAM（越多越好）
  • 磁碟空間：20GB+
  • CPU：支持 AVX2 指令
  • macOS：M1/M2/M3, Windows：x86 或 ARM, Linux：x86
  • 無需特定的 IDE
  • GPU：建議使用以獲得最佳性能（如 NVIDIA RTX 3070）

實施步驟：

  • 步驟 1： 從官方網站下載 LM Studio。然後，運行安裝程式並按照螢幕提示完成安裝。
  • 步驟 2： 打開 LM Studio，並熟悉其側邊欄標籤：“聊天”、“開發者”、“我的模型”和“探索”。
  • 步驟 3： 接下來進入“探索”標籤（放大鏡圖示），搜索 “DeepSeek R1 Distill” 模型，例如 Qwen-7B 或 Llama 8B。
  • 步驟 4： 根據您的硬件選擇相應的量化版本。例如，Qwen-7B 是一個不錯的起點。確保選中“GGUF”和“MLX”復選框以保證兼容性。
  • 步驟 5： 點擊綠色的“下載”按鈕，等待完成。
  • 步驟 6： 轉到“聊天”標籤，點擊“選擇要加載的模型”，選擇下載的 DeepSeek R1 模型，然後開始與之互動，輸入您的提示。

覺得困難的小提示：建議在硬件受限的情況下先從較小的模型開始。此外，請使用 LM Studio 0.3.7 構建版本 2 以保證兼容，並結合使用 Hugging Face 模型卡以獲取詳細的技術規範。

為什麼使用 LM Studio 來運行 DeepSeek R1？

  • 完全的數據隱私
  • 友好的使用者界面
  • 即便在飛行中也能離線工作
  • 免除一切訂閱費用
  • 能夠在不同模型間靈活切換

方法二：在 Ollama 上運行客製化的 DeepSeek R1

Ollama 是另一個運行本地 LLMs 的熱門選擇，特別是如果您對命令行操作得心應手或者需要編程控制。它支持多個 AI 模型，包括 DeepSeek R1。

這些模型提供多種大小選擇（1.5b 到 70b）、量化格式（q4_K_M、q8_0）和蒸餾版本（qwen-distill、llama-distill）以平衡性能和資源使用。此外，它支持跨平台，能在 macOS、Windows 和 Linux 上平穩運行，並且設置簡單。

計算需求

  • RAM：8GB 最低（更大的模型需要更多）
  • 磁碟空間：500GB+，具體視選擇的特定模型而定。
  • CPU：Intel Core i5 或更高
  • 軟件：
    • 作業系統：macOS、Linux 和 Windows。
    • IDE：VSCode 版本 1.96.0 或更高
    • Node.js：版本 20.0.0 或更高。

實施過程：

步驟 1：安裝 Ollama

在運行 DeepSeek R1 之前，您需要在系統上安裝 Ollama。

  • 對於 macOS（使用 Homebrew），鍵入以下命令來安裝 Ollama： 
    brew install ollama
  • 對於 Windows 和 Linux，請訪問 Ollama 的官方網站以獲取特定平台的安裝指導。

步驟 2：下載 DeepSeek R1 模型

一旦安裝了 Ollama，下載 DeepSeek R1 模型：

ollama pull deepseek-r1

預設情況下，這會下載主要的 DeepSeek R1 模型（相對較大）。如果需要較小的變體，請利用其標籤指定大小，例如：

ollama pull deepseek-r1:1.5b

這將獲取優化性能的 1.5B 蒸餾變種。其他示例包括：

ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:1.70b-llama-distill-fp16

步驟 3：啟動 Ollama 伺服器

確保 Ollama 已準備好運行 AI 模型，請在新終端窗口上啟動其伺服器：

ollama serve

步驟 4：在本地運行 DeepSeek R1

現在，可直接從終端與模型互動：

ollama run deepseek-r1

對於特定模型變體，請使用模型標籤（例如 7B）：

ollama run deepseek-r1:7b

步驟 5：向模型發送查詢

現在可以開始提示 DeepSeek R1：

ollama run deepseek-r1:7b “Who is Condia?”

到目前為止的步驟包括直接通過命令行與 DeepSeek R1 互動。然而，Ollama 還提供了一種 API（應用程式編程接口）選擇，而不是直接輸入命令。

使用 Ollama API

以下步驟展示了如何使用 curl 命令的 API，這是一種常見的訪問基於 Web 的 API 的方式。

  • 例如，要從終端生成文本，請輸入：
curl http://localhost:11434/api/generate -d '{
“model”: “deepseek-r1:7b”,
“prompt”: “write a Python function that reverses a given string.”
}'

為什麼使用 Ollama 進行 DeepSeek R1？

  • 使用簡單的命令快速設置。
  • 所有內容都在自己的機器上運行，確保完整的數據隱私。
  • 根據需求靈活切換不同的 AI 模型。

最後的想法

了解生成 AI 的優勢和劣勢，能夠幫您構建有效的 AI 助手。明確目的，從小任務開始測試，保持知識庫更新。本指南展示了如何輕鬆使用 CodeGPT、LM Studio 和 Ollama 來本地運行 DeepSeek R1。現在，您可以探索本地 LLMs 的潛力。

定制 DeepSeek R1 託管的常見問題

Q：誰擁有 DeepSeek？

A： DeepSeek 是一家位於中國杭州的私有 AI 公司，由高飛基金投資，梁文丰領導。

Q：我應該選哪種 DeepSeek R1 模型？

A： 若硬件強大，建議選擇主要的 DeepSeek R1 模型。若資源受限，選擇 1.5B 或 14B 蒸餾變種能快速生成內容。

Q：這些自定義選項是否免費使用？

A： Ollama 和 LM Studio是免費且開源的。DeepSeek R1 的許可協議允許免費使用，包括商業應用。雲端服務則可能需要額外費用。CodeGPT的免費帳戶提供有限制。

Q：我可以遠程伺服器或 Docker中運行 DeepSeek R1 嗎？

A： 可以，只要 Ollama 可以安裝，您能在 Docker 容器、雲端虛擬機或本地伺服器上運行 DeepSeek R1。

Q：是否可以在手機上微調 DeepSeek ？

A： 因計算需求較高，難以在手機上直接進行微調；但可借助手機遠程訪問強大電腦或雲端服務進行微調。

Q：這些模型適合商業用途嗎？

A： 是的，DeepSeek R1 系列模型採用 MIT 許可證，Qwen 蒸餾變種則採用 Apache 2.0 許可證。Llama 基於變種擁有自己的許可證，請驗證想要的用途下的具體許可條款。

Q：運行 DeepSeek R1 模型需要什麼硬件？

A： 硬件需求取決於模型大小：1.5B 模型可在標準 PC 上運行，要求 8GB RAM。7-32B 模型需強大的 GPU（8-24GB VRAM）和 32-64GB RAM。70B+ 模型需多 GPU 系統，提供高 VRAM 和 128+ GB RAM。