在當今資訊快速流動的時代，商業 AI 模型的每一次查詢或洞見都可能成為公司未來訓練數據的一部分，付費使用雖然是一種選擇，數據卻早已非您所控制。假如您渴望擺脫這種情況，那麼將 AI 本地化無疑讓您掌握了更多的自主權。

運行自定義聊天機器人不僅僅關乎幻覺和不精確的問題，這更是一種無需訂閱、不依賴雲端、完全不受企業監管的 AI 系統。這款 AI 將完全基於您的個人計算機運行，從您的輸入中學習，並根據您的需求進行調整。

DeepSeek 提供的開源模型——DeepSeek-V3 和 DeepSeek-R1——使這一切成為可能。將它們發布在本地，您完全掌控 AI 的學習過程，並保持數據的充分隱私。

經過廣泛的測試，我們確定了三種有效的設置配置可以實現這一目標。以下是您需要開始的內容以及它們如何為您工作。

💡DeepSeek R1 在編碼性能方面表現出色，並且可在較低的硬體要求下運行。

DeepSeek 的自定義模型選擇

自定義的 DeepSeek 模型是在基礎模型上加以擴展的版本。基於強大的 Transformer 架構，DeepSeek 已經擅長生成類似人類的文本。然而，透過自定義，這些模型可以成為您特定領域的專家——無論是客服、教育工具或是專業研究。

DeepSeek 的庫存模型更進一步提供靈活性，這些緊湊版本的模型可選擇 1.5B、7B、8B、14B、32B 及 70B 參數大小，在保持驚人的推理能力的同時，大大降低硬體需求。

這對您意味著什麼？

較小的模型（特別是 8B 以下）可以在標準計算機上順利運行，不論是 CPU、GPU 還是 Apple Silicon。無需昂貴的雲端運算或專用硬件，您也可以在自己的個人計算機上發布並實驗這些強大的 AI 工具。

基於我們即將討論的成熟架構，即使在一般的硬體設備上，這些模型也能交付卓越的性能。

如何選擇合適的自定義設置？

每種設置都有其自身的優勢，且適合不同的需求。做出決定之前，您可以自問以下幾個問題：

  1. 您是否處理不適宜在第三方伺服器上處理的敏感資訊？
  2. 您是否有接觸強大硬件的機會？
  3. 您是否需要在無網絡的情況下使用這個助理？
  4. 您是否認為免費使用比付費訂閱更為重要？
  5. 是否有多位團隊成員需要接入同一助理？

我們將基於以下幾方面探討每一種設置：

  • 每個模型的最佳用途
  • 發布範圍
  • 軟硬件需求
  • 優點

無需編碼：使用 CodeGPT 設置自定義 DeepSeek R1 模型的快速指南

CodeGPT 提供了一種無需編碼、雲端支持的方式來運行 DeepSeek R1，對於尋求快速設置和共享訪問的團隊和非技術使用者來說，這是一个理想的选择。與 GitHub Copilot 不同，CodeGPT 允許您在本地使用 LLMs，如 DeepSeek R1，用於提示、代碼補全、單元測試等，並且支持在如 VS Code、Cursor、JetBrains 等流行開發環境中使用。

這也是一個有著更廣泛團隊任務的網頁式平台。簡單地創建一個免費賬號即可開始使用。

計算需求：

  • RAM: 1GB+（较大模型需要更多）
  • 硬碟空間：20MB+（本地模型需要更多）
  • CPU: Intel Core i5+（不支持較舊的 ARM）
  • macOS: 所有版本（除了 Sonoma）
  • Linux: 自2024年起的部屬
  • Windows: Windows 11或更高版本
  • IDE: VS Code 1.96.0+
  • 無需 VLAN/VPN 除非授權
  • CodeGPT需要網絡訪問

實施過程：

若要透過 CodeGPT 運行 DeepSeek R1，您可以依照以下步驟進行：

  • 步驟 1： 在 codegpt.co 上註冊或登入，使用 Google 或 GitHub 獲得訪問權限，然後創建一個新的 AI 代理並選擇 DeepSeek R1 作為模型。
  • 步驟 2： 在“代理知識”部分上傳您的文件或 GitHub 存儲庫，為代理提供數據，這將用於構建您的私人知識基礎。
  • 步驟 3： 在“說明”標籤中設置系統提示，將響應限制為您已上傳的數據，並可以根據需要新增準確度和行為規範。
  • 步驟 4： 測試代理的回應，確保其準確性，然後發布並通過公共連結或組織內部進行分享。
  • 步驟 5： 您可以定期在“代理歷史”面板中查看代理的性能，使用指標來提升準確性和效率。

需要注意： CodeGPT 利用生成式 AI 來獲得其所有功能，這並不一定能夠提供正確的資訊。因此，您需要對其結果進行二次校驗。

使用 CodeGPT 運行自定義 DeepSeek R1 模型的原因？

  • 無需技術知識
  • 簡易的文檔管理
  • 內建分析和監控功能
  • 可供多使用者共享

基於代碼：如何在 LM Studio 和 Ollama 中運行自定義 DeepSeek R1 模型

方法一：在 LM Studio 中運行自定義 DeepSeek R1

為完全的數據主權和離線運營 DeepSeek R1，LM Studio 提供了一個功能強大的自我託管解決方案，儘管這需要一定的技術熟練度。LM Studio 簡化了模型發現、下載和本地執行，提供兼容的 API 以實現無縫集成。它支持功能調用以進行高級的提示交互，並允許透過其“高級配置”進行細緻的模型調整。

即使沒有高階硬件，您也可以充分釋放 DeepSeek R1 的核心能力。值得注意的是，DeepSeek R1 的輸出包括描述性“思考”階段，提供其推理過程的見解，您可以選擇顯示或隱藏。

計算需求

  • 至少 16GB RAM（更高更好）
  • 硬盤空間：20GB+
  • CPU: 支持 AVX2 指令集
  • macOS: M1/M2/M3, Windows: x86 或 ARM, Linux: x86
  • 無需特定 IDE
  • GPU: 建議使用以獲取最佳性能（例如，NVIDIA RTX 3070）

實施過程：

  • 步驟 1： 從其官方網站下載 LM Studio。然後，運行安裝程序並按照屏幕提示完成安裝。
  • 步驟 2： 打開 LM Studio 並熟悉其中的側邊欄標籤：“聊天”、“開發者”、“我的模型”和“發現”。
  • 步驟 3： 轉到“發現”標籤（放大鏡圖標），搜索“DeepSeek R1 Distill”模型，例如 Qwen-7B 或 Llama 8B。
  • 步驟 4： 基於您的硬件選擇適合的量化版本。例如，Qwen-7B 是一個不錯的起點。確保勾選“GGUF”和“MLX”複選框以確保兼容。
  • 步驟 5： 點擊綠色的“下載”按鈕並等待完成。
  • 步驟 6： 前往“聊天”標籤，點擊“選擇模型加載”，則選擇已下載的 DeepSeek R1 模型並開始互動。

注意： 建議從較小的模型開始以適應有限的硬件環境。並使用 LM Studio 0.3.7 Build 2 以確保兼容性，並利用 Hugging Face 模型卡獲取詳細的技術規格。

選擇 LM Studio 運行 DeepSeek R1 的原因？

  • 完全的數據隱私
  • 友好的使用者界面
  • 即使在航班上也能離線運行
  • 沒有訂閱費
  • 能夠在不同模型間切換

方法二：在 Ollama 中運行自定義 DeepSeek R1

在本地運行 LLMs，Ollama 是一個很受歡迎的選擇，特別是如果您對命令行操作有基本了解或者需要程序化控制。它支持眾多 AI 模型，包括 DeepSeek R1。

提供了多種大小（1.5b 至 70b）的模型，量化格式（q4_K_M、q8_0）以及蒸餾版本（qwen-distill、llama-distill），以平衡性能和資源使用。此外，它的跨平台特性，在 macOS、Windows 和 Linux 上順利運行，設置簡單。

計算需求

  • RAM: 最小 8GB（較大模型需要更多）
  • 硬盤空間：至少 500GB，根據具體模型變種可能有所不同。
  • CPU: Intel Core i5 或更高
  • 軟體：
    • 作業系統：macOS、Linux 和 Windows。
    • IDE：VSCode 版本 1.96.0 或更高
    • Node.js：版本 20.0.0 或更高。

實施過程：

步驟 1：安裝 Ollama

在運行 DeepSeek R1 之前，您需要在系統上安裝 Ollama。

  • 對於 macOS（使用 Homebrew），輸入以下命令安裝 Ollama： brew install ollama
  • 對於 Windows 和 Linux：請訪問 Ollama 的官方網站以獲取平台特定的安裝說明。

步驟 2：下載 DeepSeek R1 模型

安裝 Ollama 後，下載 DeepSeek R1 模型：

ollama pull deepseek-r1

默認情況下，這會下載主 DeepSeek R1 模型（可能較大）。如果您想要更小的變體，指定其標記大小，例如：

ollama pull deepseek-r1:1.5b

這會獲取經過優化的性能的 1.5B 蒸餾變體。其他示例包括：

ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:1.70b-llama-distill-fp16

步驟 3：啟動 Ollama 服務器

要確保 Ollama 準備好運行 AI 模型，請在新的終端窗口中啟動其服務器：

ollama serve

步驟 4：本地運行 DeepSeek R1

現在，從終端直接與模型交互：

ollama run deepseek-r1

對於具體的模型變體，請使用模型標籤（例如，7B）：

ollama run deepseek-r1:7b

步驟 5：向模型發送查詢

現在您可以開始提示 DeepSeek R1:

ollama run deepseek-r1:7b “Who is Condia?”

截至目前為止的步驟涉及直接通過命令行與 DeepSeek R1 交互。然而，Ollama 還提供了一個 API（應用程序編程接口）選項，而不是直接輸入命令。

使用 Ollama API

以下步驟展示了如何使用 curl 命令，這是一種常見的方法來向基於 Web 的 API 發送請求。

  • 例如，要從終端生成文本，輸入：
curl http://localhost:11434/api/generate -d ‘{
“model”: “deepseek-r1:7b”,
“prompt”: “write a Python function that reverses a given string.”
}’

為何使用 Ollama 來運行 DeepSeek R1？

  • 以簡單明瞭的命令迅速設置
  • 一切在自己的機器上運行，確保完全的數據隱私
  • 能夠輕鬆切換到不同的 AI 模型

最後想法

了解生成式 AI 的優勢和劣勢能夠幫助您構建有效的 AI 助手。定義您的目的，從小任務開始測試，並保持知識基礎的更新變化。本文的指南展示了如何使用 CodeGPT、LM Studio 和 Ollama 在本地運行 DeepSeek R1。現在，您可以探索本地 LLM 的潛力。

Custom DeepSeek R1 主機常見問題

Q: DeepSeek 的所有者是誰？

A: DeepSeek 是一家位於中國杭州，由 Liang Wenfeng 領導的私營 AI 公司，受高飛公司資助。

Q: 我應該選擇哪個 DeepSeek R1 模型？

A: 如果希望在強大硬件上最大化性能，使用主 DeepSeek R1 模型。若需在資源有限的情況下實現更快的生成，選擇如 1.5B 或 14B 的蒸餾變體。

Q: 這些自定義選項是否免費使用？

A: Ollama 和 LM Studio 是免費且開源的。DeepSeek R1 的許可證通常允許免費使用，包括商業應用。雲端服務對於微調可能會產生費用。CodeGPT 有免費帳戶但有一些限制。

Q: 我可以在遠程伺服器或 Docker 中運行 DeepSeek R1 嗎？

A: 是的，只要能安裝 Ollama，就可以在 Docker 容器、雲端虛擬機或本地服務器中運行 DeepSeek R1。

Q: 可以在手機上微調 DeepSeek 嗎？

A: 由於需要高計算需求，直接在手機上進行微調通常不可行。然而，您可以透過手機遠程訪問強大計算機或雲服務來進行微調。

Q: 這些模型是否適合商業用途？

A: 是的，DeepSeek R1 系列模型遵循 MIT 許可證，而 Qwen 蒸餾的變體則遵循 Apache 2.0。Llama 基於的變體則有自己的許可證。請確認您打算使用的具體許可證詳情。

Q: 運行 DeepSeek R1 模型需要什麼樣的硬件？

A: 硬件需求因模型大小而異：1.5B 模型可以在標準 PC 上運行，搭配 8GB RAM。7-32B 模型則需要強大的 GPU（8-24GB VRAM）和 32-64GB RAM。70B+ 模型需要多 GPU 設置，具備高 VRAM 和 128+ GB RAM。