喺 Mac 本地跑 Llama / Mistral：唔上雲端嘅私隱設定

情境

你係：

• 律師 / 法律助理：客戶文件喺法律上唔可以上傳落雲端
• 醫療 / 診所行政：病人紀錄受《個人資料（私隱）條例》（PDPO）規管
• 金融 / 合規審查：內部模型 / 風險文件唔可以離開公司網絡
• 政府 / 非政府組織：受特定數據治理限制

但你又想用 AI 幫手：做摘要、翻譯、執靚啲文字。問題係雲端嘅 Claude / ChatGPT 你都唔用得。

呢篇教你點樣喺 Mac 度設定一個本地大型語言模型（Local LLM）——開源模型（Llama / Mistral）直接跑喺你部機，完全零雲端傳輸。

⚠️ 注意：本地模型嘅質素同最新嘅 Claude / GPT-4 有段距離（尤其係推理同多語言能力）。不過應付日常任務已經夠用。設定之前要調整下期望：呢個係「私隱行先，質素行後」。

跟住做

1. 硬件檢查

最低要求：

• Mac M1 / M2 / M3（Intel 晶片嘅 Mac 跑得超慢，唔推薦）
• 最少 8GB 記憶體 (RAM)，16GB 跑 7B 模型 OK，32GB 以上跑 70B 模型
• 30GB 空餘硬碟空間（每個模型大約 4-8GB）

如果你部 Mac 唔夠班，呢套做法就唔啱你。倒不如繼續用雲端，同公司簽返份企業數據協議反而穩陣。

2. 安裝 Ollama

Ollama 係 macOS 上面跑本地模型嘅工具，亦都係最易上手嗰種。

# 透過 Homebrew 安裝
brew install ollama

# 啟動服務
ollama serve

# 開第二個 terminal：下載 Llama 3.1 8B
ollama pull llama3.1:8b

# 測試
ollama run llama3.1:8b
> 你好

大約 5-10 分鐘設定時間。

3. 比較同揀模型

# 中文友善
ollama pull qwen2.5:7b    # 阿里嘅 Qwen，中文強
ollama pull yi:6b         # 推理能力強

# 通用
ollama pull llama3.1:8b
ollama pull mistral:7b

# 大模型（需要 32GB 以上 RAM）
ollama pull llama3.1:70b

我自己實際試完之後嘅主觀感覺：

• Qwen 2.5 7B：中文最強，廣東話書面語都算通順，做文件摘要好啱用
• Llama 3.1 8B：英文最強，寫 code 都唔錯，中文都過得去但未夠地道
• Mistral 7B：兩者之間，容量最細

4. 用呢個提示詞設定工作流程

我裝咗 Ollama，拉咗以下模型：[列出]。我嘅用途：[填寫具體用途：例如「摘要法律文件」、「執靚醫療病人筆記」、「翻譯內部合規文件」]請：
推薦邊個模型最啱我嘅用途（睇容量 / 語言 / 推理能力）
整一個簡單嘅 terminal 工作流程：

我有一份 .txt 或 .md 文件
我想將檔案內容傳入模型，輸出摘要 / 執靚 / 翻譯
唔使整介面，純命令列（command line）就得


寫一個 bash 函式去簡化呢個流程（加入到 ~/.zshrc）
注意位：本地模型常見嘅限制（上文下理長度、冷門主題嘅準確度）
幾時應該轉返用雲端：邊種任務本地模型明顯唔夠力，需要雲端（我會同公司合規團隊確認）
我嘅 Mac 配置：[M1 / M2 / M3，記憶體大小]

5. 建立簡單嘅 bash 函式

# 加入到 ~/.zshrc
function ask-local() {
  local prompt="$1"
  local file="$2"
  
  if [ -z "$file" ]; then
    echo "$prompt" | ollama run qwen2.5:7b
  else
    cat "$file" | ollama run qwen2.5:7b "$prompt"
  fi
}

# 使用方法：
ask-local "用廣東話書面語做 3 句摘要：" my-doc.txt
ask-local "Translate to English keeping legal precision:" contract.txt

呢個就係最精簡嘅做法，5 分鐘搞掂。

變化例子

變化 1：私隱第一嘅收件箱分類

我想喺本地分類電郵（敏感行業，客戶資料唔可以上雲端）。請：
推薦 Ollama 模型
設定：由 Mail.app 或 Outlook 匯出之後，將資料傳入本地模型
Bash 腳本分類過去 1 日嘅電郵
輸出格式同 Cowork 嘅雲端工作流程類似（分 5 個部分）
我明白有得有失：本地模型細緻度較低、速度較慢。但對我嘅情況嚟講，私隱保障重要得多。

變化 2：本地程式碼審查（公司禁止上傳原始碼）

我公司禁止將原始碼上載落雲端 LLM。我想用本地模型做程式碼審查。請：
揀啱本地模型（針對程式碼優化嗰啲，例如：CodeLlama、DeepSeek Coder）
設定工作流程：入到專案資料夾，行個命令審查啱啱 commit 嘅 diff
輸出：錯誤模式、風格問題、重構建議
注意位：本地模型理解複雜程式碼嘅能力不及 Claude / GPT-4，唔可能完全取代高級開發者嘅審查

變化 3：本地 + Claude 兩階段工作流程

我大部分工作都用雲端 Claude，但偶爾會撞到敏感文件。想設計咁樣：
預設：雲端（夠快又夠靚）
一觸發就轉去本地：當文件包含 [關鍵字清單 — 例如：客嘅名、特定案件 ID 格式、內部行話]
請：
寫個 bash 函式自動偵測敏感內容
分流去本地 / 雲端對應處理
記低：邊份文件去咗邊度（方便日後查核）

一個取捨框架

本地模型唔係攞嚟代替雲端 Claude。兩者由根本上就係兩種唔同嘅取捨：

一條簡單原則：凡係「一旦洩漏就會有嚴重後果」嘅任務 → 用本地；日常任務 → 用雲端。

呢條界線唔使分到非黑即白。香港打工仔九成嘅工作，用雲端完全冇問題；剩返嗰一成敏感個案，先至用本地。

最後想講嘅一點：本地模型嘅價值唔係取代 Claude，而係幫你打開「以前因為私隱問題而完全唔敢掂 AI」嘅嗰道門。對香港做法律 / 醫療 / 金融嘅人嚟講，呢道門打開得實實在在。