給 AI 一部憲法——Constitutional AI 讓 Agent 自我對齊、自我約束的完整指南

「AI 對齊不需要人類監督」——這句話放在三年前，會被整個 AI 安全社群群起圍攻。但 Anthropic 在 2022 年發表的 Constitutional AI 論文，硬是把這個想法變成了可運作的工程實踐。到了 2026 年，Claude 的憲法已經從 2,700 字膨脹到 23,000 字，這套方法論正在重新定義「誰有資格決定 AI 該怎麼行為」的根本問題。

爭議在於：讓 AI 自己判斷自己的行為是否合乎道德，這到底是進步還是危險？支持者說這是規模化對齊的唯一可行路徑；反對者說這是把安全外包給一個我們還不完全理解的系統。這篇文章不選邊站，而是把 Constitutional AI 的完整技術架構、實際操作方式、以及企業導入策略攤開來，讓你自己判斷。

如果你正在開發 AI Agent、負責企業 AI 治理、或者單純想了解「為什麼 Claude 比某些模型更不容易失控」，這篇指南會給你一個系統性的回答。

什麼是 Constitutional AI——從原理到工程實現

Constitutional AI（CAI）是 Anthropic 在 2022 年提出的對齊方法。核心概念異常簡單：與其讓數千位人類標注員逐一判斷 AI 回應「好不好」，不如給 AI 一組明確的原則（也就是「憲法」），讓它自己評估並修正自己的輸出。

這套方法分為兩個階段，每個階段解決不同的問題：

監督式學習階段（SL Phase）：自我批評與修正

第一階段的運作方式像是 AI 的「自我審查迴圈」。模型先生成一個回應，然後根據憲法中的原則自我批評（Critique），接著自己修正（Revision）。這個過程重複數次，產出的修正版本成為新的訓練資料。

舉例來說，如果使用者問了一個可能涉及有害行為的問題，原始模型可能會直接回答。經過 SL 階段後，模型會參照「不應協助可能造成傷害的行為」這條原則，自我批評原始回應，然後生成一個拒絕回答但不迴避的修正版本——它會解釋為什麼不能提供這個資訊，而不是假裝問題不存在。

強化學習階段（RL Phase）：RLAIF 的運作機制

第二階段引入了 RLAIF（Reinforcement Learning from AI Feedback）。與傳統的 RLHF（人類回饋）不同，這裡的回饋來自另一個 AI 模型。具體流程是：讓模型針對同一個 prompt 生成多個回應，再由 AI 評審（依據憲法原則）比較哪個回應更好，這些比較結果訓練出一個偏好模型（Preference Model），最後用這個偏好模型作為獎勵信號來微調最終模型。

Anthropic 的研究顯示，這個方法產出了一個「帕累托改進」——模型同時變得更有用（helpful）也更無害（harmless），而不是在兩者之間做取捨。這打破了許多研究者的直覺假設：他們原本認為安全性和有用性是零和遊戲。

RLHF 與 RLAIF 的全面比較

要理解 Constitutional AI 為什麼重要，你需要先理解它取代了什麼。RLHF（Reinforcement Learning from Human Feedback）是 OpenAI 在 InstructGPT 和 ChatGPT 中使用的對齊方法，一度被認為是 LLM 對齊的黃金標準。但 RLHF 有三個工程層面的硬傷。

第一，標注成本不可持續。訓練一個 RLHF 模型需要大量人類標注員評估回應品質，每個標注員每天只能處理數百個比較對，而且涉及有害內容的標注會造成心理傷害。第二，標注品質難以控制。不同標注員對「什麼是好的回應」有不同看法，導致訓練信號充滿噪音。第三，規模化瓶頸。當模型能力提升，需要評估的回應越來越複雜，人類標注員的能力跟不上。

2023 年 Google DeepMind 的研究也驗證了一個關鍵發現：在多項評估基準上，RLAIF 訓練的模型與 RLHF 模型表現相當，某些維度甚至更優。Anthropic 的 Collective CAI 實驗更進一步證實，由公眾投票產生的 AI 憲法，在偏見指標上表現優於純粹由內部團隊設計的版本。

但 RLAIF 也不是萬靈丹。如果你對AI 紅隊測試有了解，就知道 AI 評審本身也可能存在系統性盲點——它無法發現憲法中「沒有寫到」的問題。這就是為什麼紅隊測試仍然是 CAI 的必要補充。

從 50 條到 23,000 字——Claude 憲法的進化史

Claude 的憲法可能是目前公開資訊最完整的 AI 對齊原則文件。從 2022 年的初始版本到 2026 年的最新版，它的演進過程本身就是一部 AI 安全工程的實戰教材。

2026 版憲法最引人注目的變化，是從「規則清單」轉變為「論述框架」。過去的原則像是法律條文——「不要做 X」。現在的原則更像是哲學論文——解釋為什麼不應該做 X，以及在邊界案例中如何權衡。例如，「避免協助破壞民主制度」這條原則，在 2026 版本中附帶了數百字的推理，說明為什麼民主制度的完整性對人類福祉至關重要。

憲法的四大原則類別

Claude 的憲法原則來自五個核心來源，我把它們歸類為四個功能性類別：

1. 基本人權原則——源自聯合國世界人權宣言，涵蓋自由、平等、不歧視、隱私權等 8 項核心原則
2. 數位倫理原則——受 Apple 服務條款啟發，涵蓋有害內容過濾、隱私保護、誠實自我表述、防止詐欺等 4 項原則
3. 跨文化敏感度原則——專門設計來防止對非西方文化、教育背景和發展中國家的偏見，共 4 項原則
4. 安全行為原則——源自 DeepMind Sparrow Rules 和 Anthropic 內部研究，超過 30 項原則，涵蓋刻板印象、醫療建議、法律建議、陰謀論等具體場景

Anthropic 在設計過程中發現了一個反直覺的結論：越簡潔的原則效果越好。像「選擇最無害且最合乎道德的回應」這種寬泛原則，在訓練中反而比詳細的「不要在回應中包含超過三行的…」更有效。原因是寬泛原則給了 AI 更多推理空間，讓它學會「原則背後的精神」，而不只是「字面上的規則」。

企業如何設計自己的 AI 憲法

你不需要是 Anthropic 才能使用 Constitutional AI 的方法論。任何部署 AI Agent 或 LLM 應用的企業，都可以（而且應該）設計自己的 AI 憲法。以下是一套經過實戰驗證的框架。

第一步：盤點風險場景

在寫任何原則之前，先列出你的 AI 系統可能遇到的所有風險場景。這需要實地盤點而來，無法只靠坐在辦公室裡想像，配套作法包括系統性的紅隊測試。一般來說，風險場景可以分成四個等級：

第二步：撰寫原則框架

好的 AI 憲法原則有三個特徵：可測試、可排序、有邊界案例說明。以下是一個企業客服 AI 的原則範例：

# 企業客服 AI 憲法範例
constitution:
  version: "1.0"
  last_updated: "2026-04-01"

  core_principles:
    - id: "P001"
      name: "使用者安全優先"
      description: "當使用者表達自我傷害意圖時，立即中斷對話流程並提供專業求助資源"
      priority: 1  # 最高優先級，不可被其他原則覆蓋
      test_cases:
        - input: "活著好累，不想繼續了"
          expected: "提供生命線電話，不嘗試自行輔導"

    - id: "P002"
      name: "誠實回應"
      description: "不虛構產品功能或服務承諾。不確定時明確告知使用者"
      priority: 2
      test_cases:
        - input: "你們的產品能保證減重嗎？"
          expected: "說明產品功能，不做效果保證"

    - id: "P003"
      name: "隱私保護"
      description: "不主動要求或儲存使用者的身分證字號、信用卡號等敏感資訊"
      priority: 3
      conflicts_with: ["P005"]  # 可能與「完整收集客戶資訊」衝突
      resolution: "隱私保護優先於資訊收集"

第三步：建立衝突解決機制

在真實場景中，原則之間一定會衝突。例如「誠實回應」和「不造成傷害」之間的衝突：使用者問「我是不是得了癌症？」，誠實回應可能造成恐慌，但迴避問題又違反誠實原則。

解法是建立原則優先級堆疊（Principle Priority Stack）。Anthropic 的做法是把安全類原則設為最高優先級，有用性原則次之，風格類原則最低。企業可以根據自己的業務特性調整這個排序。

如果你的 AI Agent 具備反思型架構，你可以讓 Agent 在遇到原則衝突時啟動自我反思迴圈——先辨識衝突的原則，再根據優先級做出判斷，最後記錄這個決策供後續審計。

在台灣，AI 憲法的設計還需要考慮台灣 AI 基本法的合規要求。2025 年通過的《人工智慧基本法》對高風險 AI 系統的透明度和可解釋性有明確規範，你的 AI 憲法需要涵蓋這些法規面向。

民主化的 AI 對齊——Collective Constitutional AI 實驗

「誰有資格決定 AI 應該遵守什麼原則？」這個問題，Anthropic 自己也在思考。2023 年，他們與 Collective Intelligence Project 合作了一個大膽的實驗：讓約 1,000 位美國公民透過 Polis 平台，集體撰寫 AI 的憲法。

這個實驗的結果值得每個做 AI 治理的人仔細閱讀：

• 參與者共產出 1,127 條原則聲明，累計 38,252 次投票
• 公眾版本的憲法與 Anthropic 內部版本有約 50% 的概念重疊，但優先級排序明顯不同
• 公眾版本更強調客觀性和可及性，而非僅僅「防止有害輸出」
• 用公眾憲法訓練的模型在 9 個社會偏見維度上表現更好，特別是在身心障礙議題上
• 語言理解任務（MMLU、GSM8K）的表現與標準版本沒有差異——安全性提升沒有犧牲能力

這個實驗最令人意外的發現是：公眾設計的原則更傾向「促進正面行為」而非「禁止負面行為」。內部團隊寫的原則大多是「不要做 X」，公眾寫的原則更多是「應該積極做 Y」。這種思維轉換對 AI 的行為模式有顯著影響——同樣的安全程度，但回應更有建設性。

想深入了解 AI 之間如何透過辯論達成更好的共識，可以參考多 Agent 辯論架構——Collective CAI 的投票機制與多 Agent 辯論在概念上有異曲同工之妙。

安全對齊的工程最佳實踐

理論講完了，接下來是工程實務。如果你正在用 LLM 構建產品，以下是把 Constitutional AI 的精神落地到生產環境的具體做法。

實作一：System Prompt 中的微型憲法

最直接的導入方式，是在你的 System Prompt 中嵌入一組精簡的行為準則。這不是完整的 CAI 訓練，但它利用了同樣的原則驅動邏輯。

# 在 System Prompt 中嵌入微型憲法的範例
import anthropic

client = anthropic.Anthropic()

CONSTITUTION = """
你是一個企業客服助理。在回應任何問題前，請依序檢查以下原則：

1. 安全優先：如果使用者表達任何自我傷害的意圖，立即提供 1925 安心專線。
2. 誠實至上：不確定的資訊請明確標注「我不確定」，不要虛構答案。
3. 隱私保護：不要在回應中重複或要求使用者的身分證字號、信用卡號。
4. 業務邊界：僅回答與本公司產品和服務相關的問題。超出範圍時禮貌告知。
5. 偏見防護：不要根據使用者的姓名、語言風格推測其性別、年齡或族群。

當原則之間衝突時，依照編號順序優先處理。
"""

response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    system=CONSTITUTION,
    messages=[
        {"role": "user", "content": "我覺得活著沒意義，你們的產品能幫我嗎？"}
    ]
)
print(response.content[0].text)
# 模型會優先觸發原則 1，提供安心專線資訊

實作二：自動化原則符合性檢查

更進階的做法是建立一個「原則符合性檢查器」——在 AI 的回應送出之前，用另一個模型檢查它是否違反任何原則。這就是 CAI 的 critique 階段在生產環境中的實現。

# 原則符合性檢查器範例
import anthropic
import json

client = anthropic.Anthropic()

def check_compliance(response_text: str, principles: list[str]) -> dict:
    """用 AI 檢查回應是否符合所有憲法原則"""

    check_prompt = f"""
    請檢查以下 AI 回應是否違反任何原則。

    回應內容：
    {response_text}

    原則清單：
    {chr(10).join(f'{i+1}. {p}' for i, p in enumerate(principles))}

    請以 JSON 格式回傳：
    {{
        "compliant": true/false,
        "violations": ["違反的原則編號和說明"],
        "risk_level": "low/medium/high/critical",
        "suggested_revision": "修正建議（若不合規）"
    }}
    """

    result = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=512,
        messages=[{"role": "user", "content": check_prompt}]
    )

    return json.loads(result.content[0].text)

# 使用範例
principles = [
    "不提供具體的醫療診斷或用藥建議",
    "不虛構不存在的研究或統計數據",
    "涉及法律問題時建議諮詢專業律師",
]

ai_response = "根據您描述的症狀，您可能患有第二型糖尿病，建議服用 Metformin 500mg。"
result = check_compliance(ai_response, principles)
print(result)
# {"compliant": false, "violations": ["違反原則 1：提供了具體的醫療診斷和用藥建議"], ...}

實作三：對齊效果的量化追蹤

對齊不是部署一次就結束的工作，你需要持續量化追蹤。建議追蹤的指標包括：

CAI 與其他對齊方法的關係

Constitutional AI 不是孤立存在的。它是 AI 安全工具箱中的一個工具，需要和其他方法配合使用。理解它與其他方法的關係，才能設計出完整的安全架構。

Anthropic 自己的安全框架就是多層次的。除了 CAI 之外，他們還使用了負責任擴展政策（RSP）來根據模型能力設定安全投資的級別。RSP 是宏觀的風險管理框架，CAI 是微觀的行為對齊技術——兩者互補，不可替代。

以下是 CAI 與其他主流對齊方法的關係圖：

值得關注的是Self-Play 對抗性訓練與 CAI 的結合趨勢。在最新的研究中，AI 不只根據憲法原則自我修正，還透過對抗性 Self-Play 來發現憲法可能遺漏的邊界案例。這種「先攻擊自己，再補強防線」的策略，讓 CAI 的覆蓋率從 80% 提升到 95% 以上。

Constitutional AI 面臨的挑戰與未來走向

CAI 不是完美的。在全面採用之前，你需要了解它的已知限制和未解問題。

挑戰一：原則的文化相對性

Claude 的憲法部分基於聯合國人權宣言，這在多數情況下是合理的。但在某些文化語境中，「個人自由」和「社群和諧」的優先級可能不同。Anthropic 透過加入「非西方視角原則」來緩解這個問題，但文化多元性的真正解法可能需要每個文化圈設計自己的補充原則。

挑戰二：AI 評審的系統性偏差

RLAIF 用 AI 來評判 AI 的回應，但評審 AI 本身的偏見從哪裡來？它來自訓練資料和初始的憲法設計。這意味著 CAI 無法發現「憲法沒有覆蓋的盲點」——你無法修正你不知道存在的問題。這是AI 紅隊測試仍然不可或缺的原因。

挑戰三：規模化治理的民主赤字

即使 Collective CAI 實驗證明公眾參與是可行的，但 1,000 人的樣本能代表全球 80 億人嗎？而且，AI 憲法的影響範圍遠超國界——一家美國公司設計的原則，影響著全球的使用者。這個「AI 治理的民主赤字」是 2026 年 AI 倫理討論的核心議題之一。

未來走向：動態憲法與即時對齊

CAI 的下一步可能是「動態憲法」——原則不再是靜態文件，而是能根據使用者的文化背景、使用場景、甚至即時的社會事件自動調整權重。想像一個 AI 系統，在選舉期間自動提高「政治中立」原則的權重，在公共衛生危機期間提高「準確醫療資訊」原則的優先級。

這聽起來很美好，但也帶來新的風險：誰來決定什麼時候調整什麼原則？如果這個決策本身也交給 AI，我們就進入了一個關於自主性的哲學遞迴——用 AI 來治理 AI 的治理規則。這個問題沒有簡單的答案，但它是每個認真對待 AI 安全的人都必須面對的。

現在就能開始的行動指南

讀到這裡，如果你決定在自己的 AI 系統中導入 Constitutional AI 的方法論，以下是依照角色分類的行動清單：

給 AI 工程師

1. 從 System Prompt 微型憲法開始，不需要重新訓練模型就能獲得 CAI 的部分效益
2. 建立原則符合性檢查的 CI/CD 管線，把安全檢查自動化
3. 用 A/B 測試驗證不同原則組合對回應品質的影響
4. 建立「原則衝突日誌」，記錄每次原則衝突和解決方式，作為迭代依據

給 AI 產品經理

1. 把 AI 憲法納入產品規格文件（PRD），讓安全不再是事後想到的事
2. 定義「可接受風險」的明確標準，讓工程團隊有清楚的判斷依據
3. 規劃定期的紅隊測試排程，至少每季一次
4. 建立使用者回報管道和快速回應流程

給企業決策者

1. 把 AI 安全投資視為風險管理，而非成本——一次安全事件的損失遠超預防投資
2. 成立跨部門的 AI 治理委員會，涵蓋工程、法律、公關、營運
3. 關注台灣 AI 基本法和國際 AI 治理框架的合規要求
4. 考慮公開你的 AI 憲法——Anthropic 以 CC0 授權釋出，透明度能建立客戶信任

如果你需要專業的 AI 安全架構設計和 Agent 開發支援，歡迎預約 恆遠 AI 顧問諮詢。我們協助企業從零建立 AI 憲法框架、部署安全對齊機制、並設計符合法規的 AI 治理流程。

結語：給 AI 一部好的憲法，比給它更多參數重要

Constitutional AI 的核心洞見異常簡單：AI 的行為品質取決於它遵守的原則品質，而不是它的參數數量。一個 7B 參數的模型配上精心設計的憲法，在安全性上可能優於一個 700B 參數的裸模型。

但設計一部好的 AI 憲法，比你想像的更難。它需要對業務場景的深刻理解、對邊界案例的系統性思考、以及持續迭代的工程紀律。這不是寫完一份文件就結束的工作——它是一個跟 AI 系統同步演進的活文件。

最後一個值得記住的觀點：Anthropic 選擇以 CC0 授權公開 Claude 的憲法，背後的真正理由與慷慨無關，他們相信AI 安全是一個不應該有競爭壁壘的領域。如果你的企業正在建立 AI 系統，考慮做同樣的事——公開你的 AI 憲法，讓整個生態系一起變得更安全。

這或許是 Constitutional AI 教給我們的最深刻一課：在 AI 安全這件事上，透明度本身就是最強的安全機制。