企業內網 AI 助理自架完整指南封面

企業內網 AI 助理自架完整指南:Open WebUI / LibreChat / AnythingLLM 三條路徑 + Claude API 接入 — 中小企業老闆「不被 SaaS 鎖死」的 5 個訊號與 4 條合約替代方案

自由揚AntonyLin
10 分鐘閱讀
複製引文
企業內網 AI 助理自架完整指南封面
企業內網 AI 助理自架完整指南封面

最近我們在跟一家做硬體製造的中型客戶聊(員工 80 人),他們的 IT 主管問了一個問題:「我們公司 60 個人都在用 ChatGPT Team,一個月 $1,500 美金,可不可以自己架一個 AI 助理就好?」這個問題的背後其實是「該不該脫離 SaaS 鎖定」這條更大的議題。我們花了一個下午陪他算帳——把自架的真實成本(硬體、人力、維運、安全)攤開後,發現答案不是一個「該 / 不該」,是一個「在你公司現況下,哪一條路會最少痛」。

這篇要做的事情:把企業內網 AI 助理自架的三條主流路徑(Open WebUI / LibreChat / AnythingLLM)拆給中小企業老闆看,再加上「該不該自架」的 5 個訊號、4 條不全自架的合約替代方案,最後給一份 60 天評估清單。前提是:本文不是教你 hands-on 自架——我們會把每條路徑的優缺、成本、技術門檻寫清楚,讓老闆能對承包商的提案做出判斷。

為什麼這個議題突然變熱

過去 18 個月有三個變化把「自架 AI 助理」從 geek 玩具變成企業 IT 主管會嚴肅評估的選項:第一,Open WebUI / LibreChat 等開源專案 的 UI / UX 已經跟 ChatGPT 接近,使用者學習成本變零;第二,Claude / GPT / Gemini 都開放了相對穩定的 API 跟成熟的 SDK,自架的後端不用自己訓模型;第三,ChatGPT Enterprise / Claude Team 的 seat 訂閱費用累積到 50 人以上時,總帳單已經接近一台中階伺服器的折舊。

加上 2026 年 6 月台灣禁採中國品牌 ICT 的政策落地,企業 IT 採購又多了一條合規維度——某些國產 SaaS AI 助理因為後端用了中國 LLM 開始被踢出選單。詳細可參考 2026 政府禁採中國品牌 ICT 完整盤點

三條主流自架路徑全比較

以下三個是中小企業最常評估的內網 AI 助理自架方案,全部 open source、商用授權,差別在於目標使用者與整合深度。

方案

Open WebUI

LibreChat

AnythingLLM

定位

ChatGPT-like 介面 + Ollama 整合

多模型統一前端

文件問答 + RAG 為主

技術棧

Python + SvelteKit

Node + React

Node + React

主打優勢

UI 最接近 ChatGPT、社群最活躍

多 provider 統一管理、權限細

RAG / 文件問答開箱即用

Claude API 接入

✓ 透過 LiteLLM proxy

✓ 原生支援

✓ 原生支援

文件 RAG 能力

中(要外接 vector DB)

中(外接)

強(內建)

使用者管理 / SSO

Google / OIDC OK

LDAP / OIDC OK

OIDC OK

適合 seat 數

20-200

50-500

10-100,文件量大

月維運成本估算

台灣本地 1-3 萬

台灣本地 1.5-4 萬

台灣本地 2-5 萬(含向量資料庫)

這張表只反映 2026 年 6 月狀態,三個專案都在快速迭代。Open WebUI 的最大優勢是社群活躍度——更新最頻繁、bug fix 最快;LibreChat 適合需要嚴格權限管理的場景;AnythingLLM 則是文件 RAG 場景的最佳起點。

該不該自架的 5 個訊號

訊號 1:seat 數 ≥ 30 且每月 SaaS 帳單 ≥ $1,000

30 個 seat × $25/月 = $750,加上 API token 消耗或更高階 plan 通常會破 $1,000。在這個量體上,自架的「人力 + 硬體 + token」總成本約 $400-700,能省 30-50%。低於 30 seat,自架的固定成本攤不開,反而貴。

訊號 2:你公司有「不能上 SaaS」的資料

醫療病歷、客戶個資、合約金額、未公開財報、原始程式碼——這些資料 ChatGPT Enterprise / Claude Team 雖然都簽 DPA 保證不訓練,但合規方面(如醫療 HIPAA、金融 PCI-DSS、政府機敏)可能要求資料留在內網。這個訊號是「自架」非選不可。

訊號 3:你公司已經有 IT 主管或 DevOps 工程師

自架不是裝完就完。要做版本升級、安全 patch、用戶權限管理、token 用量監控、log 保留、備份還原。沒有專人負責,3 個月內就會變成「沒人敢動的內部系統」。如果你公司沒有專職 IT,自架的隱性成本會吃光省下的錢。

訊號 4:你預期未來會做進一步整合(內部知識庫、CRM、ERP)

自架 AI 助理的真正價值不在「省 SaaS 錢」,是「把企業內部資料接進來」。如果 12 個月內你會做員工知識庫問答、CRM 客戶對話分析、ERP 報表自動摘要——這些用 SaaS 都會卡住(資料不能外傳),自架反而是一勞永逸的基礎建設。

訊號 5:你想避免 vendor lock-in

ChatGPT Enterprise / Claude Team 把 prompt / 對話記錄 / 自訂指令 / 知識庫全綁在一個帳號體系裡,3 年後想換廠商,搬遷成本巨大。自架的好處是「模型可以隨時換」——今天用 Claude API、明天 Gemini 降價就切過去、後天有更便宜的 open model 也能用。底層基礎建設是你的。

5 個訊號中 3 個以上 = 強烈建議自架;只中 1-2 個 = 走下一節的合約替代方案。同類 procurement 評估邏輯也可以對應 中小企業 AI / 軟體採購供應商盡職調查 SOP

4 條合約替代方案(不全自架,但保留主控權)

如果上述訊號只中 1-2 個,全自架可能反而虧錢。下面 4 條合約替代方案是「不自架,但保留主控權」的中庸路徑。

方案

做法

適合誰

月成本估算(50 seat)

A. SaaS + 嚴格 DPA

用 ChatGPT Enterprise / Claude Team,但 DPA 條款鎖死資料不被訓練、6 個月內可全量匯出

資料敏感度中等、不想養 IT 的公司

$1,200-2,500

B. SaaS + 自架敏感層

一般查詢走 SaaS,敏感資料走自架(雙系統)

有 1-2 個業務涉及敏感資料

$800(SaaS) + $500(自架)

C. 半托管自架

自架但用 Zeabur / Render / 國內 IDC 托管,省 DevOps 人力

有預算但沒專職 DevOps

$600-1,200

D. 全自架 + Claude API

Open WebUI + Claude API + 內網 RAG

有 IT 主管、5 個訊號中 3+

$300-700

這 4 條沒有絕對的對錯,看你公司現況與風險容忍度。一般我們建議從 A 或 B 起步,等使用量穩定後再評估升級到 C 或 D。

我們自己怎麼跑

我們公司內部跑的是混合模式——Claude Pro 訂閱(4 個團隊 seat)+ 自架 Open WebUI 接 Claude API(用於跑長 context 文件分析與內部 SOP 問答)+ Gemini Flash API(routing 低成本任務)。月帳單大約 $400-600 美金,比全 ChatGPT Team 50 seat 的 $1,250 省一半多。

自架的 Open WebUI 跑在 Zeabur 上(半托管),不用我們自己管 server。RAG 部分用 PostgreSQL pgvector 配 OpenAI embedding,把 30+ AI 流程的 SOP、客戶報價歷史、內部 wiki 都灌進去——這套基礎設施支撐了我們公司 20+ 個 AI 流程的日常運作。

市場上對自架的兩個常見迷思

我們不認同的第一個說法:「自架一定比 SaaS 安全」。錯。安全不是「在哪裡架」決定的,是「誰負責維運」決定的。一個沒人 patch 的自架系統,比一個有 SOC2 認證的 SaaS 更危險。我們看過不少自架案例——架完上線就忘了,半年後 Open WebUI 跳出 CVE 警告也沒人理,最後變成內部 RCE 漏洞。

第二個我們不認同的:「自架就能省掉所有 SaaS 費用」。錯。自架只是把「seat 訂閱」變成「API token 消耗 + 人力 + 硬體」。Token 消耗如果沒做 routing 跟 quota 管控,可能比 SaaS 還貴。我們看過一家公司自架後一個月 token 帳單衝到 $4,000 美金,比原本 ChatGPT Enterprise 還貴 2 倍——後來才發現是某個 RAG 流程沒做 token cache。詳細的 token 成本治理可以對應 中小企業 AI Token 成本完整治理框架

60 天評估清單

如果評估後決定走自架,這份 60 天清單可以直接照表執行。建議由 IT 主管或外包技術顧問主導。

Day 1-15:盤點與選型

  • 盤點現有 SaaS AI 訂閱(seat 數、月費、實際使用率)
  • 盤點 3 個月內最高使用率的 5 個 AI 用例與資料敏感度
  • 選擇主路徑(Open WebUI / LibreChat / AnythingLLM)
  • 決定 LLM provider(Claude / GPT / Gemini)與 routing 策略
  • 盤點現有硬體 / 雲端基礎設施與專責人力

Day 16-30:架設 + 小規模 pilot

  • 在 staging 環境裝起來,跑通基本對話 + 文件上傳功能
  • 接 SSO(Google Workspace OIDC 或 LDAP)
  • 設定每個 user 的 token quota 與成本告警
  • 邀請 5-10 個 power user 做 2 週 pilot,收集回饋
  • 比對使用體驗與原 SaaS 的差距(誠實列差距)

Day 31-45:合規與資料整合

  • 上 production 域名 + HTTPS + 反向代理 + WAF
  • 規劃 RAG 資料來源(內部 wiki / CRM / SOP)
  • 建立資料分級制度(哪些可進 RAG / 哪些不行)
  • 備份還原演練(資料庫 + RAG 向量庫)
  • 撰寫 AI 使用內規 + 員工知情同意書

Day 46-60:全員上線 + 退場計畫

  • 全員開放使用,逐步把 SaaS 訂閱降階或退訂
  • 監控 7 天 → 30 天的成本曲線與 token 使用率
  • Documentation:把架設過程、設定、運維 SOP 寫成 wiki
  • 簽定維運合約(如有外包)並設定 90 天無痛切換條款
  • 合約條款部分可參考站內「客製化系統合約撤退條款完整指南」

ℹ️聊聊你的內網 AI 助理規劃

看到這裡,如果你也在想「我們公司 SaaS 帳單太貴 / 資料不能外傳 / 想開始自架——但不知道從哪一條路徑下手」——這類整合在我們的 AI 系統開發 範圍內,想討論放到你的系統怎麼長,我們很樂意聽你聊聊現況、一起看看哪些做得起來。

ℹ️我們怎麼看

3 年後贏的不會是「全 SaaS」或「全自架」的二分法,會是「對的工作流配對的部署模式」。對中小企業老闆而言這代表一件具體的事:不要把「自架」跟「省錢」綁在一起想,要把它跟「資料主控權」綁在一起想。我們的取捨是先用 SaaS 跑通流程 → 找出 1-2 個敏感 / 高頻流程 → 把那 1-2 個遷到自架,剩下繼續走 SaaS。給你的判斷工具是這篇的 5 訊號 + 4 替代方案——3 訊號以上才自架,不到就走中庸路徑,這比「全自架」更務實。

ℹ️我們做過這件事

順帶說一下,這篇講的混合 routing 架構我們公司自己每天就在跑——目前內部就有 20+ 個 AI 流程在工作中,跨 Open WebUI 自架 + Claude Pro + Gemini API routing 三層。所以這裡分享的成本與雷區,都是我們實際踩過、確認真的會出事之後才寫的。 在 AI 系統開發 諮詢經驗中,企業內網 AI 助理的「該不該自架、怎麼自架」是過去 6 個月詢問度最高的題目之一。 看到這裡,如果你也在評估自架方案、想討論放到你的系統怎麼長——我們很樂意 聽你聊聊現在的實際情況,一起看看哪些做得起來、能從哪一塊開始。

Q自架 Open WebUI 接 Claude API,會比直接用 Claude Team 便宜嗎?

看 seat 數。50 seat 以下,Claude Team($30-50/seat/月)通常比自架便宜(因為自架的人力與硬體攤不開);50 seat 以上,自架接 API + 善用 prompt cache,能省 30-60%。但這個算法不算「IT 主管管維運的時間成本」——如果你公司沒有專職 DevOps,建議走半托管自架(Zeabur / Render)。

Q自架後資料安全真的比 SaaS 好嗎?

不一定。安全取決於「誰負責維運」。一個有 SOC2 / ISO 27001 認證的 SaaS,比一個沒人 patch 的自架系統安全得多。自架的「優勢」是資料主控權(資料留在你的伺服器),但這個優勢只有在你「真的每週做 patch + 監控 + 備份」時才存在。

QAnythingLLM 跟 Open WebUI 差別到底在哪?

用例不同。Open WebUI 主打「ChatGPT-like 對話介面」+ Ollama / OpenAI / Claude provider,適合純對話與一般辦公場景;AnythingLLM 主打「文件問答 + RAG」,內建向量資料庫與 ingestion pipeline,適合企業內部知識庫場景。如果你主要想取代 ChatGPT 訂閱,選 Open WebUI;如果重點是讓員工問內部文件,選 AnythingLLM。

Q自架 AI 助理會不會違反個資法?

自架本身不違法,反而通常更符合個資法(資料留在內網)。但要注意:(1) 模型 API 端如果用 Claude / GPT,資料還是會傳到雲端 LLM,這部分要簽 DPA;(2) 員工的對話 log 留多久要寫進公司 AI 使用內規;(3) 涉及個資輸入的場景要做匿名化處理。詳細可以對應 AI 員工政策手冊那篇。

Q我們公司 80 人,要不要 AnythingLLM 就好還是配 LibreChat?

看用例。如果你公司主要痛點是「員工查內部文件查不到」(SOP、客戶歷史報價、產品手冊),AnythingLLM 一套搞定;如果痛點是「不同部門需要不同的 AI 工具設定 + 嚴格權限」(業務看 CRM 對話分析、HR 用招募模板、工程用 code review),LibreChat 的多 provider + 權限管理更適合。也可以兩套並行——AnythingLLM 做知識庫、LibreChat 做日常對話。

分享文章

AUTHOR

自由揚AntonyLin

留言(0)

尚無留言,成為第一個留言的人吧!

需要網站系統架設或軟體開發?

無論是品牌官網、客製化系統還是應用程式,我們的團隊擁有豐富經驗,歡迎聯繫我們,讓專業為您的事業加分。