早上九點,業務主管打開政府電子採購網,輸入三組關鍵字,把今天的招標公告翻一遍;十點換去看兩家同業官網的價目表;下午再去主管機關網站看有沒有新的公告。一週下來,光是「去看有沒有新東西」就吃掉好幾個小時。最怕的是哪天忘了看,剛好漏掉一個下週就截止的標案。
網頁監控就是把這件事交給程式:定時去抓你在意的頁面或資料,跟上一次比對,有新的、符合條件的才通知你。我們先前做自有產品 KingSearch 時,處理的就是這個問題,當時列下的三個痛點很直白:多個資料來源要人工定時輪流查、資訊量大挑不出相關的、看到時常常已經過期。這篇把那套思路拆開,講清楚哪些情況買現成工具就夠、什麼時候值得自建一套監控與通知系統、費用由哪幾塊組成,以及合法性要先確認哪些事。
自動抓資料這件事已經非常普遍。Thales(Imperva)在 2026 年 4 月發布的 Bad Bot Report 新聞稿指出,2025 年全球網路流量有超過 53% 來自自動化程式。反過來看,網站方對機器流量也越來越警覺,你要盯的網站多半有某種防護,這會直接影響做法和費用,後面會講到。
如果你要找的是爬蟲程式怎麼寫,可以先看 Scrapling 這篇 Python 爬蟲框架介紹;如果你在意的是標案系統本身怎麼開發與驗收,看 政府標案系統開發 那篇。這篇站在要做決定的人這邊:業務主管、老闆和 IT。
網頁監控是什麼:把「記得去看」換成「有變化才通知」
一句話:網頁監控=定時抓取+跟上次比對+符合條件才通知。三個動作少一個,就只是多一個要看的地方。下表先把四種最常見的監控對象放在一起,三十秒看完就知道你的需求落在哪一格。
你要盯什麼 | 資料通常在哪 | 先試的做法 | 什麼時候該自建 |
|---|---|---|---|
政府標案 | 政府電子採購網的招標、更正、決標公告 | 先用官方查詢與開放資料管道,再評估現成訂閱服務 | 要跨多個採購平台、依機關+金額+關鍵字組合過濾、分派給不同業務 |
競品價格 | 同業官網、電商平台商品頁 | 頁面不多時用現成網頁監控工具 | 品項上百、要存歷史價格看趨勢、要對應到自家品項 |
法規與主管機關公告 | 法規資料庫、機關公告頁與新聞稿 | 先看有沒有 RSS 或電子報可以訂 | 要整理成內部待辦、指定負責人追到結案 |
社群關鍵字 | Threads、論壇、新聞 | 平台官方 API 或現成社群聆聽服務 | 要跟客服紀錄、業務名單串在一起 |
看最右欄就好。單純想知道「有沒有變」,交給現成工具很划算;一旦要開始過濾、分派、留紀錄、串進其他系統,現成工具就會卡住,自建才有意義。
三個動作各自會出什麼錯
- 抓取:頁面要登入、內容靠 JavaScript 才載入、網站改版換了版型,程式就抓不到東西,而且常常是安靜地失敗,沒有人發現。
- 比對:首頁輪播、廣告、頁尾日期每次打開都不一樣,整頁比對會天天誤報,兩週後大家就不看通知了。
- 通知:全部推進同一個群組,十則裡只有一則跟自己有關,一個月後就沒人點開。
這三個地方,就是後面判斷要買現成還是自建的依據:你的痛點落在哪一個動作,就挑能解那個動作的方案。
先看資料從哪來:官方 API、開放資料、訂閱,最後才是爬網頁
先講結論:能走官方給的管道就不要爬。順序是官方 API、政府開放資料、官方訂閱或 RSS,最後才是爬網頁。越往後越容易壞,條款與法律上要確認的事也越多。
資料來源 | 穩定度 | 條款與法律風險 | 維護成本 | 例子 |
|---|---|---|---|---|
官方 API | 高,格式有文件 | 低,照條款與額度使用 | 低 | Threads API 的關鍵字搜尋(要申請權限) |
政府開放資料 | 高 | 低,依授權條款標示出處 | 低 | 政府資料開放平臺上的資料集 |
官方訂閱、RSS、電子報 | 中 | 低 | 中,格式不一定好處理 | 機關公告頁的 RSS、主管機關電子報 |
爬網頁 | 低,對方改版就壞 | 要逐站看使用條款與資料內容 | 高 | 沒有其他管道的同業官網、公告頁 |
社群平台要特別小心。Meta 的 服務條款 寫明,未經事先同意,不得用自動化方式從其產品存取或蒐集資料,有沒有登入帳號都一樣。所以要盯 Threads 上的品牌或產品關鍵字,正路是申請官方權限:Threads API 關鍵字搜尋文件 寫明要有 threads_keyword_search 權限才能搜尋公開貼文,每位使用者在連續 24 小時內最多 2,200 次查詢。這個額度拿來做每天幾組關鍵字的監控綽綽有餘。
政府資料相對友善。政府資料開放平臺有公告 政府資料開放授權條款,採用這份條款的資料集可以再利用,要記得標示出處。標案、公告這類資料,先查官方有沒有開放資料、查詢服務或訂閱功能,找不到合用的再談爬取,寫程式的範圍也會小很多。
這件事我們自己做過。KingSearch 是我們先前做的自有產品,當時對政府標案、Threads 等多個來源定時抓取,依設定的關鍵字與條件過濾,命中就主動通知,技術上用 Python 與 PostgreSQL,設計重點是「多源、可設定、主動推送」。當時的功能整理在 KingSearch 作品集;想知道你們要盯的資料能怎麼接,可以跟我們聊聊。
現成網頁監控工具夠用的情況,和它管不到的地方
盯的頁面不多、只想知道「有沒有變」,現成工具就夠了,不用自建。現成的選擇大致分三類:裝在瀏覽器裡的外掛、雲端的網頁變動監控服務、只做某一類資訊的產業訂閱服務(例如標案資訊)。雲端服務常見的計費方式是看監控頁數和檢查頻率。
比較項目 | 瀏覽器外掛 | 雲端網頁監控服務 | 產業資訊訂閱 | 自建系統 |
|---|---|---|---|---|
適合誰 | 個人盯幾個頁面 | 團隊盯一批頁面 | 只要某一類資訊 | 多個來源、規則複雜、要串內部系統 |
電腦要不要開著 | 要 | 不用 | 不用 | 不用 |
過濾規則 | 簡單的文字比對 | 選取頁面區塊、關鍵字 | 服務商定好的分類 | 照你的規則寫,例如機關+金額+關鍵字 |
資料能不能留下來分析 | 很難 | 看方案,通常可以匯出 | 看服務 | 存在自己的資料庫,想怎麼查都行 |
通知給誰 | 自己 | 幾個信箱或通訊軟體 | 訂閱的人 | 依規則分派給不同的人 |
費用型態 | 免費或低價 | 月費 | 月費或年費 | 一次開發費加每月主機與維護 |
現成工具卡住的四個訊號
- 同一件事要開三、四個工具才盯得完,每個工具的通知格式都不一樣。
- 通知太多沒人看,需要依業務區域、產品線或客戶分派給不同的人。
- 通知之後還要手動把結果抄進 CRM、ERP 或待辦清單。
- 需要留歷史資料:某家同業過去半年的價格變化、某個機關每年固定在什麼時候標什麼案子。
中了兩個以上,就值得評估自建。要盯的動作需要點選、登入、下載檔案的話,有些公司會改用 RPA 工具,那條路的優缺點在 企業 RPA 採購 有整理;想用工作流工具把抓取和通知先串起來,可以從 n8n 是什麼 開始看。
自建一套資料監控與通知系統,會長成什麼樣
一套能長期用的監控系統,核心是七個環節:排程、抓取、解析、比對去重、過濾、通知、失效告警。前六個大家都會想到,最常漏掉的是最後一個。
抓取與解析:每個來源一個轉接器
每個來源寫一個轉接器,負責把網頁或 API 的內容整理成同一種格式:標題、連結、日期、來源、原文。之後要新增來源,只要多寫一個轉接器,後面的比對、過濾、通知都不用動。網站改版是爬蟲最常壞的原因,處理方式可以參考 Scrapling 的自適應解析。
比對與去重:先找到每筆資料的身分證
標案有案號,商品有網址或料號,公告有發文字號。拿這個當唯一鍵存進資料庫,同一筆只通知一次。價格類的資料再把每次抓到的值記下來,數字變了才通知。整頁比對最容易誤報,只比你在意的那幾個欄位就好。
過濾規則:讓業務自己改,不用找工程師
關鍵字、排除字、機關、金額區間、地區,這些規則要能在後台直接改。業務想多盯一個關鍵字就要發需求單給工程師,系統很快會變成沒人想維護的東西。排除字特別有用,例如盯「監視器」的標案,可以排除「監視器維修」,通知量馬上少一截。
通知管道:LINE、Email、Slack 各有用途
很多舊的監控小程式是用 LINE Notify 推播,這個服務已經在 2025 年 3 月 31 日結束(NOWnews 報導)。現在要推到 LINE,得走 LINE 官方帳號的 Messaging API,訊息量大的話要把訊息費算進月費。串接做法可以看 n8n 串 LINE Messaging API,要做成互動式機器人則看 LINE Bot 開發。
通知管道 | 適合 | 要注意 |
|---|---|---|
LINE 官方帳號 | 業務在外面跑、要馬上知道 | 訊息量會計費;群組太吵容易被靜音 |
每日彙整、要轉寄給主管或客戶 | 即時性差,容易被歸到促銷信 | |
Slack、Teams | 團隊分頻道處理、要在通知下討論 | 外勤人員不一定會開 |
寫進 CRM 或待辦 | 通知之後一定要有人接手 | 要先定好誰負責、多久要處理 |
失效告警:沒有通知,不代表沒事
爬蟲最危險的失敗是安靜的。網站改版後程式抓到 0 筆,系統就發 0 則通知,大家以為這週剛好沒有標案。每個來源都要記錄每次抓到幾筆,連續幾次 0 筆或格式不對,就要通知工程師。這一塊現成工具多半不會幫你做,也是自建系統最值得花錢的地方。
網頁監控要花多少錢:費用由哪幾塊組成
費用主要看三件事:要盯幾個來源、每個來源有多難抓、通知之後要串多深。來源越多、越難抓,開發費越高,上線後每年還有維護費,因為你盯的網站會改版。
費用項目 | 一次性還是每月 | 什麼會讓它變貴 |
|---|---|---|
每個來源的抓取程式 | 一次性,對方改版時再修 | 要登入、內容靠 JavaScript 載入、有驗證碼或防護、資料分很多頁 |
比對、過濾規則與後台 | 一次性 | 規則要讓使用者自己設定、要依人或部門分派 |
通知串接 | 一次性,加上訊息費 | LINE 官方帳號的訊息量、要串 CRM 或 ERP |
主機與資料庫 | 每月 | 檢查頻率高、要存好幾年的歷史資料 |
維護 | 每月或每年 | 來源網站改版的頻率、來源數量 |
比較現成工具和自建時,用三年總成本來算最公平:現成工具是月費乘上 36 個月,再加上人工整理通知的時間;自建是開發費,加上每月主機與維護。算法可以照 客製化系統 vs SaaS 三年 TCO;上線後最容易漏算的維護項目,在 系統上線後的隱性成本 有逐項拆。
我們的看法是:多數公司第一步不該直接自建。先用現成工具或 n8n 跑一個月,把「到底哪些通知有人看、看完會做什麼」弄清楚。很多需求在這一步就縮小一半,剩下真正每天在用的那幾個來源,才值得寫成系統。用 n8n 自架一條排程流程、抓一兩個來源、推一個通知管道,費用結構見 n8n 費用拆解,自架方式見 n8n Docker 自架。
要請廠商估價時,把最後一節的八題先寫下來。來源清單、檢查頻率、過濾規則講得越清楚,報價差距就越小,也比較好拿來比三家。
網頁監控合法嗎:使用條款、robots.txt、個資與抓取頻率
抓公開網頁本身不一定違法,風險集中在幾個地方:違反網站的使用條款、抓到個人資料、抓取頻率干擾到對方系統、繞過登入或付費機制,以及把別人整理好的資料庫整份搬走。下表列出對應的法規與條款出處,個案能不能做、能怎麼用,請依個案請律師確認。
風險 | 出處 | 實務上怎麼做 |
|---|---|---|
違反使用條款 | 各網站的服務條款,例如 Meta 條款禁止未經同意以自動化方式蒐集 | 動手前先讀條款;有 API 就走 API;條款明文禁止就不要爬 |
robots.txt | RFC 9309:規則本身不是存取授權 | 照著走,當成網站方的意願;照了也不等於取得授權 |
抓到個人資料 | 個資法第 19、20 條 | 只抓需要的欄位;姓名、電話、Email 能不抓就不抓;只在特定目的內使用 |
干擾對方系統 | 刑法第 360 條 | 控制頻率、避開尖峰、被擋就停,不要硬衝 |
繞過登入或驗證 | 刑法第 359 條 | 不破解登入、驗證碼、付費牆,不用別人的帳號 |
整份搬走資料庫 | 著作權法第 7 條(編輯著作) | 只取需要的事實資料,不整份重製別人的選擇與編排 |
robots.txt:要尊重,但它不是許可證
robots.txt 是網站放在根目錄、告訴爬蟲哪些路徑不要抓的檔案。2022 年正式成為標準的 RFC 9309 寫得很清楚:這些規則不是一種存取授權(These rules are not a form of access authorization)。所以兩個方向都要記住:robots.txt 禁止的路徑不要抓;robots.txt 沒禁止,也不代表你取得了使用資料的許可,條款還是要看。
個人資料:抓得到,不代表用得了
個資法第 19 條 規定,民間單位蒐集個人資料要有特定目的,並符合條文列的情形之一,其中包括當事人自行公開或已合法公開的資料、取自一般可得之來源的資料;但當事人對禁止處理或利用有更值得保護的重大利益時,就不在此限,當事人要求時也要刪除或停止處理。第 20 條 再規定,利用要在蒐集的特定目的必要範圍內;拿來行銷時,當事人表示拒絕就要停止。
實務上最常踩線的是「從網頁抓聯絡人名單拿去陌生開發」。監控標案、價格、公告這類資料,本來就不需要個人資料,設計時直接把姓名、電話、Email 這些欄位排除,風險最低。真的需要處理個人資料的情境,請先找律師確認目的與告知方式。
抓取頻率:別讓對方的網站被你拖慢
刑法第 360 條 處罰的是無故以電腦程式干擾他人電腦,致生損害於公眾或他人。正常的監控一天抓幾次、一次幾頁,跟這條離得很遠;但如果程式寫壞了,一秒打幾十次請求,把對方網站拖慢,就碰到邊了。第 359 條 則是無故取得他人電腦的電磁紀錄,繞過登入、破解驗證碼去拿資料就屬於這種風險。比較細的反爬機制與繞過風險,Scrapling 那篇的合法性段落 有整理。
⚠️這一節的定位
本節整理的是法條與平台條款的原文出處,方便你跟法務或律師討論。實際能不能抓、資料能怎麼用,請依個案請律師確認,特別是會碰到個人資料、要把資料拿去商業利用或轉售的情況。
標案、競品價格、法規公告、社群關鍵字:四種監控場景怎麼設計
四種場景的差別在唯一鍵、要比對的欄位和通知對象,下表直接給設計方式。
場景 | 唯一鍵 | 要比對什麼 | 過濾條件 | 通知給誰 |
|---|---|---|---|---|
政府標案 | 標案案號 | 新公告、更正公告、決標結果 | 機關、預算金額、關鍵字、截止日 | 負責該類標案的業務 |
競品價格 | 商品網址或料號 | 價格、庫存、上下架 | 變動幅度超過設定的百分比 | 產品經理、定價負責人 |
法規公告 | 發文字號或公告網址 | 新公告 | 主管機關、關鍵字 | 法務或品保,同時建一筆待辦 |
社群關鍵字 | 貼文 ID | 新貼文 | 品牌字、產品字、排除字 | 客服或負責回應的人 |
政府標案:截止日比新公告更重要
通知裡直接帶出截止投標日、預算金額和機關名稱,業務一眼就知道值不值得點開。更正公告常改截止日或規格,要當成獨立事件再通知一次,不能因為案號看過就略過。決定要投之後,如果是系統開發類的標案,驗收與文件要求可以參考 政府標案系統開發。
競品價格:每一次的價格都要留下來
只通知「變了」不夠,要把每次抓到的價格存起來,才看得出同業是在促銷還是真的調價。門檻也要設,例如變動超過 3% 才通知,避免每天收到小數點的變化。電商平台多半有自己的使用條款與防護,動手前先確認,能用平台提供的商品資料介面就優先用。
法規公告:通知之後要有人接
法規類的通知,重點在「誰負責看完、要不要改內部流程」。比較好的做法是通知同時建一筆待辦,指定負責人和期限,處理完在系統裡結案,下次稽核時翻得到紀錄。
社群關鍵字:走官方 API,再加排除字
社群上的雜訊最多,同一個品牌字可能是另一個意思。先走官方 API 拿資料,再用排除字和帳號黑名單把無關的貼文濾掉,最後只把需要回應的推給客服。
找人做網頁監控系統之前,先回答這八題
這八題答得出來,不管最後找誰做,都估得準、驗收得了;答不出來的那幾題,就是要先找業務、IT、法務開會的題目。
要先想清楚的事 | 要寫下來的東西 |
|---|---|
要盯哪些來源 | 網址清單;每個來源有沒有 API、開放資料或訂閱可用 |
多久看一次 | 每小時、每天還是每週;越頻繁,主機費和被擋的機會越高 |
什麼算「有變化」 | 新增、修改、刪除,各要比對哪些欄位 |
過濾規則 | 關鍵字、排除字、金額、地區,誰可以改 |
通知給誰、用什麼管道 | 人或群組,LINE、Email、Slack,緊急的跟每日彙整分開 |
要不要留歷史資料 | 留多久、要不要做報表或趨勢圖 |
要串哪些系統 | CRM、ERP、待辦工具,通知之後誰接手 |
條款與個資確認了嗎 | 每個來源的使用條款、會不會碰到個人資料、要不要請律師看 |
把這張表整理成需求文件的方法,可以參考 客製化系統需求書(BRD)怎麼寫;來源有提供 API 的話,先讀 API 是什麼 了解串接要準備什麼。整體的開發流程與預算怎麼抓,在 客製化系統開發指南 有完整說明。
看到這裡,如果你也在想「我們每天輪流去看的那幾個網站,能不能交給系統盯」,我們很樂意 聽你聊聊現在是怎麼查的。把來源清單和想收到的通知丟過來,我們會直接告訴你哪些用現成工具就夠、哪些值得做成系統。
ℹ️我們怎麼看
我們的判斷是:接下來幾年,網頁監控會越來越偏向「官方 API 加上少量爬取」。平台條款收緊、網站防護變強,純靠爬網頁的系統維護費只會越來越高;反過來,政府開放資料和平台 API 越來越完整。所以我們做監控系統時,第一件事是把每個來源分類,能走 API 和開放資料的先走,剩下真的沒有管道的才寫爬蟲,並且一定加失效告警。給你一個判斷工具:列出你們現在每週固定去看的網站,每個旁邊寫上「上次因為沒看到而漏掉的事」。一個都寫不出來,就先別花錢;寫得出兩三件,這套系統就值得做。
ℹ️我們做過這件事
順帶說一下,恆遠到目前為止有 40+ 企業客製案落地。跟這篇最貼近的是我們先前做的自有產品 KingSearch:當時對政府標案、Threads 等多個來源定時抓取,依設定的關鍵字與條件過濾,命中就主動通知,把「人要記得定時去看」換成有事才主動推送。當時的功能整理在 KingSearch 作品集。如果你也在想類似的監控系統放到你公司會是什麼樣子,我們很樂意 聽你聊聊現在的實際情況,一起看看從哪個來源開始最划算。
Q網頁監控是什麼?
網頁監控是用程式定時抓取指定的網頁或資料,跟上一次的內容比對,有新增或變動、而且符合設定條件時才發出通知。常見用途有追政府標案、競品價格、法規與主管機關公告、社群上的品牌關鍵字。
Q網頁變動通知可以怎麼設定?
頁面少的話,可以用瀏覽器外掛或雲端網頁監控服務,選定要比對的頁面區塊和檢查頻率,再設定通知信箱或通訊軟體。來源多、要依條件過濾或分派給不同人時,就要用 n8n 這類工作流工具或自建系統。
Q用爬蟲抓網頁資料合法嗎?
抓公開網頁本身不一定違法,但要看網站使用條款、會不會抓到個人資料、抓取頻率會不會干擾對方系統,以及有沒有繞過登入或驗證。相關規定包括個資法第 19、20 條與刑法第 359、360 條,個案請律師確認。
Q照 robots.txt 走就代表取得授權了嗎?
不代表。robots.txt 的標準 RFC 9309 明寫這些規則不是存取授權。robots.txt 禁止的路徑不要抓,沒禁止的路徑也還是要看網站使用條款。
Q自建網頁監控系統的費用怎麼算?
費用由每個來源的抓取程式、比對與過濾規則、通知串接、主機與資料庫、日後維護組成。來源越多、越難抓(要登入、JavaScript 載入、有防護),費用越高。建議用三年總成本跟現成工具的月費比較。
QLINE Notify 停了,監控通知要改用什麼?
LINE Notify 已在 2025 年 3 月 31 日結束服務。要推到 LINE 可以改用 LINE 官方帳號的 Messaging API,訊息量大時要計入訊息費;也可以改用 Email、Slack 或 Teams,依通知的急迫程度分開。
QThreads 上的關鍵字可以自動監控嗎?
可以走 Threads 官方 API。官方文件寫明,搜尋公開貼文需要 threads_keyword_search 權限,每位使用者在連續 24 小時內最多 2,200 次查詢。Meta 條款禁止未經同意以自動化方式蒐集資料,所以不建議直接爬網頁。
AUTHOR
恆遠數位編輯團隊
想了解更多?看看我們的相關服務
需要網站系統架設或軟體開發?
無論是品牌官網、客製化系統還是應用程式,我們的團隊擁有豐富經驗,歡迎聯繫我們,讓專業為您的事業加分。






留言(0)
尚無留言,成為第一個留言的人吧!