網頁監控怎麼做?標案、競品價格、法規公告有變化就通知,買現成工具還是自建系統

恆遠數位編輯團隊約 15 分鐘閱讀
網頁監控文章封面:標案、競品價格、法規公告有變化就通知,買現成工具還是自建系統
複製引文

早上九點,業務主管打開政府電子採購網,輸入三組關鍵字,把今天的招標公告翻一遍;十點換去看兩家同業官網的價目表;下午再去主管機關網站看有沒有新的公告。一週下來,光是「去看有沒有新東西」就吃掉好幾個小時。最怕的是哪天忘了看,剛好漏掉一個下週就截止的標案。

網頁監控就是把這件事交給程式:定時去抓你在意的頁面或資料,跟上一次比對,有新的、符合條件的才通知你。我們先前做自有產品 KingSearch 時,處理的就是這個問題,當時列下的三個痛點很直白:多個資料來源要人工定時輪流查、資訊量大挑不出相關的、看到時常常已經過期。這篇把那套思路拆開,講清楚哪些情況買現成工具就夠、什麼時候值得自建一套監控與通知系統、費用由哪幾塊組成,以及合法性要先確認哪些事。

自動抓資料這件事已經非常普遍。Thales(Imperva)在 2026 年 4 月發布的 Bad Bot Report 新聞稿指出,2025 年全球網路流量有超過 53% 來自自動化程式。反過來看,網站方對機器流量也越來越警覺,你要盯的網站多半有某種防護,這會直接影響做法和費用,後面會講到。

如果你要找的是爬蟲程式怎麼寫,可以先看 Scrapling 這篇 Python 爬蟲框架介紹;如果你在意的是標案系統本身怎麼開發與驗收,看 政府標案系統開發 那篇。這篇站在要做決定的人這邊:業務主管、老闆和 IT。

網頁監控是什麼:把「記得去看」換成「有變化才通知」

一句話:網頁監控=定時抓取+跟上次比對+符合條件才通知。三個動作少一個,就只是多一個要看的地方。下表先把四種最常見的監控對象放在一起,三十秒看完就知道你的需求落在哪一格。

你要盯什麼

資料通常在哪

先試的做法

什麼時候該自建

政府標案

政府電子採購網的招標、更正、決標公告

先用官方查詢與開放資料管道,再評估現成訂閱服務

要跨多個採購平台、依機關+金額+關鍵字組合過濾、分派給不同業務

競品價格

同業官網、電商平台商品頁

頁面不多時用現成網頁監控工具

品項上百、要存歷史價格看趨勢、要對應到自家品項

法規與主管機關公告

法規資料庫、機關公告頁與新聞稿

先看有沒有 RSS 或電子報可以訂

要整理成內部待辦、指定負責人追到結案

社群關鍵字

Threads、論壇、新聞

平台官方 API 或現成社群聆聽服務

要跟客服紀錄、業務名單串在一起

看最右欄就好。單純想知道「有沒有變」,交給現成工具很划算;一旦要開始過濾、分派、留紀錄、串進其他系統,現成工具就會卡住,自建才有意義。

三個動作各自會出什麼錯

  • 抓取:頁面要登入、內容靠 JavaScript 才載入、網站改版換了版型,程式就抓不到東西,而且常常是安靜地失敗,沒有人發現。
  • 比對:首頁輪播、廣告、頁尾日期每次打開都不一樣,整頁比對會天天誤報,兩週後大家就不看通知了。
  • 通知:全部推進同一個群組,十則裡只有一則跟自己有關,一個月後就沒人點開。

這三個地方,就是後面判斷要買現成還是自建的依據:你的痛點落在哪一個動作,就挑能解那個動作的方案。

先看資料從哪來:官方 API、開放資料、訂閱,最後才是爬網頁

先講結論:能走官方給的管道就不要爬。順序是官方 API、政府開放資料、官方訂閱或 RSS,最後才是爬網頁。越往後越容易壞,條款與法律上要確認的事也越多。

資料來源

穩定度

條款與法律風險

維護成本

例子

官方 API

高,格式有文件

低,照條款與額度使用

低

Threads API 的關鍵字搜尋(要申請權限)

政府開放資料

高

低,依授權條款標示出處

低

政府資料開放平臺上的資料集

官方訂閱、RSS、電子報

中

低

中,格式不一定好處理

機關公告頁的 RSS、主管機關電子報

爬網頁

低,對方改版就壞

要逐站看使用條款與資料內容

高

沒有其他管道的同業官網、公告頁

社群平台要特別小心。Meta 的 服務條款 寫明,未經事先同意,不得用自動化方式從其產品存取或蒐集資料,有沒有登入帳號都一樣。所以要盯 Threads 上的品牌或產品關鍵字,正路是申請官方權限:Threads API 關鍵字搜尋文件 寫明要有 threads_keyword_search 權限才能搜尋公開貼文,每位使用者在連續 24 小時內最多 2,200 次查詢。這個額度拿來做每天幾組關鍵字的監控綽綽有餘。

政府資料相對友善。政府資料開放平臺有公告 政府資料開放授權條款,採用這份條款的資料集可以再利用,要記得標示出處。標案、公告這類資料,先查官方有沒有開放資料、查詢服務或訂閱功能,找不到合用的再談爬取,寫程式的範圍也會小很多。

這件事我們自己做過。KingSearch 是我們先前做的自有產品,當時對政府標案、Threads 等多個來源定時抓取,依設定的關鍵字與條件過濾,命中就主動通知,技術上用 Python 與 PostgreSQL,設計重點是「多源、可設定、主動推送」。當時的功能整理在 KingSearch 作品集;想知道你們要盯的資料能怎麼接,可以跟我們聊聊。

現成網頁監控工具夠用的情況,和它管不到的地方

盯的頁面不多、只想知道「有沒有變」,現成工具就夠了,不用自建。現成的選擇大致分三類:裝在瀏覽器裡的外掛、雲端的網頁變動監控服務、只做某一類資訊的產業訂閱服務(例如標案資訊)。雲端服務常見的計費方式是看監控頁數和檢查頻率。

比較項目

瀏覽器外掛

雲端網頁監控服務

產業資訊訂閱

自建系統

適合誰

個人盯幾個頁面

團隊盯一批頁面

只要某一類資訊

多個來源、規則複雜、要串內部系統

電腦要不要開著

要

不用

不用

不用

過濾規則

簡單的文字比對

選取頁面區塊、關鍵字

服務商定好的分類

照你的規則寫,例如機關+金額+關鍵字

資料能不能留下來分析

很難

看方案,通常可以匯出

看服務

存在自己的資料庫,想怎麼查都行

通知給誰

自己

幾個信箱或通訊軟體

訂閱的人

依規則分派給不同的人

費用型態

免費或低價

月費

月費或年費

一次開發費加每月主機與維護

現成工具卡住的四個訊號

  • 同一件事要開三、四個工具才盯得完,每個工具的通知格式都不一樣。
  • 通知太多沒人看,需要依業務區域、產品線或客戶分派給不同的人。
  • 通知之後還要手動把結果抄進 CRM、ERP 或待辦清單。
  • 需要留歷史資料:某家同業過去半年的價格變化、某個機關每年固定在什麼時候標什麼案子。

中了兩個以上,就值得評估自建。要盯的動作需要點選、登入、下載檔案的話,有些公司會改用 RPA 工具,那條路的優缺點在 企業 RPA 採購 有整理;想用工作流工具把抓取和通知先串起來,可以從 n8n 是什麼 開始看。

自建一套資料監控與通知系統,會長成什麼樣

一套能長期用的監控系統,核心是七個環節:排程、抓取、解析、比對去重、過濾、通知、失效告警。前六個大家都會想到,最常漏掉的是最後一個。

圖表載入中…

抓取與解析:每個來源一個轉接器

每個來源寫一個轉接器,負責把網頁或 API 的內容整理成同一種格式:標題、連結、日期、來源、原文。之後要新增來源,只要多寫一個轉接器,後面的比對、過濾、通知都不用動。網站改版是爬蟲最常壞的原因,處理方式可以參考 Scrapling 的自適應解析。

比對與去重:先找到每筆資料的身分證

標案有案號,商品有網址或料號,公告有發文字號。拿這個當唯一鍵存進資料庫,同一筆只通知一次。價格類的資料再把每次抓到的值記下來,數字變了才通知。整頁比對最容易誤報,只比你在意的那幾個欄位就好。

過濾規則:讓業務自己改,不用找工程師

關鍵字、排除字、機關、金額區間、地區,這些規則要能在後台直接改。業務想多盯一個關鍵字就要發需求單給工程師,系統很快會變成沒人想維護的東西。排除字特別有用,例如盯「監視器」的標案,可以排除「監視器維修」,通知量馬上少一截。

通知管道:LINE、Email、Slack 各有用途

很多舊的監控小程式是用 LINE Notify 推播,這個服務已經在 2025 年 3 月 31 日結束(NOWnews 報導)。現在要推到 LINE,得走 LINE 官方帳號的 Messaging API,訊息量大的話要把訊息費算進月費。串接做法可以看 n8n 串 LINE Messaging API,要做成互動式機器人則看 LINE Bot 開發。

通知管道

適合

要注意

LINE 官方帳號

業務在外面跑、要馬上知道

訊息量會計費;群組太吵容易被靜音

Email

每日彙整、要轉寄給主管或客戶

即時性差,容易被歸到促銷信

Slack、Teams

團隊分頻道處理、要在通知下討論

外勤人員不一定會開

寫進 CRM 或待辦

通知之後一定要有人接手

要先定好誰負責、多久要處理

失效告警:沒有通知,不代表沒事

爬蟲最危險的失敗是安靜的。網站改版後程式抓到 0 筆,系統就發 0 則通知,大家以為這週剛好沒有標案。每個來源都要記錄每次抓到幾筆,連續幾次 0 筆或格式不對,就要通知工程師。這一塊現成工具多半不會幫你做,也是自建系統最值得花錢的地方。

網頁監控要花多少錢:費用由哪幾塊組成

費用主要看三件事:要盯幾個來源、每個來源有多難抓、通知之後要串多深。來源越多、越難抓,開發費越高,上線後每年還有維護費,因為你盯的網站會改版。

費用項目

一次性還是每月

什麼會讓它變貴

每個來源的抓取程式

一次性,對方改版時再修

要登入、內容靠 JavaScript 載入、有驗證碼或防護、資料分很多頁

比對、過濾規則與後台

一次性

規則要讓使用者自己設定、要依人或部門分派

通知串接

一次性,加上訊息費

LINE 官方帳號的訊息量、要串 CRM 或 ERP

主機與資料庫

每月

檢查頻率高、要存好幾年的歷史資料

維護

每月或每年

來源網站改版的頻率、來源數量

比較現成工具和自建時,用三年總成本來算最公平:現成工具是月費乘上 36 個月,再加上人工整理通知的時間;自建是開發費,加上每月主機與維護。算法可以照 客製化系統 vs SaaS 三年 TCO;上線後最容易漏算的維護項目,在 系統上線後的隱性成本 有逐項拆。

我們的看法是:多數公司第一步不該直接自建。先用現成工具或 n8n 跑一個月,把「到底哪些通知有人看、看完會做什麼」弄清楚。很多需求在這一步就縮小一半,剩下真正每天在用的那幾個來源,才值得寫成系統。用 n8n 自架一條排程流程、抓一兩個來源、推一個通知管道,費用結構見 n8n 費用拆解,自架方式見 n8n Docker 自架。

要請廠商估價時,把最後一節的八題先寫下來。來源清單、檢查頻率、過濾規則講得越清楚,報價差距就越小,也比較好拿來比三家。

網頁監控合法嗎:使用條款、robots.txt、個資與抓取頻率

抓公開網頁本身不一定違法,風險集中在幾個地方:違反網站的使用條款、抓到個人資料、抓取頻率干擾到對方系統、繞過登入或付費機制,以及把別人整理好的資料庫整份搬走。下表列出對應的法規與條款出處,個案能不能做、能怎麼用,請依個案請律師確認。

風險

出處

實務上怎麼做

違反使用條款

各網站的服務條款,例如 Meta 條款禁止未經同意以自動化方式蒐集

動手前先讀條款;有 API 就走 API;條款明文禁止就不要爬

robots.txt

RFC 9309:規則本身不是存取授權

照著走,當成網站方的意願;照了也不等於取得授權

抓到個人資料

個資法第 19、20 條

只抓需要的欄位;姓名、電話、Email 能不抓就不抓;只在特定目的內使用

干擾對方系統

刑法第 360 條

控制頻率、避開尖峰、被擋就停,不要硬衝

繞過登入或驗證

刑法第 359 條

不破解登入、驗證碼、付費牆,不用別人的帳號

整份搬走資料庫

著作權法第 7 條(編輯著作)

只取需要的事實資料,不整份重製別人的選擇與編排

robots.txt:要尊重,但它不是許可證

robots.txt 是網站放在根目錄、告訴爬蟲哪些路徑不要抓的檔案。2022 年正式成為標準的 RFC 9309 寫得很清楚:這些規則不是一種存取授權(These rules are not a form of access authorization)。所以兩個方向都要記住:robots.txt 禁止的路徑不要抓;robots.txt 沒禁止,也不代表你取得了使用資料的許可,條款還是要看。

個人資料:抓得到,不代表用得了

個資法第 19 條 規定,民間單位蒐集個人資料要有特定目的,並符合條文列的情形之一,其中包括當事人自行公開或已合法公開的資料、取自一般可得之來源的資料;但當事人對禁止處理或利用有更值得保護的重大利益時,就不在此限,當事人要求時也要刪除或停止處理。第 20 條 再規定,利用要在蒐集的特定目的必要範圍內;拿來行銷時,當事人表示拒絕就要停止。

實務上最常踩線的是「從網頁抓聯絡人名單拿去陌生開發」。監控標案、價格、公告這類資料,本來就不需要個人資料,設計時直接把姓名、電話、Email 這些欄位排除,風險最低。真的需要處理個人資料的情境,請先找律師確認目的與告知方式。

抓取頻率:別讓對方的網站被你拖慢

刑法第 360 條 處罰的是無故以電腦程式干擾他人電腦,致生損害於公眾或他人。正常的監控一天抓幾次、一次幾頁,跟這條離得很遠;但如果程式寫壞了,一秒打幾十次請求,把對方網站拖慢,就碰到邊了。第 359 條 則是無故取得他人電腦的電磁紀錄,繞過登入、破解驗證碼去拿資料就屬於這種風險。比較細的反爬機制與繞過風險,Scrapling 那篇的合法性段落 有整理。

⚠️這一節的定位

本節整理的是法條與平台條款的原文出處,方便你跟法務或律師討論。實際能不能抓、資料能怎麼用,請依個案請律師確認,特別是會碰到個人資料、要把資料拿去商業利用或轉售的情況。

標案、競品價格、法規公告、社群關鍵字:四種監控場景怎麼設計

四種場景的差別在唯一鍵、要比對的欄位和通知對象,下表直接給設計方式。

場景

唯一鍵

要比對什麼

過濾條件

通知給誰

政府標案

標案案號

新公告、更正公告、決標結果

機關、預算金額、關鍵字、截止日

負責該類標案的業務

競品價格

商品網址或料號

價格、庫存、上下架

變動幅度超過設定的百分比

產品經理、定價負責人

法規公告

發文字號或公告網址

新公告

主管機關、關鍵字

法務或品保,同時建一筆待辦

社群關鍵字

貼文 ID

新貼文

品牌字、產品字、排除字

客服或負責回應的人

政府標案:截止日比新公告更重要

通知裡直接帶出截止投標日、預算金額和機關名稱,業務一眼就知道值不值得點開。更正公告常改截止日或規格,要當成獨立事件再通知一次,不能因為案號看過就略過。決定要投之後,如果是系統開發類的標案,驗收與文件要求可以參考 政府標案系統開發。

競品價格:每一次的價格都要留下來

只通知「變了」不夠,要把每次抓到的價格存起來,才看得出同業是在促銷還是真的調價。門檻也要設,例如變動超過 3% 才通知,避免每天收到小數點的變化。電商平台多半有自己的使用條款與防護,動手前先確認,能用平台提供的商品資料介面就優先用。

法規公告:通知之後要有人接

法規類的通知,重點在「誰負責看完、要不要改內部流程」。比較好的做法是通知同時建一筆待辦,指定負責人和期限,處理完在系統裡結案,下次稽核時翻得到紀錄。

社群關鍵字:走官方 API,再加排除字

社群上的雜訊最多,同一個品牌字可能是另一個意思。先走官方 API 拿資料,再用排除字和帳號黑名單把無關的貼文濾掉,最後只把需要回應的推給客服。

找人做網頁監控系統之前,先回答這八題

這八題答得出來,不管最後找誰做,都估得準、驗收得了;答不出來的那幾題,就是要先找業務、IT、法務開會的題目。

要先想清楚的事

要寫下來的東西

要盯哪些來源

網址清單;每個來源有沒有 API、開放資料或訂閱可用

多久看一次

每小時、每天還是每週;越頻繁,主機費和被擋的機會越高

什麼算「有變化」

新增、修改、刪除,各要比對哪些欄位

過濾規則

關鍵字、排除字、金額、地區,誰可以改

通知給誰、用什麼管道

人或群組,LINE、Email、Slack,緊急的跟每日彙整分開

要不要留歷史資料

留多久、要不要做報表或趨勢圖

要串哪些系統

CRM、ERP、待辦工具,通知之後誰接手

條款與個資確認了嗎

每個來源的使用條款、會不會碰到個人資料、要不要請律師看

把這張表整理成需求文件的方法,可以參考 客製化系統需求書(BRD)怎麼寫;來源有提供 API 的話,先讀 API 是什麼 了解串接要準備什麼。整體的開發流程與預算怎麼抓,在 客製化系統開發指南 有完整說明。

看到這裡,如果你也在想「我們每天輪流去看的那幾個網站,能不能交給系統盯」,我們很樂意 聽你聊聊現在是怎麼查的。把來源清單和想收到的通知丟過來,我們會直接告訴你哪些用現成工具就夠、哪些值得做成系統。

ℹ️我們怎麼看

我們的判斷是:接下來幾年,網頁監控會越來越偏向「官方 API 加上少量爬取」。平台條款收緊、網站防護變強,純靠爬網頁的系統維護費只會越來越高;反過來,政府開放資料和平台 API 越來越完整。所以我們做監控系統時,第一件事是把每個來源分類,能走 API 和開放資料的先走,剩下真的沒有管道的才寫爬蟲,並且一定加失效告警。給你一個判斷工具:列出你們現在每週固定去看的網站,每個旁邊寫上「上次因為沒看到而漏掉的事」。一個都寫不出來,就先別花錢;寫得出兩三件,這套系統就值得做。

ℹ️我們做過這件事

順帶說一下,恆遠到目前為止有 40+ 企業客製案落地。跟這篇最貼近的是我們先前做的自有產品 KingSearch:當時對政府標案、Threads 等多個來源定時抓取,依設定的關鍵字與條件過濾,命中就主動通知,把「人要記得定時去看」換成有事才主動推送。當時的功能整理在 KingSearch 作品集。如果你也在想類似的監控系統放到你公司會是什麼樣子,我們很樂意 聽你聊聊現在的實際情況,一起看看從哪個來源開始最划算。

Q網頁監控是什麼?

網頁監控是用程式定時抓取指定的網頁或資料,跟上一次的內容比對,有新增或變動、而且符合設定條件時才發出通知。常見用途有追政府標案、競品價格、法規與主管機關公告、社群上的品牌關鍵字。

Q網頁變動通知可以怎麼設定?

頁面少的話,可以用瀏覽器外掛或雲端網頁監控服務,選定要比對的頁面區塊和檢查頻率,再設定通知信箱或通訊軟體。來源多、要依條件過濾或分派給不同人時,就要用 n8n 這類工作流工具或自建系統。

Q用爬蟲抓網頁資料合法嗎?

抓公開網頁本身不一定違法,但要看網站使用條款、會不會抓到個人資料、抓取頻率會不會干擾對方系統,以及有沒有繞過登入或驗證。相關規定包括個資法第 19、20 條與刑法第 359、360 條,個案請律師確認。

Q照 robots.txt 走就代表取得授權了嗎?

不代表。robots.txt 的標準 RFC 9309 明寫這些規則不是存取授權。robots.txt 禁止的路徑不要抓,沒禁止的路徑也還是要看網站使用條款。

Q自建網頁監控系統的費用怎麼算?

費用由每個來源的抓取程式、比對與過濾規則、通知串接、主機與資料庫、日後維護組成。來源越多、越難抓(要登入、JavaScript 載入、有防護),費用越高。建議用三年總成本跟現成工具的月費比較。

QLINE Notify 停了,監控通知要改用什麼?

LINE Notify 已在 2025 年 3 月 31 日結束服務。要推到 LINE 可以改用 LINE 官方帳號的 Messaging API,訊息量大時要計入訊息費;也可以改用 Email、Slack 或 Teams,依通知的急迫程度分開。

QThreads 上的關鍵字可以自動監控嗎?

可以走 Threads 官方 API。官方文件寫明,搜尋公開貼文需要 threads_keyword_search 權限,每位使用者在連續 24 小時內最多 2,200 次查詢。Meta 條款禁止未經同意以自動化方式蒐集資料,所以不建議直接爬網頁。

分享文章
恆

AUTHOR

恆遠數位編輯團隊

查看作者頁

留言(0)

尚無留言,成為第一個留言的人吧!

需要網站系統架設或軟體開發?

無論是品牌官網、客製化系統還是應用程式,我們的團隊擁有豐富經驗,歡迎聯繫我們,讓專業為您的事業加分。