Scrapling 是什麼？會自己找回資料的 Python 爬蟲框架，跟 BeautifulSoup、Scrapy、Playwright 差在哪

Scrapling 是一個開源的 Python 網頁爬蟲框架，最大特色是「自適應」：網站改版、按鈕和價格換了位置之後，它會拿之前存下來的元素特徵去比對新頁面，自己把資料找回來，不用你每次重寫選擇器。它從抓一頁到整站爬取都包了，採 BSD-3 授權，可以免費商用。

我們會注意到它，是因為公司內部自己就有一套每天定時抓政府標案和社群資訊的監控工具，最花時間的從來都是「來源網站改版，程式就靜靜地抓不到東西」。所以這篇用初學者也看得懂的方式，把 Scrapling 是什麼、解決什麼、跟 BeautifulSoup、Scrapy、Playwright 差在哪、怎麼開始，以及企業評估時最該先想清楚的法律界線，一次講完。

先補一個名詞。爬蟲（web scraper / crawler）就是一支會自己打開網頁、把需要的資料抄下來的程式，像一個不會累的工讀生，每天幫你把幾百個網頁上的價格、公告、商品規格抄進 Excel。如果對方網站有提供 API（一個專門給程式拿資料的窗口），通常先用 API；沒有 API，才輪到爬蟲。

爬蟲有多普遍？Thales 的 2026 年惡意機器人報告分析 2025 全年流量，網路上 53% 的流量來自機器人，其中 40% 被歸類為惡意機器人。網站方也在加強防守：Cloudflare 在 2025 年 7 月 1 日起對新加入的網域預設封鎖 AI 爬蟲。抓資料的工具越來越強，擋資料的牆也越來越高，企業夾在中間，更需要搞清楚自己該站在哪裡。

Scrapling 是什麼？一張表看懂這個 Python 爬蟲框架

一句話：Scrapling 把「抓網頁」「解析網頁」「整站爬取」三件事收進同一個套件，還多了一個多數爬蟲工具沒有的能力：網站改版後自動重新定位元素。作者是 Karim Shoair（GitHub 帳號 D4Vinci），專案放在 GitHub 的 D4Vinci/Scrapling。

星數看起來很嚇人，但要冷靜看待。熱度代表很多人好奇，跟「適合你公司」是兩回事；而且版本號還停在 0.4，代表作者仍保留調整 API 的空間，例如 0.4.8 版就曾因預設轉址設定改變，讓所有 Fetcher.get() 呼叫出錯。正式環境請把版本鎖死，升級前先在測試環境跑過。數字來源：GitHub 專案頁、v0.4.15 發布紀錄與 pypistats 下載統計，查證日 2026-10-17。

爬蟲最常見的兩個痛：網站一改版就壞、被反爬機制擋下

先講結論：寫一支爬蟲只要一個下午，讓它連續一年每天都抓對，才是真正的成本。初學者最常卡在兩件事。

第一個痛：網站改版，程式不會報錯，只是安靜地抓不到

傳統爬蟲靠「選擇器」定位資料，例如「class 叫 price 的那個 span」。對方網站某天把 class 改成 product-price，或在外面多包一層 div，選擇器就失效了。麻煩的是程式通常不會當掉，只會回傳空值，你要等到業務發現報表三天沒更新才知道。

Hacker News 上有開發者把這個狀況講得很直白：傳統爬蟲把選擇器和流程寫死，版面一改就在某一行壞掉，只能人工除錯。更陰險的是「抓到假資料」：Cloudflare 在 2025 年 3 月推出 AI Labyrinth，會用 AI 產生的假頁面把不守規矩的爬蟲困在迷宮裡。HTTP 回 200、程式照跑，抓回來的內容卻不是真的。

對企業來說，這代表爬蟲的維護成本藏在看不見的地方：工程師要定期巡檢，業務要懂得懷疑報表，主管要有人負責「資料為什麼停了」。

第二個痛：被反爬機制擋下

現在的網站普遍裝了機器人防護，例如 Cloudflare 的驗證頁、請求頻率限制、IP 封鎖。站在網站方的角度，這是保護主機和資料的正常手段，我們自己也寫過表單機器人防護怎麼選這種防守方的文章。對抓資料的一方來說，被擋下通常是一個訊號：對方不希望你這樣拿資料，這時該先停下來想授權，後面法律段會細講。

把這兩個痛放在一起看，就知道企業真正需要的是「抓得穩、壞了會通知、而且抓的方式站得住腳」。這件事我們自己做過：KingSearch 是我們內部做的多源監控平台，定時抓政府標案和 Threads 等來源，依關鍵字過濾，命中就主動推送通知，把「人要記得定時去看」變成系統自動做。想把類似的資料監控做進公司流程，可以跟我們聊聊。

Scrapling 的自適應解析怎麼運作：網站改版後怎麼找回元素

一句話：第一次抓的時候先把元素的「長相」存起來，下次找不到時，拿這份長相去整頁比對，挑最像的那個。

照官方文件的說法，開啟 auto_save 後，Scrapling 會記下這個元素的標籤名稱、文字、屬性、相鄰元素的標籤、從根節點走過來的路徑，以及父元素的標籤、屬性和文字，預設存在本機的 SQLite 資料庫，並且以「網域＋選擇器」當索引。等網站改版、原本的選擇器找不到東西，你在選擇器加上 adaptive=True，它就會對頁面上每個元素算相似度分數，回傳分數最高的。

打個比方：這就像你記得常去的那家早餐店「在轉角、紅色招牌、門口有一台腳踏車」。某天它換了招牌顏色，你還是能靠位置、門口的腳踏車、隔壁的藥局認出來。只靠一個特徵會認錯，特徵記得越多，換了一兩樣也找得到。

這個功能很實用，但官方文件自己也寫了幾個限制，評估時一定要知道：

• 只記最新一次：每次儲存都會覆蓋前一次，比對只用最後存下的特徵。
• 只記第一個元素：一個選擇器抓到一整排商品時，只有第一個元素的特徵會被存下來。
• 可能找錯：相似度比對是「最像」，跟「一定對」有差距。官方的排錯建議是寫更精準的選擇器，或改存外層父元素多給一點上下文。2026 年 5 月就有使用者回報 class 改名後一排元素只找回 1 個、標籤從 article 換成 div 就完全找不到，雖然都已處理關閉，仍說明它需要針對你的目標網站實測。
• 大改版救不了：網站從伺服器渲染改成前端框架、資料改從 API 載入，頁面結構整個換掉，相似度比對也找不回來。

所以我們的看法是：自適應解析把「小改版就壞」的頻率壓下來，但「壞了要有人知道」這件事還是要另外做。正式環境一定要加資料量檢查，例如今天抓到的商品數比昨天少一半就發警示，比相信任何自動修復都可靠。

四種 Fetcher 與 Spider 框架：Scrapling 從抓一頁到整站爬取

先講結論：大部分公開、靜態的網頁用最輕的 Fetcher 就夠；需要執行 JavaScript 才看得到內容的頁面，才用 DynamicFetcher 開瀏覽器。官方有一頁怎麼選 Fetcher，整理如下。

比較少人提到的是 DynamicFetcher 的 capture_xhr 功能：很多網頁其實是先載入空殼，再從背景 API 拿資料，它可以把這些背景回應一起收下來。拿到結構化的 JSON，通常比從畫面上一格一格抄更穩定。

Spider 框架：整站爬取要的東西都內建

要抓的不只一頁時，就輪到 Spider。它的寫法刻意做得很像老牌框架 Scrapy，熟悉 Scrapy 的人很快能上手。從 README 列出的功能來看，跟企業最相關的是這幾項：

• 並發與節流：可以設定同時幾個請求、每個網域各自限速。AutoThrottle 會依對方回應速度自動調慢，被限流時把延遲加倍，這對「不要把別人的主機打掛」很重要。
• 多 session：同一支爬蟲裡，一般頁面走輕量 HTTP，少數頁面才走瀏覽器，用 session ID 分流，省資源。
• 暫停與恢復：設定 crawldir 後，按 Ctrl+C 會存檔停下，下次從斷點繼續。大型爬取跑到一半主機重開也不用從頭來。
• robots.txt 遵守選項：robots_txt_obey 打開後，會照網站的 Disallow、Crawl-delay 規則走。我們建議企業內部一律預設打開。
• 開發模式：第一次抓的回應存到硬碟，之後改解析邏輯時直接重播，不用一直重打對方網站。
• 代理輪換：內建 ProxyRotator，可以輪流使用多個代理 IP。這個功能本身中性，但用來躲避對方封鎖時，法律風險會跟著上來。

CLI 與 MCP server：不寫程式也能用

Scrapling 有命令列工具，一行 scrapling extract 就能把網頁存成 Markdown 或純文字；也有互動式 shell 方便除錯。另外它內建 MCP server（MCP 是讓 AI 助理呼叫外部工具的標準插座，白話介紹可以看這篇 MCP 解析），裝好之後 Claude Desktop、Claude Code、Cursor 都能直接叫它抓網頁。官方文件說它預設會先剔除隱藏元素、HTML 註解和零寬字元，降低網頁裡藏指令騙 AI 的提示注入風險；HTTP 傳輸模式預設要求驗證 token。這兩點設計得算謹慎，但讓 AI 自己上網抓資料，仍要先定好它能抓哪些網站。

Scrapling 跟 requests＋BeautifulSoup、Scrapy、Playwright 差在哪

一句話分工：BeautifulSoup 是最好入門的解析器，Scrapy 是成熟的大量爬取框架，Playwright 是瀏覽器自動化工具，Scrapling 想把三者的常用部分收在一起，再加上自適應解析。

表格裡的星數查證自 Scrapy 與 Playwright 的 GitHub 頁面（2026-10-17）。熱度之外，下載量也很能說明現況：同一天 pypistats 的近 30 天下載，BeautifulSoup 約 2.9 億次、Scrapy 約 430 萬次、Scrapling 約 92 萬次。BeautifulSoup 的數字大，是因為它被無數套件當成依賴套件裝進去，代表它是基礎建設；Scrapling 則是新起之秀。

README 裡有一張解析速度的跑分表，宣稱 Scrapling 抽文字比 BeautifulSoup 快上數百倍。這是作者自己的測試，測的是 5,000 個巢狀元素的解析，跟你真實爬蟲的瓶頸（網路等待、對方限速）關係不大。解析速度很少是企業爬蟲的瓶頸，穩定和合法才是。如果團隊還在決定要不要用 Python，可以先看客製化系統程式語言怎麼選；Playwright 在自動化測試的用法，則可以參考 E2E 測試自動化採購指南。

Scrapling 怎麼開始：安裝與最小範例

先講結論：只想解析 HTML，裝基本版就好；要抓網頁，裝 fetchers 擴充再下載瀏覽器。需要 Python 3.10 以上；Python 本來就是資料處理的主流語言，Stack Overflow 2025 開發者調查中有 57.9% 的受訪者使用它。下面的範例都用 quotes.toscrape.com，這是專門給人練習爬蟲的公開網站，可以放心測。

# 只裝解析器
pip install scrapling

# 要用 Fetcher、Spider 時，安裝抓取相關套件並下載瀏覽器
pip install "scrapling[fetchers]"
scrapling install

要注意一個新手常見的坑：只裝 pip install scrapling 時，import scrapling.fetchers 會出現 ModuleNotFoundError，因為基本版刻意不含抓取功能，這是官方 README 特別標註的。

最小範例：抓一頁名言

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
authors = page.css('.quote .author::text').getall()

for q, a in zip(quotes, authors):
    print(a, q)

寫法跟 Scrapy 的選擇器幾乎一樣：css() 找元素，::text 取文字，getall() 拿全部。如果你習慣 BeautifulSoup，也可以用 page.find_all('div', class_='quote')。

開啟自適應：先存特徵，改版後再找回

from scrapling.fetchers import Fetcher

Fetcher.adaptive = True
page = Fetcher.get('https://quotes.toscrape.com/')

# 第一次：找到元素並存下特徵
quotes = page.css('.quote', auto_save=True)

# 之後網站改版、選擇器失效時：改用 adaptive=True 讓它比對找回
quotes = page.css('.quote', adaptive=True)

整站爬取：用 Spider 跟著下一頁走

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = 'quotes'
    start_urls = ['https://quotes.toscrape.com/']
    concurrent_requests = 2  # 對別人的網站客氣一點

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                'text': quote.css('.text::text').get(),
                'author': quote.css('.author::text').get(),
            }
        next_page = response.css('.next a')
        if next_page:
            yield response.follow(next_page[0].attrib['href'])

result = QuotesSpider(crawldir='./crawl_data').start()
result.items.to_json('quotes.json')

crawldir 就是暫停與恢復用的存檔資料夾。不想在自己電腦裝瀏覽器，官方也有包好所有依賴的 Docker 映像檔（Docker 是什麼可以看這篇容器入門）。抓到的資料要定時送進 Google Sheet、Slack 或 ERP，可以接 n8n 這類自動化工具，讓爬蟲只負責抓，後續流程交給工作流。

爬蟲合法嗎？robots.txt、使用條款、個資法與繞過反爬的風險

先講結論：爬蟲本身是中性工具，台灣法院也這樣看；出事的是「抓什麼、怎麼抓、抓了拿去做什麼」。企業評估時要把下面四條線分開看。

robots.txt 是網站對機器人的公開意願表達。它的標準 RFC 9309 在 2022 年 9 月發布，文件裡明寫這些規則不是存取授權機制，技術上擋不住任何人。但它清楚表達了網站主的意願，違反它在訴訟中很容易被拿來證明你「明知對方不願意」。Scrapling 的 robots_txt_obey 選項，我們建議內部一律打開。

網站使用條款是合約。很多網站條款明文禁止自動化存取。登入後才看得到的內容，你按下同意條款那一刻就受合約拘束，風險明顯比抓未登入的公開頁面高。

個資法管的是「抓到什麼」。個資法第 2 條把能直接或間接識別個人的資料都算個資。公開在網路上的姓名、電話、Email 仍然是個資；第 19 條雖然把「當事人自行公開或已合法公開」列為可蒐集的情形之一，前提仍是要有特定目的，而第 20 條限制你只能在蒐集目的範圍內利用。把網路上公開的聯絡方式整批抓下來做名單、寄行銷信，正好踩在這條線上。個資法也在 2025 年 11 月 11 日公布修正，未來由個資會統一監管、外洩要通報、罰鍰提高（施行日由行政院另定，見理律整理）。蒐集個資時該怎麼告知，可以參考個資同意書怎麼寫。

繞過防護與搬走內容，是刑法、公平法與著作權的範圍。刑法有第 358 條無故入侵電腦、第 359 條無故取得電磁紀錄、第 360 條干擾電腦系統。用高頻請求把對方主機打到變慢，或破解登入驗證拿資料，都可能落在這些條文附近。商業競爭上更常見的是公平交易法第 25 條：理律 2020 年的整理介紹了智慧財產法院 107 年度民公訴字第 8 號判決，一家租屋 App 用爬蟲大量搬走競爭對手的房源，法院認定違反公平法第 25 條，房屋照片也構成著作權侵害、不算合理使用，同時明講爬蟲技術本身是中性的。內容被抄的那一方該怎麼處理，可以看官網被抄襲怎麼辦。

國外案例也在往同一個方向收緊。hiQ 對 LinkedIn 纏訟多年，2022 年 12 月以 hiQ 賠償 50 萬美元、刪除資料的和解收場；Meta 告 Bright Data 在 2024 年 1 月敗訴，法院認為未登入狀態抓公開資料不違反 Meta 條款，登入後抓就是另一回事。2025 年起焦點轉到 AI：Reddit 在 2025 年 10 月控告 Perplexity、SerpApi 等公司繞過防護抓取內容，2026 年 7 月法院讓規避防護的主張繼續審理；Google 也在 2025 年 12 月控告 SerpApi。共同點很清楚：繞過對方明確設下的防護，是訴訟最常咬住的地方。

企業怎麼評估資料蒐集工具：自己寫爬蟲、用 Scrapling，還是找 API

一句話判斷：有官方 API 或開放資料就用 API；沒有 API、資料公開、對方沒反對、量不大，Scrapling 這類工具很合適；對方明確擋你，就換路。

用 Scrapling 做正式系統前，我們會先過這五個問題：資料來源有沒有 API；robots.txt 和使用條款允不允許；抓到的資料有沒有個資；網站改版或抓不到時誰會收到通知；版本鎖定與升級由誰負責。五題都有答案，才進入寫程式。像實價登錄這類政府資料本來就有官方管道，直接串接比爬網頁穩得多；要拿公開資訊做競品觀察，AI 競品分析工作流也整理了比較輕量的做法。

如果你公司現在也有人每天手動開十幾個網站抄價格、看公告，這種事很適合做成系統。我們很樂意聽你聊聊現在的資料來源和流程，一起看哪些可以接 API、哪些適合用爬蟲、哪些該先談授權。