Google bot檢索頻率過高降低網站速度怎麼辦?

自由揚AntonyLin

原因

正常來說,Google Bot會根據網站的體質,自動的決定檢索適當的頻率。但是如果Google Bot檢索的頻率過高,就可能會拖慢伺服器的速度,這種狀況在行銷活動檔期尤為明顯,例如雙十一、雙十二等等。在本身流量就已經滿額超載的情況下,如果在遇到Google Bot異常的超額檢索,絕對會拖慢網站的伺服器,造成錯誤(500)的出現。

解決方法

1. 到Google Search Console要求降低Google Bot索引頻率

我們可以透過官方的指南,到這裡提交暫時降低Google Bot索引要求。這項要求通常會在3-5天內生效,屆時就可以到GSC的後台去確認Google Bot索引的數量是否有明顯降低

2. 發送包含429的狀態碼

429指的是要求過多的檢索,此舉可以告訴Google Bot你來的太多次了,因而可以降低檢索頻率。但是跟第一個方法相比,還是最建議能用第一個方法就不用這個方法。

補充:絕對不要用4XX狀態碼降低索引頻率,4XX狀態碼透露出的是“用戶端錯誤”相關的問題,雖然短期內可以降低Google Bot的索引頻率,但是如果沒有拿捏好就會讓Google以為網頁不存在,進而把你的網站從搜尋結果上面移除,需要非常注意。

總結

QGoogle bot 爬取頻率過高會對網站造成什麼問題?

爬取頻率過高可能導致伺服器負載增加、頁面載入速度變慢,嚴重時甚至讓網站暫時無法正常運作。對於小型或共享主機的網站特別容易受到影響,需要主動管理爬取預算。

Q要怎麼降低 Google bot 的爬取頻率?

在 Search Console 的「舊版工具」中有「爬取速率設定」,可以要求 Google 降低爬取頻率。但這只是請求,不是強制。更根本的做法是提升伺服器效能、優化 robots.txt 避免爬取不需要的頁面。

Qrobots.txt 要怎麼設定才能控制爬取?

robots.txt 可以指定 Googlebot 不要爬取特定目錄(如 /admin/、/cart/),節省爬取預算給真正重要的頁面。但要注意,robots.txt 阻止爬取不等於阻止索引,某些已被外部連結引用的頁面仍可能被索引。

Q網站速度慢和 Google bot 爬取有關係嗎?

有關係。如果 Google bot 頻繁爬取,確實可能佔用伺服器資源導致速度變慢。反過來,如果你的網站回應時間很慢,Google 也可能降低爬取頻率,導致新頁面被索引的速度變慢。解決根本問題是提升主機效能。

Q爬取預算是什麼?小網站需要在意嗎?

爬取預算是 Google 分配給你網站的爬取資源。小網站(幾百頁以內)通常不需要擔心爬取預算,Google 能輕鬆爬完所有頁面。需要在意的是大型網站(幾萬頁以上),要確保有限的爬取預算花在重要頁面上。

這個問題會發生主要比較多會集中在已經比較有規模的電商網站,因為電商網站的更新頻率快、網頁數多,Google本身過來爬取的頻率就會比較高。因此如果遇上行銷檔期,伺服器本身就已經快要Hold不住,就更要注意提前3-5天提交降低索引的要求。如果想要瞭解更多官方的文件說明,可以參考這裡。

分享文章

AUTHOR

自由揚AntonyLin

留言(0)

尚無留言,成為第一個留言的人吧!

需要網站系統架設或軟體開發?

無論是品牌官網、客製化系統還是應用程式,我們的團隊擁有豐富經驗,歡迎聯繫我們,讓專業為您的事業加分。