直接答案：在公開企業官網上，把搜尋引擎或常見內容爬蟲一律封鎖，是極為落後的做法。網站存在的目的之一，就是讓顧客、Google 與愈來愈多的 AI 問答系統讀得到你。舊式 marketing agency 若仍以「保安」「防抄襲」「不想被人爬」為由幫客人整站擋爬蟲，等於親手把曝光關掉——內容再好，也很快會在搜尋結果與生成式推薦中被淹沒。
香港不少老闆以為：網站做了、廣告在投、社交也有更新，為什麼自然查詢愈來愈少？有時問題不在文案美醜，而在技術設定：robots.txt 把整站 Disallow、頁面被加 noindex、或防火牆／外掛把合法爬蟲當攻擊擋掉。本文說清楚這種舊習慣從哪來、為什麼今天特別危險，以及你應要求供應商做甚麼。延伸可讀甚麼是 GEO、甚麼是 SEO，並用免費網頁性能速度測試先看 AI／GEO 可讀性訊號。
舊式 agency 為何愛擋爬蟲
常見話術大致有幾類，聽起來「專業」，實則過時：
- 「擋住比較安全」：把爬蟲與黑客混為一談。真正的保安是更新系統、權限、備份、防火牆規則與登入防護，不是把 Googlebot 當敵人。
- 「防止對手抄內容」：公開頁面本來就可被閱讀。擋搜尋引擎不會令對手看不到你的網站（對手用瀏覽器一樣看得到），卻會令潛在客人更難找到你。
- 「先擋住，上線後再開放」：測試站擋爬蟲合理；但正式官網上線後仍沿用測試站設定，是交接疏忽，不是策略。
- 「AI 會偷走你的內容」：生成式搜尋已是顧客決策路徑的一部分。一刀切封鎖，等於放棄被正確引用與推薦的機會，同時對手若開放，討論區與答案裡更容易出現他們。
這些做法在「網站只是電子名片、流量全靠人情同業介紹」的年代，傷害較慢；在搜尋與 AI 問答主導發現路徑的今天，傷害可以很快、很沉默。
為什麼這是極落後的做法
- 違背官網的基本功能：企業網站要被找到、被理解、被信任。封鎖合法內容爬蟲，等於建了一間不上門牌、不上地圖的舖。
- SEO 無法運作：搜尋引擎要先能抓取與索引，才談得上排名。內容、外連、廣告再用力，若機器進不來，累積也斷層。
- GEO／AI 引用直接出局：顧客問「香港邊間適合做某服務」時，模型需要可讀、可驗證的網頁來源。整站或關鍵路徑被擋，你較難進答案，也較難被正確描述。
- 浪費已付出的行銷預算：投放帶來點擊，自然搜尋與品牌搜尋卻長期萎縮；社交導流亦難轉成可累積的搜尋資產。
- 把「該擋」與「不該擋」混為一談：成熟做法是精確允許公開內容、精確保護後台與私密頁。舊式一刀切，是懶惰設定，不是精密治理。
一句話：公開內容要可被讀取；私密系統要被保護。把兩者反過來，就是落後。
如何令網站「被淹沒」
「被淹沒」不是詩意形容，而是可觀察的後果：
- 收錄下降：Search Console 覆蓋率惡化，重要服務頁變成「已排除／被 robots 封鎖」。
- 品牌詞也被對手搶：連搜公司名，都較易出現目錄站、舊轉載或競爭對手，而不是你的官網。
- AI 答案沒有你：生成式回覆推薦其他品牌，或描述含糊、過時——因為讀不到你的最新說明。
- 內容投資打水漂：寫了文章、做了案例，卻無法進入索引與引用池，等同沉沒成本。
- 發現問題時已慢了數月：擋爬蟲很少即日「網站壞掉」；它是靜靜地停更新、停收錄，等你發現查詢變少，往往已經落後一截。
這正是最危險之處：表面上網站「打得開、睇得見」，老闆以為一切正常；實際上搜尋與 AI 世界裡，你的舖已經被關掉燈。
哪些東西才應該擋
不是「所有擋爬蟲都錯」。以下通常應該限制索引或抓取：
- 網站後台、登入頁、暫存／測試環境
- 購物車、結帳中間頁、感謝頁（按策略決定）
- 含個人資料、內部報價、員工專區的頁面
- 參數重複頁、搜尋結果頁、薄內容篩選頁（避免製造垃圾索引）
相對地，首頁、服務頁、關於、案例、知識內容、聯絡這類公開商業頁，預設應允許主要搜尋引擎抓取；是否對個別 AI 爬蟲開放，應由你按品牌與法務策略決定，而不是被 agency 用一句「全部擋住最安全」帶過。
三分鐘自查清單
- 用瀏覽器開啟
https://你的網域/robots.txt。 - 若見到對整站
Disallow: /，或對 Googlebot／重要路徑大範圍封鎖，立刻問供應商原因與上線日期。 - 抽樣打開首頁與主要服務頁原始碼或瀏覽器檢查工具，確認沒有錯誤的
noindex。 - 登入 Google Search Console，查看「頁面」／索引狀態是否大量「被 robots.txt 封鎖」。
- 跑一次免費網頁性能速度測試，留意 AI／GEO 可讀性相關訊號；有疑慮再申請免費網站診斷。
你不需要自己成為工程師；你只需要能判斷：供應商是在保護後台，還是在關掉你的公開門面。
發現被擋之後怎麼辦
- 立刻修正設定：開放公開內容路徑；保留後台與私密區封鎖。
- 更新 sitemap 並提交：讓搜尋引擎重新發現重要 URL。
- 用 Search Console 要求重新檢索首頁與主力服務頁。
- 檢查主機／CDN／保安外掛：有否把合法爬蟲 IP 或 User-agent 誤判為攻擊。
- 監察兩至四週：收錄與搜尋表現通常不會一秒恢復，但方向應對準「可抓取、可索引、內容清楚」。
若供應商堅持「我們一律擋爬蟲」，請要求書面解釋商業理由。說不清的，多半不是策略，而是舊模板。
下一步
先自查 robots 與索引狀態；同時把服務頁寫清楚，避免「讀得到卻看不懂」。GEO 與 SEO 入門見甚麼是 GEO與甚麼是 SEO；改版時記得守SEO／GEO 保護清單。需要有人直接看你的網址，歡迎申請免費網站診斷或先用速度與 AI／GEO 預檢。
行銷可以很新潮，但若官網在機器世界裡是隱形的，一切投放都像把水倒進漏桶。擋錯爬蟲，不是低調——是自我淹沒。
