投訴
已解決 請問如何避免搜索引擎
3 0
請問如何避免搜索引擎，通過這種方式，消耗站點資源
https://域名.com/news/search/catid-8-keyword-注意事項.html
我就想知道，catid-8-是如何被檢索到的，如何進行避免，之前網(wǎng)站被MJ12bot一天幾百次的爬取，禁止幾個搜索引擎之后，現(xiàn)在谷歌開始這樣爬取了，主要是帶有catid-8-不能正常的完成搜索，出現(xiàn)404頁面。
通過服務(wù)器來拒絕，一般主機服務(wù)商有這些規(guī)則設(shè)置方法
開源是一種精神，但不是義務(wù)，幫忙是情分，不幫也不要抱怨，建議大家多研究代碼、多閱讀代碼、多翻閱社區(qū)歷史問題！
reboot啊，可以過濾
用這個教程
參考文檔：《任意地址301重定向?qū)懛ā?/a>