宝塔面板屏蔽垃圾搜索引擎蜘蛛和扫描工具的办法

首先进入宝塔面板,文件管理进入/www/server/nginx/conf目录,新建空白文件kill_bot.conf。然后将以下代码保存到当前文件中。

复制代码
#禁止垃圾搜索引擎蜘蛛抓取
 
if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") {
 return 403;
 break;
}
 
#禁止扫描工具客户端
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy" ) {
 return 403;
 break;
}
2. 修改网站配置文件
  1. 进入网站设置

    • 在宝塔面板左侧导航栏中选择"网站"。
    • 找到并点击您要配置的网站,进入网站设置页面。
  2. 编辑配置文件

    • 在网站设置页面左侧导航栏中选择"配置文件"。
  3. 插入自定义配置

    • #SSL-START SSL相关配置,请勿删除或修改下一行带注释的404规则 上方空白行插入以下代码:
    • #屏蔽垃圾蜘蛛
    • include kill_bot.conf;

    include kill_bot.conf;

  4. 保存配置

    • 保存并应用配置文件。
3. 验证配置
  1. 重启Nginx就可以在网站日志里看到防御效果了。

    • 在宝塔面板左侧导航栏中选择"软件商店"。
    • 找到并点击"Nginx",然后点击"重启"按钮。
相关推荐
SEO_juper5 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
sibylyue1 天前
搜索引擎简介
搜索引擎
LiberInfo3 天前
MongoDB 副本集搭建与 Monstache 实时同步 Elasticsearch 全流程教程
数据库·mongodb·elasticsearch·搜索引擎·docker·kibana·monstache
正宗咸豆花3 天前
AI 搜索引擎:让信息“长脑子”而不是“堆数据”
人工智能·搜索引擎
叶常落3 天前
不同地区的主要搜索引擎工具
搜索引擎
gorgor在码农3 天前
ElasticSearch基础数据查询和管理详解
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客3 天前
使用 FastAPI 构建 Elasticsearch API
大数据·数据库·python·elasticsearch·搜索引擎·全文检索·fastapi
正宗咸豆花4 天前
Lucid Search: 极简、隐私友好的问答式搜索引擎技术解析
人工智能·搜索引擎·状态模式·个人开发
Elastic 中国社区官方博客4 天前
Elastic Cloud 简化版:GCP Marketplace
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索
~央千澈~4 天前
MongoDB频繁掉线频繁断开服务的核心原因以及解决方案-卓伊凡|贝贝|莉莉|糖果
大数据·mongodb·elasticsearch·搜索引擎