
baiduspider
这篇文章主要介绍了php/asp/asp.net中判断百度移动和PC蜘蛛的实现代码,需要的朋友可以参考下
这篇文章主要介绍了PHP判断来访是搜索引擎蜘蛛还是普通用户的代码小结,多种方法总有一种适合你,防止搜索引擎蜘蛛拖死搜索引擎
这篇文章主要介绍了asp实现禁止搜索引擎蜘蛛访问的代码,十分的简单实用,有需要的小伙伴可以参考下。
这篇文章主要介绍了Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例,限制爬虫频率用于一些无良爬虫,禁止爬虫用于一些不需要收录的网站,需要的朋友可以参考下
本篇文章是对使用PHP实现蜘蛛访问日志统计的代码进行了详细的分析介绍,需要的朋友参考下
做为站长每天都想知道自己的网站百度蜘蛛等搜索引擎爬虫是否了网站 来抓取文章,一般站长不知道怎么搞用工具查询,也可以查看空间里的日志,但是空间里的日志的记录全是代码你不知道那个是搜索引擎爬虫的来路
php 判断访客是否为搜索引擎蜘蛛的函数代码。需要的朋友可以参考下。
用php实现让页面只能被百度gogole蜘蛛访问的方法,需要的朋友可以参考下。
这篇文章主要介绍了使用Nginx限制百度蜘蛛频繁抓取的问题,百度蜘蛛对网站的抓取频率高和抓取量骤增导致服务器负载高,经常收到警告信息,每分钟允许百度蜘蛛抓取200次,超过频率限制的返回503,对Ngi...