你的位置:快乐忆站 \ 随写 \ 文章正文

Soso蜘蛛不规矩!

之前查看网站日志的时候发现有很多相近的ip出现频率很高,而且部分useragent信息显示是iPhone访问的,难道是哪位忠实用户?但是在留言里面找ip段却找不到任何信息,好奇心驱使我去查了下ip的物理地址,结果显示很让我诧异:

soso

很明显,这货是Soso的蜘蛛,纯真的数据库可靠性还是很高的。再来看看日志截图:

日志1

日志2

你会发现,上述114.80.93网段的ip的useragent信息根本没有Soso的任何信息,连蜘蛛信息都木有,而是一个正常用户的useragent信息。再看看上面第一张图里面的百度的蜘蛛,规矩的很。

Soso这么做难道是为了防屏蔽?但是这样也太没职业道德了!

果断屏蔽ip段:

deny 114.80.93.0/24;

好了,就吐槽到这吧。

« 上一篇

说两句吧:

*

*

正在回复: 取消

  1. 14#
    博客大全
    博客大全 Google Chrome 21.0.1180.60 Windows 7 2013-07-26 18:46 回复
    那真蜘蛛来了怎么办?
    小松
    小松 Google Chrome 28.0.1500.71 Mac OS X 10.8.5 2013-07-26 19:46 回复
    @博客大全:果断屏蔽,SoSo蜘蛛没什么好保留的
  2. 13#
    祈雨其雨
    祈雨其雨 Google Chrome 18.0.966.0 Windows XP 2012-10-30 19:27 回复
    搜搜爬得可疯狂啦,把我以前从数据库删掉但是忘了从本地删掉的帖子都抓走了
    小松
    小松 Google Chrome 22.0.1229.96 Windows 8 x64 Edition 2012-10-31 12:44 回复
    @祈雨其雨:哈哈,流量不够就疲敝了吧
    祈雨其雨
    祈雨其雨 Google Chrome 18.0.966.0 Windows XP 2012-10-31 12:45 回复
    @小松:我一气之下做了新的404页面然后把旧页面全删了
    小松
    小松 Google Chrome 22.0.1229.96 Windows 8 x64 Edition 2012-10-31 12:47 回复
    @祈雨其雨:哈哈,够狠,要我就全部重定向到首页去~
  3. 12#
    魔法基佬MKⅡ
    魔法基佬MKⅡ Google Chrome 24.0.1284.2 Windows 8 x64 Edition 2012-10-08 18:05 回复
    SOSO貌似连robots.txt都无视,不过自从百度不收录以来再也不对搜索引擎抱任何希望。
    小松
    小松 Google Chrome 18.0.1025.166 Android 4.0.4 2012-10-08 18:08 回复
    @魔法基佬MKⅡ:哈哈,除了百度,其他的都忽略不计
  4. 11#
    分条机刀片
    分条机刀片 Firefox 13.0.1 Windows 7 2012-09-30 13:23 回复
    过来看看,学习了。
  5. 10#
    新号外优惠码
    新号外优惠码 Firefox 15.0.1 Windows XP 2012-09-27 17:33 回复
    不光是soso蜘蛛,sogou的蜘蛛有事也不守规矩
    小松
    小松 Google Chrome 23.0.1271.1 Windows 8 x64 Edition 2012-09-27 19:21 回复
    @新号外优惠码:是的,国内的蜘蛛都不咋地!
  6. 9#
    Junan
    Junan Google Chrome 21.0.1180.89 Windows 8 x64 Edition 2012-09-21 22:38 回复
    360的蜘蛛更可怕
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-21 23:01 回复
    @Junan:没事,咱不怕,只要收录就好~
  7. 8#
    那不是我
    那不是我 Google Chrome 21.0.1180.89 Windows 7 2012-09-15 10:54 回复
    上次把我的站给爬死翘翘了
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-15 11:05 回复
    @那不是我:我主要觉得他一个搜索引擎伪装成正常用户这点很不厚道!
  8. 7#
    戒律
    戒律 Internet Explorer 9.0 Windows 7 2012-09-15 00:19 回复
    百度才是王道
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-15 09:00 回复
    @戒律:确实是这样的,百度流量居首,且大幅度领先
  9. 6#
    小晋呵呵
    小晋呵呵 Google Chrome 21.0.1180.89 Windows 7 2012-09-14 21:38 回复
    小松老师好~你更新、我签到~汪汪~
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-14 21:41 回复
    @小晋呵呵:为什么是汪汪........
    小晋呵呵
    小晋呵呵 Google Chrome 21.0.1180.89 Windows 7 2012-09-14 21:43 回复
    @小松:嘿嘿~最近习惯了。。。。。。
    小松老师在研究啥呢?
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-14 21:45 回复
    @小晋呵呵:习惯了....过的非人日子啊...我工作上忙啊,都没啥时间弄自己的东西,最近就把博客的样式和脚本独立出来了~
    小晋呵呵
    小晋呵呵 Google Chrome 21.0.1180.89 Windows 7 2012-09-14 21:47 回复
    @小松:独立出来了?弄出模板了?
    嘻嘻。。好啊,,这个好。。
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-14 21:50 回复
    @小晋呵呵:不是弄出模版了,是把静态文件从程序中独立出来了,方便管理
  10. 5#
    2nd丶骨頭
    2nd丶骨頭 Google Chrome 17.0.963.84 Windows XP 2012-09-14 17:56 回复
    话说搜搜收录不给力呀~
    小松
    小松 Google Chrome 23.0.1262.0 Windows 8 x64 Edition 2012-09-14 18:17 回复
    @2nd丶骨頭:都不指望他收录,收录了也木有流量~!希望360能收录多点~
1 2

随机日志:

推荐日志:

彩色标签:

sitemap