1. <div id="11111"></div>

    1. <div id="11111"></div>

      1. <div id="11111"></div>

        全面封杀腾讯SOSO蜘蛛

        日期: 标签:杂谈 15 条留言
        如需帮忙改代码,或者WordPress二次开发、PHP网站建设等需求,可联系我购买付费服务:  点此联系我

             平常我都有看网站原始访问日志的习惯,最近一周以来,日志中开始大量出现Sosospider的访问信息,IP是 124.115.0. 段,查询到的地址是:陕西省西安市 SOSO蜘蛛。

             从日志中分析,Sosospider每隔几秒钟就来抓取一次,访问的都是一些乱七八糟的链接,甚至robots.txt中禁止索引的链接也被抓取,更让我想不通的是,一个搜索引擎的爬虫蜘蛛去抓取页面中的js和css干什么?

             对于搜索引擎蜘蛛我还是挺有好感的,但是对于Soso蜘蛛的这种行为,我感到无法理解,我暂时把它理解为对我网站的恶意流量攻击,不仅耗费了大量流量,也耗费了大量的CPU资源。流量是花钱买来的,不能浪费。索性在.htaccess中封杀这个IP段:

        deny from 124.115.0.

             搜索发现,124.115.0.这个ip段的Sosospider早在2007年就已是臭名昭彰了,见报道:腾讯SOSO蜘蛛乱撒网 惹怒站长被封杀.相信肯定有很多人给腾讯搜搜反应过这样的问题,但是直到世界末日都过了,搜搜依然没解决这个问题。莫非这个Sosospider不属于搜搜,而是肉鸡?

        -- 完 --

        本文采用 「CC BY-NC-SA 4.0」创作共享协议,转载请标注以下信息:
        原文出处:露兜博客 http://www.szeverich.net.cn/block-sosospider.html
        露兜
        kaapass@outlook.com  QQ 825533758

        业余编程爱好者,主业是淘宝店主,卖些工艺品,感兴趣可以到我的淘宝店看看(旺旺不提供技术咨询):西西弗sisyphe

        15 条留言

        点此留言
        1. 向日葵媒体设计

          无法理解它的反链怎么会那么多。。几万条~

        2. ICU路

          肉鸡思密达。。。

        3. Louis Han

          搜搜的蜘蛛怎么会跑到陕西?
          而且07年的时候搜搜还是用的Google的数据吧

        4. waiting-无限博客

          骚噶,回去看看自己网站有没有中这个招……

        5. 茶话汇

          soso搜索来的流量本来就不多,禁用应该关系不大的

        6. Ludou

          @茶话汇 禁用的只是在西安的爬虫

        7. Mouse

          其实那个是冒充的spider,不仅是soso,百度和bing也有过。

        8. Tokin

          平时我也没关注过爬虫,随便抓取吧,正愁流量用不完呢…

        9. hea

          怎么提交不了留言、

        10. 一堵墙

          他那个方向链接的统计怕是有问题吧

        11. 哼哼猪

          确实,不产生索引,一味在爬取,纯粹浪费流量

        12. 第三眼

          国内搜索引擎的蜘蛛从来不care robots.txt的

        13. 西贝博客

          待会切看看log

        14. 红色石头

          雅虎360更多,我看我的,几十万~~~

        15. 柚子

          长见识了,前几天查看服务器log的时候也看到了SOSO的爬虫,当时没怎么在意,看来有必要filter一下它了。Google的搜索技术本身肯定没问题,SOSO太贪心了点。。

        发表留言

        可以挣钱的游戏 598| 532| 197| 415| 161| 590| 514| 83| 783| 930| 986| 188| 730| 340| 312| 21| 7| 176| 543| 108| 114| 836| 717| 401| 203| 880| 400| 479| 256| 941| 791| 779| 708| 677| 462| 602|