律师手记｜IP：慢着，互联网上看看能“爬”什么

作者：咸飞律师 北斗鼎铭律师事务所

（本文改编自作者2014年研究课题）

关键词：爬虫协议 Robots协议 Python爬虫 Spider爬虫 网络爬虫 不正当竞争

前几年，“大众点评诉百度不正当竞争”案件让大家意识到了数据对于互联网的重要。

案情：百度运用爬虫机器人将大众点评网中用户对于商家的评价数据，爬取后移植到百度地图中，这样用户就不用登录大众点评网，直接在百度地图上选好目标，直接看评价。一下子知道了商家信息、评价，确定之后直接导航，真实妙招。后大众点评将百度告到法院，法院判决百度败诉，构成不正当竞争。

“爬虫”还真实个好技术，就拿我们律师来讲，想在网上查点资料、线索、文书等，全都离不开“爬虫”。在公众的生活中那更是随处可见，免费下个片什么的，别说您没做过。在我们这些习以为常的互联网习惯背后，构成了一个巨大的产业链。

有利益，必有争议。

— 什么是爬虫协议？

?为获得互联网海量信息资源，一种名为网络爬虫 (又名Spider程序、爬虫机器人)的程序被开发出来，此程序像蜘蛛结网一样自动地抓取互联网信息或脚本。为防止信息信息被自动爬取而产生风险甚至违法行为，国际互联网界设立了爬虫协议(又名Robots协议)作为通行的道德规范，在提倡信息共享及搜索技术服务于人类的同时，尊重信息提供者不愿公开内容的意愿。

?爬虫协议以Robot.txt格式文本的形式存于网站根目录(逻辑程序的最上一级目录)之下，记载此网站愿意公开信息的范围。当网络爬虫访问网站时，首先检查是否存在爬虫协议，如果协议存在，蜘蛛机器人就会按照协议中确定的公开范围爬取信息；如果协议不存在，则所有信息都可以被爬取。

— 爬虫协议的效力？

?从技术角度分看，Robot.txt格式文本就是Windows的记事本，只能实现最基本内容记载功能，而非系统命令或者防火墙，并不能从技术上阻断网络爬虫的抓取技术实现。

?从法律角度讲，爬虫协议不是法律，是互联网行业间的道德规范，没有法律强制力；爬虫协议也不是合同，没有合同相对人。

?所以说，爬虫协议可理解为一份单方告知书，仅告知可爬取信息的范围，也是互联网的行业道德规范。

— 是否要遵守爬虫协议，会不会违法？

?毋庸置疑，违反爬虫协议构成不正当竞争。

由于爬虫协议被储存在网站根目录之中，若网站存在该协议，网络爬虫在访问网站时会不可避免的遇到爬虫协议，并能够读取到确定公开的信息范围。若网络爬虫不顾爬虫协议之规定，随意爬取信息，可视为网络爬虫程序设定者有意为之，有意将他人收集、整理、上载的信息劳动成果占为己有，这肯定就是故意侵权了，就像百度爬大众点评的行为。

?遵守爬虫协议，合法吗？这就要延伸到被爬取信息的使用上了。

信息使用是爬取信息后必然发生的后行为，若网络爬虫遵守爬虫协议开放内容爬取信息并展现，使信息通过搜索技术得到更加显著的汇集与指引，而非与网络爬虫程序设定者所提供的产品或服务混淆，则可以认为是遵守互联网原则及爬虫协议的善意行为，这叫做“技术中立”，没毛病。

?对于爬取信息的使用是否合法应遵循不正当竞争行为的构成要件进行判断，在此不必考虑爬虫协议的存在。

首先，当网络爬虫程序设定者与信息源网站所提供的产品或服务存在竞争关系时，爬取的信息将直接左右竞争主体之间的市场利益分配；其次，信息源网站的点击量会因爬取行为会产生影响；第三，网络爬虫程序设定者所爬取的信息是信息源网站生产、搜集和使用过程中的辛勤付出，网络爬虫程序设定者并未对信息价值做出贡献，此爬取行为具有明显的“搭便车”、“不劳而获”的特点，肯定就是不正当竞争行为了。

?要是这信息是个商业秘密，那可能事儿就真大了，严重的能整个侵犯商业秘密罪出来。

所以说，有爬信息的技术能力是好事儿，有时也是坏事儿，就像互联网圈内的一句玩笑，ITer在介绍自己的强大技术时吹嘘：“我是做爬虫的，能爬进监狱的那种。”

当然，具体问题咱们还是具体分析。

看法律，利来利往、熙熙攘攘。