虫亦有道，爬虫技术的合规性分析

虫亦有道，爬虫技术的合规性分析

网络爬虫，是指按照一定规则自动抓取互联网上信息的程序或脚本，本质上是一种替代人工，由机器自动高效提取目标数据的技术。在互联网和大数据时代，数据已经成为一种重要的生产资料，为提升数据获取和处理效率，获得竞争优势，爬虫技术已被广泛运用。与此同时，各类爬虫违法甚至犯罪的案例也屡见报端。

爬虫，到底是“中立技术”还是“违法犯罪”，本文拟将摘录部分典型判例，希冀从中寻求启发。

一、 爬虫引发不正当竞争

【“刷宝APP”不正当竞争纠纷案】

由最高法发布的《2023年人民法院反垄断和反不正当竞争典型案例》第8号案例，“刷宝APP”不正当竞争纠纷案（北京知识产权法院（2021）京73民终1011号）为如何认定爬虫抓取数据行为是否构成不正当竞争作出了官方回答。

? 基本案情：

京微播视界科技有限公司（简称微播公司）运营短视频平台抖音APP。北京创锐文化传媒有限公司（简称创锐公司）未经许可，采用技术手段或人工方式获取来源于抖音APP中的5万余条视频文件、1万多个用户信息、127条评论内容并通过刷宝APP向公众提供。微播公司以创锐公司的前述行为构成不正当竞争为由提起诉讼。北京市海淀区人民法院一审认为，创锐公司的被诉行为构成不正当竞争，并判令赔偿微播公司经济损失500万元。创锐公司不服，提起上诉。

北京知识产权法院二审认为，涉案视频文件、用户信息、评论内容构成抖音平台的数据集合。该数据集合以非独创性方式呈现，内容能够单独检索，具有独立价值。微播公司通过合法经营，投入巨大的人力、物力、财力，收集、存储、加工、传输抖音平台数据，形成了包括用户个人信息、短视频和用户评论在内的非独创性数据集合。该数据集合的规模集聚效应，能够为微播公司带来巨大的经济利益，在市场竞争中形成竞争优势。微播公司基于涉案非独创性数据集合形成的竞争性利益，并未在著作权法或者其他知识产权专门法中予以规定，应当属于反不正当竞争法保护的合法权益。创锐公司作为刷宝APP的运营主体，采取不正当手段抓取搬运抖音APP中的非独创性数据集合的实质性内容，攫取了微播公司的竞争资源，削弱了微播公司的竞争优势，损害了消费者福利，破坏了短视频行业的市场竞争秩序。被诉行为造成的损害远远大于消费者及社会公众基于该行为获得的利益。因此，创锐公司的被诉行为违反了诚实信用原则和商业道德，构成不正当竞争行为。北京知识产权法院二审判决，驳回上诉，维持原判。

? 律师观点：

结合本案，我们认为，爬虫行为是否构成不正当竞争，可从以下三个方面加以认定：

第一，爬取内容。本案中创锐公司爬取抖音视频文件、用户信息、评论内容，看似全部为网络公开信息，且并非微播公司独创，从互联网信息开放、共享的精神出发，貌似并无大碍。但法院认为，该类非独创性数据集合系平台经营者投入巨大人力、物力、财力形成的合法数据权益，且该数据集合具有规模集聚效应，构成互联网平台公司的竞争壁垒，应属于被法律保护的竞争优势。未经许可使用该数据集合，是攫取平台经营者竞争资源，削弱其竞争优势。由此可知，经他人刻意经营（收集、存储、加工、传输）的数据，即使公开，也不能成为爬虫抓取的合法对象。

第二，爬取方式。数据系数据经营者重要资产，未经经营者许可，擅自爬取，可能触犯法律。此处“经营者许可”我们认为应作为刚性前提，因为参照“新浪微博诉今日头条案”可知，在有用户授权，但无平台授权的情况下，头条通过爬取微博内容，实现同一用户在微博发布的信息可以同步发布在头条网站的行为，依然会被认定为违法爬取，属于不正当竞争行为。

第三，双方间是否存在竞争关系。数据爬取企业往往可用“双方间不存在竞争关系”作为抗辩理由，但在互联网的商业环境之下，竞争关系往往会被扩大，不再局限于线下服务中提供相同产品或服务的狭义定义。比如“大众点评诉百度地图”一案，百度地图爬取大众点评商户信息镶嵌到自身APP的搜索结果里，法院认为双方在为用户提供商户信息和点评信息的服务模式上近乎一致，存在直接竞争关系。

? 适用法律：

《反不正当竞争法》 第二条 

经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。

本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。

《最高人民法院关于适用<中华人民共和国反不正当竞争法>若干问题的解释》第三条 

特定商业领域普遍遵循和认可的行为规范，人民法院可以认定为反不正当竞争法第二条规定的“商业道德”。

人民法院应当结合案件具体情况，综合考虑行业规则或者商业惯例、经营者的主观状态、交易相对人的选择意愿、对消费者权益、市场竞争秩序、社会公共利益的影响等因素，依法判断经营者是否违反商业道德。

人民法院认定经营者是否违反商业道德时，可以参考行业主管部门、行业协会或者自律组织制定的从业规范、技术规范、自律公约等。

二、 爬虫窃取用户个人信息

【魔蝎科技侵犯公民个人信息罪案】

? 基本案情：

杭州市西湖区人民法院（2020）浙0106刑初437号判决书显示，被告单位杭州魔蝎数据科技有限公司主要与各网络贷款公司、小型银行进行合作，为网络贷款公司、银行提供需要贷款的用户的个人信息及多维度信用数据，方式是魔蝎公司将其开发的前端插件嵌入上述网贷平台APP中，在网贷平台用户使用网贷平台的APP借款时，贷款用户需要在魔蝎公司提供的前端插件上，输入其通讯运营商、社保、公积金、淘宝、京东、学信网、征信中心等网站的账号、密码，经过贷款用户授权后，魔蝎公司的爬虫程序代替贷款用户登录上述网站，进入其个人账户，利用各类爬虫技术，爬取（复制）上述企、事业单位网站上贷款用户本人账户内的通话记录、社保、公积金等各类数据，并按与用户的约定提供给网贷平台用于判断用户的资信情况，并从网贷平台获取每笔0.1元至0.3元不等的费用。

期间，魔蝎公司在和个人贷款用户签订的《数据采集服务协议》中明确告知贷款用户“不会保存用户账号密码，仅在用户每次单独授权的情况下采集信息”，但未经用户许可仍采用技术手段长期保存用户各类账号和密码在自己租用的阿里云服务器上，截至2019年9月案发时，对魔蝎公司租用的阿里云服务器进行勘验检查，发现以明文形式非法保存的个人贷款用户各类账号和密码条数多达21241504条。

法院经审理，最终判处被告单位魔蝎公司犯侵犯公民个人信息罪，违法所得3000万元予以没收，并处罚金3000万元；总经理周某翔犯侵犯公民个人信息罪，处有期徒刑三年，缓刑四年，并处罚金50万元；技术总监袁某犯侵犯公民个人信息罪，处有期徒刑三年，缓刑三年，并处罚金30万元。

? 律师观点：

由此案可知，即使获得用户授权，使用爬虫技术从第三方网站上取得用户信息依然属于“以其他方法非法获取公民个人信息”，构成侵犯公民个人信息罪。（本罪更多详析，请见本公众号2023-9-13文章《知网天价罚单之鉴，企业如何打好个人信息保护合规战》）

若将爬取的用户个人信息提供给诈骗分子实施诈骗，爬虫使用者还可能面临构成诈骗罪的刑事风险。

? 适用法律：

《刑法》第二百五十三条之一

【侵犯公民个人信息罪】

违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。

窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。

三、 爬虫非法获取数据

【房麦公司非法获取计算机信息系统数据罪案】

? 基本案情：

北京市朝阳区人民法院（2020）京0105刑初2594号判决书显示，被告单位厦门房麦网络科技有限公司研发“推房神器”等APP。自2018年起，使用网络爬虫技术爬取北京某信息技术有限公司经营的“某”网站房产数据。在某公司增加反爬取策略后，2019年10月至2020年7月间，房麦公司使用破解验证码、绕开挑战登录等方式破解某公司的反爬取措施，非法获取“某”网站的房源数据，并将非法获取的房产数据存放在自己的服务器中供“推房神器”APP调用，并向该APP用户收取会员费盈利。自2019年10月至案发，被告单位房麦公司的上述行为给某公司造成直接损失共计人民币10万余元。

法院经审理，最终判处房麦公司犯非法获取计算机信息系统数据罪，并处罚金20万元；判处总经理林某平犯非法获取计算机信息系统数据罪，处有期徒刑一年六个月，罚金2万元；判处技术总监程某东犯非法获取计算机信息系统数据罪，处有期徒刑一年二个月，罚金1万元；判处爬虫程序员林某森犯非法获取计算机信息系统数据罪，处有期徒刑八个月，罚金1万元。

? 律师观点：

2011年最高人民法院、最高人民检察院发布的《关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》（法释〔2011〕19号）中，对于非法获取计算机信息系统数据罪客观方面中“侵入”的特征表述为“具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权获取计算机信息系统数据的功能的”。本案中，行为人刻意绕过目标网站的反爬措施，非法获取未经授权的网站数据，已触犯了非法获取计算机信息系统数据罪。若爬取的网站为国家事务、国防建设、尖端科学技术领域的，则有可能触犯非法侵入计算机信息系统罪。

? 适用法律：

《刑法》第二百八十五条规定：

【非法侵入计算机信息系统罪】违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

【非法获取计算机信息系统数据】违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

四、 爬虫非法控制计算机信息系统

【陈某提供侵入、非法控制计算机信息系统程序、工具案】

? 基本案情：

广州市南沙区人民法院（2021）粤0115刑初5号判决书显示，2017年至2019年间，被告人陈某为牟取非法利益，编写“爬虫”软件用于在浙江淘宝网络有限公司旗下的“大麦网”平台上抢票，并以人民币1888元到6888元不等的价格向他人出售该软件，非法获利人民币12万余元。2019年7月11日，被告人陈某被公安机关抓获。经鉴定，上述“爬虫”软件具有以非常规的方式构造和发送网络请求，模拟用户在大麦网平台手动下单和购买商品的功能；具有以非常规手段模拟用户识别和输入图形验证码的功能，该功能可绕过大麦网平台的人机识别验证机制，以非常规方式访问大麦网平台的资源。

法院经审理，最终判处陈某犯提供侵入、非法控制计算机信息系统程序、工具罪，判处有期徒刑三年，缓刑四年，并处罚金2万元，没收违法所得12万元。

? 律师观点：

以爬虫技术模拟用户操作，应用于网络购物、金融交易等场景，干扰目标网站正常交易，可能构成非法控制计算机信息系统罪。若为相关行为提供专门性程序，则可能构成提供侵入、非法控制计算机信息系统程序、工具罪。

? 适用法律：

《刑法》第二百八十五条规定：

【非法控制计算机信息系统罪】违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

【提供侵入、非法控制计算机信息系统程序、工具罪】提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，依照前款的规定处罚。

五、 爬虫破坏计算机信息系统

【杨某明、张某栋破坏计算机信息系统罪案】

? 基本案情：

深圳市南山区人民法院（2019）粤0305刑初193号判决书显示，被告人杨某明是深圳市快鸽互联科技有限公司的技术总监，被告人张某栋是深圳市快鸽互联科技有限公司技术部的员工。深圳市快鸽互联科技有限公司主营业务是为按揭贷款购房的客户提供赎楼及债务置换贷款等。

2018年1月，杨某明授权张某栋开发一款名为“快鸽信贷系统”的软件，该软件内的“网络爬虫”功能能与深圳市居住证网站链接，可以在深圳市居住证网站上查询到房产地址、房屋编码等对应的资料，该软件对深圳市居住证网站访问量能达到每小时数十万次，以达到为其公司主营业务便捷的目的。2018年3月份起，张某栋等人利用改良后的“快鸽信贷系统”内的“网络爬虫”功能在深圳市居住证系统查询房屋信息。2018年5月2日10时至5月2日12时许两小时内，该软件对深圳市居住证系统查询访问量为每秒183次，共计查询信息1510140条次并将查询的信息以阿里云网络云盘的形式保存，深圳市公安局居住证服务平台服务器遭受了该爬虫软件的自动化程序攻击，在该时段内造成深圳市居住证系统服务器阻塞，无法正常运行，深圳市公安局居住证服务平台无法正常对外提供服务，其他用户无法正常使用平台业务，极大地影响了该居住证系统使用方深圳市公安局人口管理处的日常运作。

法院经审理，最终判处杨某明犯破坏计算机信息系统罪，有期徒刑三年；张某栋犯破坏计算机信息系统罪，有期徒刑一年六个月。

? 律师观点：

高并发的爬虫技术往往会增大网站访问量，使得网站的服务器资源耗尽，导致其他用户无法正常使用网站，系统功能无法正常运行。根据相关司法解释（法释〔2011〕19号），①造成为一百台以上计算机信息系统提供域名解析、身份认证、计费等基础服务或者为一万以上用户提供服务的计算机信息系统不能正常运行累计一小时以上；②破坏国家机关或者金融、电信、交通、教育、医疗、能源等领域提供公共服务的计算机信息系统的功能、数据或者应用程序，致使生产、生活受到严重影响或者造成恶劣社会影响；即为后果严重，构成破坏计算机信息系统罪。

? 适用法律：

《刑法》第二百八十六条

【破坏计算机信息系统罪】

违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。

违反国家规定，对计算机信息系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作，后果严重的，依照前款的规定处罚。

故意制作、传播计算机病毒等破坏性程序，影响计算机系统正常运行，后果严重的，依照第一款的规定处罚。

写在最后

互联网大数据时代，数据已被列为与土地、劳动力、资本、技术并列的第五大生产要素。以数据为抓取对象的爬虫技术，其本身并无好坏之分。我们认为，判断爬虫技术应用的合法合规与否，关键在于判定所爬取数据的合法性，是否为个人信息，是否取得数据源网站的许可是核心要义。虽然法律迄今并未对爬虫技术的使用作出任何明文规定，但参考已形成的判例及渗透其中的立法思想与裁判思路，也可为我们合法使用爬虫提供一定的参考与借鉴价值。