一、反不正当竞争法对爬虫技术的规制演变

我国《反不正当竞争法》（以下简称“《反法》”）一直采用“一般条款+具体列举”的立法模式，总则部分的一般条款（第二条）明确了反不正当竞争法的基本原则和不正当竞争行为的基本样态，分则部分则明确列举了不正当竞争行为的具体类型。在经历了2017年和2019年两次修订后，现行《反法》依旧没有对爬虫技术有直接的规定，因此在与爬虫技术有关的司法裁判中，法官往往会从《反法》第二条、第九条和第十二条中寻找解决路径。

其中，第二条为一般条款，是关于竞争原则、不正当竞争行为的概括定义。第九条是对商业秘密的保护，如果爬虫技术的使用者抓取的内容属于商业秘密，则将受到该条的规制。而第十二条为互联网专条，其中第二款第（四）项是关于互联网领域不正当竞争行为规制的兜底规定，涵盖了所有会“妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为。”

我们利用公开数据库中对近年来的司法裁判做了一个统计，具体可参见下方表格。不难发现，在涉及爬虫技术的数据抓取类不正当竞争纠纷中，大多数法院适用的法律依据为一般条款第二条，也有少数法院单独适用了互联网专条第十二条，但更多是作为对第二条的解释。而由于商业秘密有较为严格的认定标准，基于我们的检索和统计，只有一个案件法院将第九条作为裁判依据。

但以上三种规制路径并不能很好地解决现实的问题。一方面为了避免司法裁判在认定具体行为时向“一般条款”逃逸的现象，实践中一些法院会选择依据互联网专条第十二条第二款第（四）项，并排除对第二条的适用；[2]但另一方面，第十二条从其诞生之日便不具有严格的构成要件，因此在解释时不得不援引第二条的规定补充解释。两者的关系一直受到学界和实务界的质疑。同时，由于商业创新与竞争不断推陈出新，第二条和十二条的原则性和适用边界模糊性，导致数据抓取类不正当竞争纠纷案件过度依赖司法机关的自由裁量权，缺乏归纳，容易出现“同案不同判”的问题。

因此，为适应规制数据竞争行为的现实需要，2021年市场监管总局发布了《禁止网络不正当竞争行为规定（公开征求意见稿）》（以下简称“《网络不正当竞争规定草案》”），2021年最高院发布了《〈中华人民共和国反不正当竞争法〉若干问题的解释（征求意见稿）》（以下简称“《反法司法解释草案》”）的公布，试图对网络爬虫技术的使用进行正面的规定。《网络不正当竞争规定草案》第二十条和《反法司法解释草案》第二十六条都是结合司法实践中的经验，细化《反法》第十二条第二款第四项在网络爬虫领域的构成要件。但这两部草案仍具有一定的局限性，主要表现为列举的适用条件不精确不充分，表述仍显模糊，容易导致打击面过宽或以偏概全两个极端。

在2022年11月22日，立法者在原有探索的基础上更进一步，在最新的《反法草案》第十八条中将数据抓取行为细化为四类典型行为，加强了司法裁判的稳定性和可预期性。

本次《反法草案》的修订有两个创新点。一是《反法草案》首次提出了“商业数据”和“公众可以无偿利用的信息”两个概念，明确了第十八条保护的对象是经营者的商业数据。所谓“商业数据”，是指“经营者依法收集、具有商业价值并采取相应技术管理措施的数据”。相较于《反法草案》第十条保护的“商业秘密”，两者都要求具备“商业价值”，但商业数据可以被公众所知悉，基于两者之间存在的联系，可以认为“商业数据”和“商业秘密”在保护对象上有所重合。于是在数据抓取者抓取的商业数据同时也构成商业秘密的情况下，第十八条的规定也会和《反法草案》第十条侵犯商业秘密行为构成法律竞合，我们将在第二章对此进行具体分析。

虽然“商业数据”概念的提出可以有效地解决我国法律上非商业秘密的数据权益的保护问题，但其仍存在一些模糊地带需要立法者及专家进一步阐释。例如，商业数据要求经营者“采取相应技术管理措施”，而商业秘密则要求“采取相应保密措施”，那么这两种措施在程度上是否会有差异。如果有差异的话，那么所谓“相应技术管理措施”应该如何理解和认定。又例如，《反法草案》第十八条规定了“获取、使用或者披露与公众可以无偿利用的信息相同的数据，不属于本条第一款所称不正当获取或者使用其他经营者商业数据”这一例外。“公众可以无偿利用的信息”是《反法草案》新创设的概念，从字面上看可能与《个人信息保护法》第二十七条的“已公开的个人信息”有相似之处。[3]但《反法草案》的“公众可以无偿利用的信息”还会包含非个人信息的数据，因此该概念如何理解，特别是“可以无偿利用”的范围如何界定，也是值得进一步探讨的问题。2022年12月19日中共中央、国务院《关于构建数据基础制度 更好发挥数据要素作用的意见》（以下简称“《意见》”）中指出要建立保障权益、合规使用的数据产权制度，创造性地提出了数据资源持有权、数据加工使用权、数据产品经营权等分置的产权运行机制。我们也相信，《反法草案》后续很可能会结合《意见》相关精神，对保护范围和内容加以进一步明确。

《反法草案》的另一项创新在于更加细致地列举了四类非法抓取数据的典型行为。其中，第（一）项行为是“以盗窃、胁迫、欺诈、电子侵入等方式”，恶意破坏技术管理措施，造成的结果是不合理地增加其他经营者的运营成本、影响其他经营者的正常生产经营；“盗窃”一般需要“以非法占有为目的”[4]，而“胁迫”“欺诈”则需使对方“违背真实意思”[5]；针对“电子侵入”，根据《最高人民法院最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》有关“专门用于侵入计算机信息系统的程序、工具”对“侵入计算机信息系统”的解释，是指“避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权获取计算机信息系统数据”的行为。同时，最高人民检察院在发布的第九批指导性案例之四中认为，“侵入”是指“违背被害人意愿、非法进入计算机信息系统的行为，既包括采用技术手段破坏系统防护进入计算机信息系统，也包括未取得被害人授权擅自进入计算机信息系统，还包括超出被害人授权范围进入计算机信息系统。”

第（二）项的基础是数据获取方与其他经营者之间存在“合理、正当的数据抓取协议”这一前提，经营者必须依照协议约定的具体方式从约定的范围内获取和使用数据，比如“三重授权原则”“Robots协议”和《用户服务协议》《开发者协议》等就是其中重要的考量因素。违反上述协议，不管采取何种手段获取和使用了他人的商业数据也构成“非法抓取”行为。第（三）项规制要求包含二层含义，其一，已存在“以不正当手段获取”其他经营者商业数据的情况；其二，针对上述获取的数据，存在进一步“披露、转让或者使用”的后续行为。而第（四）项则是兜底条款，也是对于现行《反法》第二条内容的重新表述，确定了数据抓取的不正当竞争行为基本构成要件是“采取违反诚实信用和商业道德的不正当方式”，“严重损害其他经营者和消费者的合法权益”，“扰乱市场公平竞争秩序”。可以看到，《反法草案》所列举的四类典型行为并未完全跳出现行《反法》和两部在先《草案》的规制逻辑，是将已有的规则与司法实践经验进行有机结合。下面，我们将结合司法案例，对数据抓取类不正当竞争行为的重点展开具体的分析。

二、数据抓取类不正当竞争行为的重点

根据对司法判例[6]的梳理，对于涉及爬虫技术的数据抓取类案件，法院主要会考察以下几点来认定是否构成了不正当竞争行为：（1）涉案双方存在竞争关系；（2）其他经营者的合法权益遭受实际损害；（3）公平市场秩序遭受实际损害；（4）该竞争行为因违反诚实信用原则和商业道德而具有可责难性。

（一）涉案双方存在竞争关系

传统意义上，竞争一般是发生于同业竞争者之间对于交易对象以及交易机会的争夺，如果双方不存在竞争关系，就不存在所谓的“不正当竞争”。尽管竞争关系是在一个行业之内进行判定的，从服务性质或者服务类别来看，经营者未提供同质性的商品或服务，往往不完全处于同一相关市场而具有直接竞争关系。然而随着新经济的发展，竞争样态愈发复杂，不正当竞争效果的传导往往涉及多个行业，也因此会产生多个行业的竞争损害，例如大型互联网企业之间的竞争往往就是跨越多个行业的，并且通过提供一种服务模式致力于对用户其他注意力的争夺，创新竞争和跨界竞争已然成为业界常态，此时网络效应和平台效应极易导致此行业的“用户注意力”竞争优势向该互联网企业拟发展的其他行业传导，使得多个相关市场的纵横交错而引发的不当竞争效果愈演愈烈。

司法实践也早已形成共识，竞争关系不限于狭义的相同类似商品服务的直接竞争关系，而是市场竞争利益上的损害与被损害的关系，即原告因被告的行为在竞争利益上受到损害的，就可以提出不正当竞争之诉和适用反不正当竞争法。随着新型不正当竞争案件的增多，法院也逐步突破了传统直接竞争关系范畴的限制，转而通过寻求间接竞争关系的认定来解决纠纷。例如，在“某点评平台诉某地图软件不正当竞争纠纷案”[7]中，点评平台与地图软件的经营方式虽有不同，但二者面对的是同一用户群体。法官认为，即使双方的经营模式存在不同，只要双方在争夺相同的网络用户群体，即可认定为存在竞争关系。又例如在“某电商平台诉某数据服务商不正当竞争纠纷案”一审[8]中，一审法院指出，在网络经济环境下，只要双方吸引争取的网络用户群体存在此长彼消的或然性对应关系，即可认定为存在竞争关系。原告和被告公司经营的网络服务内容及网络用户群体完全相同，具有高度重合性，因此存在竞争关系。

而《反法司法解释草案》第二条首次在司法解释层面将竞争关系的标准明确为“存在可能的争夺交易机会、损害竞争优势等关系”，这也是对既有司法实践的进一步确认。

（二） 其他经营者的合法权益遭受实际损害

在双方具有竞争关系的基础上，还需要判断是否存在竞争损害。其他经营者合法权益受到实际损害的考量方式有很多，比如判断相关竞争行为是否会提高其他经营者成本或者降低产出，抑或是导致消费者注意力转向，进而也损害了市场秩序。

如果聚焦于爬虫技术所引起的不正当竞争纠纷案件，法院往往会通过“爬取方”是否构成对“被爬方”的服务或者业务的“实质性替代”来考量其是否对“被爬方”的商业利益等合法权益造成实质性损害，以及是否损害了市场竞争秩序。例如，在“某电商平台诉某数据服务商不正当竞争纠纷案”二审[9]中，法院认为，被告的产品实质性替代了原告的数据产品，截取了原本属于原告的客户，导致了原告的交易机会严重流失，损害了原告的商业利益。

这种处理方式本质上是利用商品之间构成“实质性替代关系”的认定来取代往往十分复杂的竞争损害认定。这是因为一旦商品之间能够存在“实质性替代”，意味着双方之间的竞争十分激烈。在面对同类客户的情况下，双方对于用户数量、关注度、流量的获取都是“此消彼长”的关系。如果一方经营者能够快速获取数据等资源，截取另一方的流量，分流客户群，挤占市场份额，进而影响到另一方经营者的生存与发展。[10]此时，不正当的爬取行为必然会对另一方产生巨大的威胁和伤害。在“某点评诉某网络服务商不正当竞争纠纷案”[11]中，法院就认为，原告通过商业运作吸引用户在自己的平台上注册、点击、评论，并有效地收集和整理信息，进而获得更大的商业利润，该合法权益应受法律保护。被告公司作为提供搜索、链接服务的网络服务商，应遵守法律规定和相关行业规范，对于特定行业网站信息的利用，须控制在合理的范围内，并且针对操作模式也需要控制在不造成被抓取方的利益受到实质性损害。但被告对原告点评内容的使用，已达到了网络用户无需进入原告平台即可获得足够量信息的程度，超过了适当引用的合理限度，事实上造成被告向网络用户提供的涉案点评内容对原告产品相应内容的市场替代，对原告的合法利益产生了实质性损害。不难看出，原告和被告产品存在“实质性替代关系”的情况下，被告未经原告许可大量使用原告的信息，本质上属于“未经许可使用他人劳动成果”并已超过必要的限度，原告自身的合法商业利益因为被告的不正当爬取和使用行为而直接受损，由此当然地能够直接认定具有竞争损害。

（三） 公平市场秩序遭受实际损害

“爬取方”的行为是否对公平竞争秩序造成损害，应当遵循的原则是：如果一种行为仅仅是损害了消费者的权益但并没有对公平竞争秩序构成损害，则不属于不正当竞争行为，消费者可以通过其他法律维护自己的权益，不正当竞争必然与竞争行为联系在一起。在大数据时代的背景下，信息所具有的价值超越以往任何时期，愈来愈多的市场主体投入巨资收集、整理和挖掘信息，如果不加节制地允许市场主体任意地使用或利用他人通过巨大投入所获取的信息，将不利于鼓励商业投入、产业创新和诚实经营，最终损害健康的竞争机制。互联网等新兴市场领域中的各种商业规则整体上还处于探索当中，市场主体的权益边界尚不清晰，某一行为虽然损害了其他竞争者的利益，但可能同时产生促进市场竞争、增加消费者福祉的积极效应，诸多新型的竞争行为是否违反商业道德在市场共同体中并没有形成共识。例如还是上述“某点评平台诉某地图软件不正当竞争纠纷案”[12]，点评平台对涉案信息的获取付出了巨大的劳动，具有可获得法律保护的权益，而地图软件公司的竞争行为亦具有一定的积极效果，当用户在该地图软件上搜索某一商户时，不仅可以知晓该商户的地理位置，还可了解其他消费者对该商户的评价，这种商业模式上的创新在一定程度上提升了消费者的用户体验，丰富了消费者的选择，具有积极的效果，在此情况下应当对两者的利益进行一定平衡。但是地图软件公司在进行商业决策时，如果逐一考察了各种可能的行为并且存在明显有对点评平台损害方式更小的方式而未采取，或者其欲实现的积极效果会严重损害点评平台利益的情况下，进而影响到公平的市场竞争秩序，那么就需要受到《反法》的制裁。

（四） 爬虫技术的使用违反诚实信用原则和商业道德

在互联网市场竞争领域，经营者利用数据等技术手段对其竞争对手造成损害已成为常态化现象，但如果经营者并未以违反法律或商业道德的方式侵害动态的竞争利益，那么就不应受到《反法》的苛责与规制，亦不应承担否定性法律后果。

诚实信用原则和商业道德因不同历史背景、不同经济发展条件及文化传统而凸显出不同的道德内核。《反法司法解释草案》第三条对“商业道德”的认定标准予以了明确：“商业道德”是指特定商业领域普遍认可和遵循的行为规范。人民法院应当结合案件具体情况，综合考虑行业规则或者商业惯例、经营者的主观状态、交易相对人的选择意愿、对市场竞争秩序和消费者知情权、选择权的影响等因素，依法判断经营者是否违反商业道德。人民法院认定经营者是否违反商业道德时，还可以参考行业主管部门、行业协会或者自律组织制定的从业规范、自律公约、技术规范等。

互联网等新兴市场领域中的各种商业规则整体上还处于探索当中，诸多新型的竞争行为是否违反商业道德在市场共同体中并没有形成共识。具体在使用爬虫技术的过程中，随着搜索技术和网络应用的不断发展，以及数据抓取行为的复杂化和多样化，法院在裁判中也根据反不正当竞争法的价值取向，创制了多个角度的判断标准。根据对司法判决的梳理，我们认为下列几种行为可能会被认定为违反商业道德及诚实信用原则。

1. 违反目标网站Robots协议和用户协议

Robots协议的英文全称为Robots Exclusion Protocol，可称为爬虫协议、机器人协议，指的是网站所有者通过在网站根目录下设置的robots.txt文件提示网络机器人哪些网页内容不应被抓取，哪些可以抓取。在具体操作方面，网站服务商或所有者可以在Robots协议中列明准许爬虫机器人访问的名单，其他爬虫机器人均不许访问，即白名单制度；亦可列明不准爬虫机器人访问的名单，那么其他爬虫机器人均可以访问，即黑名单制度。

2012年11月1日，在中国互联网协会的组织下，百度、360等12家搜索引擎服务企业在北京共同订立了《互联网搜索引擎服务自律公约》，其中第八条明确约定“互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。”[13]这一实践观点也在后续被北京市第一中级人民法院采纳。在“搜索引擎A诉搜索引擎B不正当竞争纠纷案”[14]中，法院在判决中指出“在被告推出搜索引擎伊始，其网站亦刊载了Robots协议的内容和设置方法，说明包括被告在内的整个互联网行业对于Robots协议都是认可和遵守的。其应当被认定为行业内的通行规则，应当被认定为搜索引擎行业内公认的、应当被遵守的商业道德。”

而在日前终于尘埃落定的hiQ案件中，也是用户协议起到了最为关键的作用。该案件程序颇为曲折，尽管先前美国最高法院决定将其发回第九巡回法院重审，但是第九巡回法院仍然做出了维持两年前原判意见的裁定。其在裁决中指出，“公共网站的一大基本特征，是其中公开可见的部分不受访问限制；换言之，这些部分将对任何拥有网络浏览器的访问者开放”。也就是说，如果将这些托管公开页面的计算机视为房屋，那么公共网站设备在部署之初就没有设置任何“前门”，自然不存在提高或降低访问门槛一说。因此，法院认定hiQ发现并抓取可在互联网上公开访问的数据并不违法。然而事情在2022年8月迎来了转机，美国加州北区的地方法院确认hiQ不再具有持续经营的业务，基于这点重大事实变化，地区法院解除了“禁止领英阻止hiQ访问”的禁令。进一步，领英声称hiQ的网络爬取行为违反了领英用户协议，尤其是hiQ在访问领英在线服务之前接受的用户协议，这些用户协议明确禁止爬取领英网站和创建虚假身份。在2022年12月6日美国加州北区地方法院的最终判决中，用户协议对裁决起到了决定性的作用。地方法院指出，自2014年5月以来，hiQ一直试图通过各种手段绕过领英的反爬技术防御，即试图模拟人类网站访问行为来避免检测，还聘请了“turkers”作为其独立承包商，通过手动查看和确认hiQ员工的身份，以登录领英获得虚假身份。地方法院最终认定，hiQ违反了领英的用户协议，因为一方面hiQ对领英网站进行了数据爬取，另一方面还通过“turkers”为其创设虚假身份登录领英。基于此，hiQ最终被要求向领英赔偿50万美元，并通过了一项永久禁令，包括禁止：在未经同意下直接或间接通过自动化方式访问或复制数据等六项禁止行为。由此可见，针对网络爬取行为进行正面制止效果的用户协议、用户行为规范等，是判定爬取行为是否违规的重要“依据”之一。

2. 抓取数据后过度或不当使用

尽管数据抓取者可能并未违反Robots协议，但抓取后的过度或不当使用仍可能被认定为不正当竞争行为。市场主体在使用所获取的他人信息时，仍然要遵循公认的商业道德，在相对合理的范围内使用。法院会结合信息获取者、信息使用者和社会公众三方的利益进行权衡，并根据“最少”“必要”的原则衡量爬取数据的使用行为是否超出必要限度，如果未经许可使用或者利用他人劳动成果将可能被认定为“搭便车”和“不劳而获”。例如，在“某点评诉某地图软件不正当竞争纠纷案”[15]中，被告的每个商户展示页面中可显示5条来自原告的用户评论信息，用户无需跳转至原告平台即可阅读相关评论。虽然双方已确认被告的搜索行为并未违反原告的Robots规则，但法院认为，消费者在被告软件中阅读用户评论信息后，已经无需再跳转至原告平台阅读更多的信息，这已经对原告构成实质性替代，使原告的利益受到损害。同时，原告对涉案信息的获取付出了巨大的劳动，具有可获得法律保护的权益。被告未经原告许可大量使用原告的信息，本质上属于“未经许可使用他人劳动成果”。被告对数据的使用已超过必要的限度，违反公认的商业道德，构成不正当竞争。

3. 未充分保护消费者权益

在“某平台与某社交软件不正当竞争纠纷案”[16]中，一审法院强调，《反法》的宗旨在鼓励和保护公平竞争的同时，应同时保护经营者和消费者的合法权益。包括社交应用软件在内的各类互联网产品或服务之所以能迅速产生广泛影响力、形成巨大的经营规模并吸引大量投资，其中重要的原因就是网络平台能高效集聚大量用户，使“注意力经济”能最大限度地发挥成效。这些用户在网络平台中的现实存在都体现为他的各类身份标签等信息，如名字、昵称、头像、性别、地域、职业、毕业学校、喜好，甚至感想见闻等。这些用户信息来源于用户的自行提交、好友评价或平台的主动收集，不仅体现了互联网经营者重大的竞争利益，能够成为为经营者提供经济利益的来源，但更是消费者个人合法权益的重要组成部分。用户有权在充分表达自由意志的情况下选择是否向他人提供自己的信息，也有权充分了解他人使用自己信息的方式、范围，并对不合理的用户信息使用行为予以拒绝。因此，当互联网经营者从其他经营者处获取用户信息时，应尊重用户的意愿，在取得用户的许可后正当使用用户信息。尽管互联网应用软件经营者尽可能吸引、扩大用户群数量的主观意愿是正当的，但不能以侵害用户知情权的方式非法抓取、使用竞争对手的用户信息。

该案二审法院强调，在判断商业交易中的“诚信”时，需要综合考虑经营者、消费者和社会公众的不同利益，不正当性不仅仅只是针对竞争者，不当地侵犯消费者利益或者侵害了公众利益的行为都有可能被认定为行为不正当。在具体案件中认定不正当竞争行为，要从诚实信用标准出发，综合考虑涉案行为对竞争者、消费者和社会公众的影响。鉴于此，法院在司法实践中确立了“用户授权+平台授权+用户授权”的“三重授权原则”，具体而言，即是说，开放平台方直接收集、使用用户数据需获得用户授权，第三方开发者通过开放平台Open API接口间接获得用户数据，需获得用户授权和平台方授权。

事实上，三重授权原则的本质在于用户的个人信息保护，用户有权选择是否向他人提供自己的信息。未经用户同意爬取个人信息，如果爬取的个人信息是未经用户主动公开的个人信息，那么必将受到《个人信息保护法》的规制，但同时不管个人信息是否被公开，均有可能侵犯用户的知情权从而构成不正当竞争行为。比如说，有些网站爬取知名企业家在网络上的公开介绍信息或演讲材料，并通过搭建查询/搜索服务以帮助客户提供商机。如果企业家并不知情其介绍或者发言被未经许可的情况下发布并传播，从而会被认定为违反诚信原则和商业道德；同时，此类行为的后续使用还可能涉嫌对被爬取网络所整理材料的“搭便车”，构成不正当竞争的风险。倘若在所抓取的内容构成作品的情况下，该等行为有可能侵犯著作权人的复制权。如果进一步传播这些被抓取的作品，或提供存储、接入等技术服务支持，使其可为公众所访问，则还可能构成对著作权人信息网络传播权的侵犯。因此，结合抓取对象和抓取方式，三重授权原则充分体现出数据分享过程中对于用户合法权益的充分保护，从而保障数据获取与利用相关行为的合法性与正当性。

4. 妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行

现行《反法》的十二条将“妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行”列为不正当竞争的典型行为之一，因此这种行为本身就具有违法性。最高法院在《反法司法解释草案》第二十六条中也肯定了当经营者违背诚实信用原则和商业道德，擅自使用其他经营者的数据时，人民法院可以依照该条项予以认定。虽然《反法草案》在《反法》第十二条的基础上扩充了两项涉嫌不正当竞争的技术手段，但并未影响该条款对于爬虫案件的适用。根据《反法草案》第十六条规定，“经营者不得利用技术手段，实施下列流量劫持、不当干扰、恶意不兼容等行为，影响用户选择，妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行：（六）其他妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为。”因此，在目标网站已采取了一定的反爬措施，而强行突破网站运营者采取的反爬虫技术措施，并客观导致被抓取数据网站的正常运行，则极有可能也会构成上述规定所规制的不正当竞争行为。

该条中的“妨碍、破坏”主要体现在爬虫技术的使用者破坏了被爬取方设置的技术保护措施，以及该爬虫行为对原告产品或服务的正常运行造成远超正常用户访问的负担。《网络数据安全管理条例（征求意见稿）》第十七条进一步要求“数据处理者在采用自动化工具访问、收集数据时，应当评估对网络服务的性能、功能带来的影响，不得干扰网络服务的正常功能。”在“某计算机系统公司与杭州某科技公司不正当竞争纠纷案”[17]中，杭州市铁路运输法院也从上述两个方面对案件进行了审理。该案中，被告使用技术手段突破了原产品的“IP访问限制”和封禁措施，操控75个账号使用“拟人程序”爬虫工具，将网络请求操作分发不同云服务器，获取“用户登录”权限后以云服务器群登录抓取。并且被告在官网上展示以及通过API接口方式批量提供爬取的数据，使得原本仅限于原告用户在平台内需要登录、关注后才能访问的内容，其他网络用户只需登录被告官网即可获取，因此这种行为破坏了原告产品访问登录服务的运行。而在此期间，被告的抓取行为增加了原告产品运行的数据量和数据流，加重了原告服务器的负荷，构成对原告服务正常运行的妨碍。因此法院认定，被告违背诚实信用原则，擅自使用其他经营者具有商业价值的数据，也损害公平竞争的市场秩序，构成不正当竞争。

（五）与侵犯商业秘密条款的竞合

《反法》第九条规定，商业秘密是指“不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。”若爬虫技术使用者有意规避或破坏技术保护措施，获取他人采取保密措施的技术信息和经营信息等，则还可能构成侵犯权利人商业秘密的不正当竞争行为。

《反法》列举的保护对象主要是技术信息和经营信息两类。《最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定》第一条明确了这两类信息的概念。其中技术信息指“与技术有关的结构、原料、组分、配方、材料、样品、样式、植物新品种繁殖材料、工艺、方法或其步骤、算法、数据、计算机程序及其有关文档等信息”；“经营信息”指“与经营活动有关的创意、管理、销售、财务、计划、样本、招投标材料、客户信息（包括客户的名称、地址、联系方式以及交易习惯、意向、内容等信息）、数据等信息”。

此外，《最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定》要求权利人请求保护的“商业信息”不仅需要在侵权行为发生时“不为所属领域的相关人员普遍知悉和容易获得的”，还需要“权利人采取相应保密措施”。其中保密措施应和商业秘密及其载体的性质、商业秘密的商业价值相关联，法院在裁判时也要考察保密措施的可识别程度、保密措施与商业秘密的对应程度以及权利人的保密意愿等因素。例如，在“某互联网络信息中心与某人力资源公司不正当竞争纠纷案”[18]中，法院认为原告主张被爬虫技术抓取的联系表中包括员工姓名、电子邮箱等通讯信息，一般供用户对外联络使用，且公司保密管理规定未将该信息纳入保密范围，也未有证据证明原告在经营过程中采取了保密措施，因此该等通讯信息不属于商业秘密。

从上述关于商业秘密的概念中，不难发现商业秘密和商业数据既存在相似点，也存在区别。二者的相似点在于，其一，从客观条件看，两者都需要有“商业价值”，包括资产价值和竞争价值。二者的区别在于，首先，客体各有侧重。商业数据本质上是一种数据，根据《数据安全法》第三条的规定，数据“是指任何以电子或者其他方式对信息的记录”。易言之，商业数据强调的是对信息的“记录”，载体既可以是电子形式，也可以是其他非电子形式（例如纸质）。而商业秘密本质上强调的是信息本身，但通过需要通过依托于相关载体进行留存和记录。其次，商业秘密不可以被公众所知悉，这就排除了公共信息，要求信息处于未公开状态。而商业数据则没有这样的要求，在很多情况下，被流通或被公众知悉的数据反而更具有商业价值。基于上述分析，如果商业数据被经营者采取保密措施，并且不为公众所知悉，则也可能属于商业秘密的范畴，进而二者存在竞合关系。但有些情况下，商业秘密因其强调的是信息本身，也不会落入商业数据的范畴，例如口口相传的“祖传秘方”。

当爬取对象被同时认定为商业秘密和商业数据时，在责任承担形式上，是否可能被加重处罚，或者是否权利人只能择一选择诉请，这些问题还有待未来正式稿出台和实践做法进一步明晰。值得补充的是，若侵犯了权利人的商业秘密，爬虫技术使用者还可能承担刑罚责任。《刑法》第二百九十一条规定，有下列侵犯商业秘密行为之一，给商业秘密的权利人造成重大损失的，处三年以下有期徒刑或者拘役，并处或者单处罚金；造成特别严重后果的，处三年以上七年以下有期徒刑，并处罚金：（一）以盗窃、利诱、胁迫或者其他不正当手段获取权利人的商业秘密的；（二）披露、使用或者允许他人使用以前项手段获取的权利人的商业秘密的；（三）违反约定或者违反权利人有关保守商业秘密的要求，披露、使用或者允许他人使用其所掌握的商业秘密的。明知或者应知前款所列行为，获取、使用或者披露他人的商业秘密的，以侵犯商业秘密论。

三、法律责任与处罚后果

根据《反法草案》第二十七条，经营者违反本法规定，给他人造成损害的，应当依法承担民事责任。因不正当竞争行为受到损害的经营者的赔偿数额，按照其因被侵权所受到的实际损失确定；实际损失难以计算的，按照侵权人因侵权所获得的利益确定。并且《反法草案》第二十七条扩大了惩罚性赔偿的适用范围，受损害的经营者可以请求实际损失或侵权所获利益的一倍以上五倍以下的赔偿数额。

关于赔偿数额，司法实践中存在相关案例以供参考。“某点评平台诉某地图软件不正当竞争纠纷案”[19]中，被告因不合理使用原告的用户点评内容被认定为不正当竞争，两审法院都判决被告赔偿原告经济损失300万元及合理费用23万元；而在“某平台与某社交软件不正当竞争纠纷案”[20]中，被告超越合同权限抓取并使用原告的用户信息构成不正当竞争行为，法院最终判决被告赔偿原告经济损失200万元及合理费用20万元。

对于数据抓取类不正当竞争行为的行政责任而言，本次《反法草案》采取了三档处罚量级，相较于现行《反法》提高了处罚数额：（1）对于一般违法行为，处十万元以上一百万元以下的罚款；（2）情节严重的，处一百万元以上五百万元以下的罚款；（3）而情节特别严重，性质特别恶劣，如严重损害公平竞争秩序或者社会公共利益的，则处上一年度销售额百分之一以上百分之五以下的罚款。同时，如果“经营者的法定代表人、主要负责人和直接责任人员对不正当竞争行为负有个人责任”，那么他们也会面临十万元以上一百万元以下的罚款。

四、小结

在数字化飞速发展的当下，数据的收集是创造价值的基础。网络爬虫技术，作为目前较为成熟的自动化数据抓取工具，在生产经营中将会发挥越来越重要的作用，也将与个人生活产生更紧密的关系。《反法草案》的颁布再次将以网络爬虫技术为主的数据抓取行为放到了监管的聚光灯下。经过多年司法实践的经验积累，我国已经逐渐形成了一套较为完整的针对数据抓取类不正当竞争行为的规制路径。本次《反法草案》的修订有创新和亮点，例如明确了保护对象是“商业数据”，但更多的是对过往司法和立法上探索的总结。如果《反法草案》顺利通过，现有的司法案例和理论研究依旧能给新规则的适用提供指导。

与此同时，网络爬虫和数据抓取行为并非只是不正当竞争领域的问题，当对数据的收集和使用已深刻影响了其他生产生活领域时，网络爬虫技术也往往会牵涉到网络安全、个人信息保护、商业秘密保护甚至知识产权保护等其他法律问题。因此，经营者在使用网络爬虫技术时，需要采取更宽广的视角，注意各部门法之间的联动和关系，全盘审视该技术的合理使用边界。

附录：

网络爬虫技术的其他法律责任

注释：