“如果生成内容有误,我将赔偿您10万元!”全国首例AI幻觉案的法律分析
一、案件回顾
2025年6月,梁某使用AI平台查询高校报考信息时,遭遇AI幻觉,AI生成错误校区信息并承诺内容有误赔偿10万元。梁某起诉要求AI研发公司赔偿9999元,杭州互联网法院一审驳回其诉讼请求,明确AI承诺不构成平台意思表示,厘清了AI服务提供者的注意义务边界,目前该判决已生效。
二、法律角度分析
(一)AI不能独立作出意思表示,其“承诺”无法律效力
法院明确,人工智能不具有民事主体资格,无法独立作出意思表示,也不能作为平台意思表示的传达人、代理人或代表人。案涉AI自行生成的10万元赔偿承诺,并非平台设定或传达的意思,且无证据表明平台愿受AI生成内容约束,社会观念也不足以让用户对该随机承诺产生合理信赖,故该承诺不具有法律约束力。
(二)AI侵权适用一般过错责任原则,而非无过错责任原则
法院认定,生成式AI服务属于《生成式人工智能服务管理暂行办法》中的“服务”,而非产品质量法意义上的“产品”,应适用《民法典》第一千一百六十五条第一款的一般过错责任原则。
核心考量有四点:一是AI服务缺乏具体特定用途和可行质检标准;二是其生成信息通常不具备高度危险性;三是服务提供者难以完全预见和控制AI生成内容;四是适用无过错责任会加重提供者负担,限制AI产业发展,兼顾创新与权益保护的平衡。
(三)AI服务提供者已尽合理注意义务,不构成侵权
侵权认定需满足行为违法、主观过错、损害结果、因果关系四个要件,本案中均未达成:
1. 行为层面:梁某主张的是纯粹经济利益受损,而非绝对权侵害,不能仅以权益受损认定行为违法,需判断提供者是否违反注意义务;
2. 过错层面:法院明确AI服务提供者负有三层注意义务(严控违法信息、显著提示AI局限性、采取技术提升准确性),本案中提供者已在显著位置提示功能局限,且采用检索增强生成等技术提升准确性,已尽合理注意义务,无主观过错;
3. 损害与因果关系层面:梁某未能提供证据证明其因AI错误信息错失报考机会或产生额外成本,无法认定损害存在;同时,该错误信息未实质性影响其报考决策,二者无因果关系。综上,平台不构成侵权,法院驳回诉讼请求具有充分法律依据。
(四)判决的法律意义
该案作为全国首例AI幻觉侵权案,首次明确了AI生成内容的法律性质、服务提供者的责任边界,为后续类似纠纷提供了裁判指引,既划清AI生成内容的红线底线,也为AI产业健康发展提供了法治保障,同时提醒公众理性认知AI局限性,审慎对待其生成内容。
杜婧靖律师