MikeCaptain

背景

近日一条通知引起了 AI 圈子的广泛关注《国家互联网信息办公室关于〈生成式人工智能服务管理办法（征求意见稿）〉公开征求意见的通知》，网络上有一些解读，但是我发现都忽视了一点，就是在 2022 年 11 月 25 日，就在 ChatGPT 要横空出世前不到一周，国家网信办就发布过一则《互联网信息服务深度合成管理规定》（以下简称为《202211 规定》），原文链接：http://www.cac.gov.cn/2022-12/11/c_1672221949354811.htm。这两次内容之间的对比，能让我们显著看到网信办在过去小半年的时间里，对哪些方面做了深入研究、推演，整体政策出发点、基调发生了什么变化，因此而释放了什么信号。

在 AI 圈外人看来，去年发布的《202211 规定》刚好在 ChatGPT 发布并爆火之前，难道国家网信办具有未卜先知的能力？其实在 AI 圈内人看来，这个规定来得并不是「提前」，应该说是「及时」，因为 2022 年上半年开始 CV 领域因为 Stable Diffusion 开源后已经涌现大量「文生图 AI 产品」了，此时已经有大量风险内容出现。而更早，2019 年的 GPT-2 问世、2020 你那 GPT-3 问世，都掀起了虚假新闻的一些波澜，尤其是在西方世界。可能因为其中文生成能力还相对一般，没有引起更大的注意。但是 2022 年除了 CV 领域的生成式 AI 浪潮开始掀起，还有年初 OpenAI 在 InstructGPT 上的显著性能突破其实已经预示文生文的爆发已经开始（并且 OpenAI 自称其 InstructGPT 能力已经早就迭代到了其 API beta 版中在应用层释放能量了）。

这样在 2022 年 11 月迎来国家互联网信息办公室、中华人民共和国工业和信息化部、中华人民共和国公安部联合发布的第 12 号令，说明相关监管机构的公职人员对于新技术的脉搏把控其实还是比较及时的。

但是彼时船长的一篇博客解读（链接 http://www.mikecaptain.com/2023/02/06/cac-generative-information/）中就可以看出，整体监管基调还是偏保守多一些，尤其是多方开发、分发、使用等各联路的角色都要落实较为严格的主体责任，其实是不利于此阶段中美民营企业军备竞赛般的前沿技术角力的。

因此本次 2023 年 04 月 11 日国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（原文链接 http://www.cac.gov.cn/2023-04/11/c_1682854275475410.htm）（以下简称为《202304 办法》），整体可以看到从「强调自律」明显导向到「鼓励创新」。

以下船长为大家聚焦 10 点变化，务必引起重视：

1. 从「鼓励加强自律」到「鼓励创新、推广、合作」。
2. 监管领域更聚焦，从包括 VR/AR 在内的深度合成，到生成式 AI。
3. 智能生产力工具，不同于传统生产力工具 —— 工具本身不再无罪。
4. 责任主体聚焦，不再全链路泛化。
5. 强调内容真实准确。
6. 训练数据不仅要数据本身合规，还要来源合法。
7. 防范过度依赖或沉迷。
8. 个人隐私保护问题。
9. 明确整改时限。
10. 处罚不是目的，鼓励发展才是目的。

麦克船长解读

1、从「鼓励加强自律」到「鼓励创新、推广、合作」：《202304 办法》明确表示对 Gen-AI 行业的态度是「支持」。具体地，国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作。而《202211 规定》中仅是「鼓励相关行业组织加强行业自律」，整体释放正向信号。

2、监管领域更聚焦，从包括 VR/AR 在内的深度合成，到生成式 AI：与《国家互联网信息办公室、中华人民共和国工业和信息化部、中华人民共和国公安部 令 第12号》（以下称 12 号令）发布的《互联网信息服务深度合成管理规定》（以下称《202211 规定》）相比，本次《生成式人工智能服务管理办法（征求意见稿）》（以下称《202304 办法》）更聚焦到「生成式人工智能（Gen-AI）」领域，而《202211 规定》所描述的情况则还覆盖了虚拟现实（Virtual Reality）、增强现实（Augmented Reality）。具体地，《202211 规定》提到的是文本、图像、音频、视频、数字人物、虚拟场景，而《管理办法》提到的是文本、图片、声音、视频、代码。

3、智能生产力工具，不同于传统生产力工具 —— 工具本身不再无罪：《202211 规定》中只是提到「提供者」落实「主体责任」责任，但是在《202304 办法》中明确「提供者承担」「生成内容生产者的责任」。所以在「生成式 AI」领域，在该《202304 办法》规定下，是不存在「工具无罪论」的，因为 AI 生成内容的「智能生产」本身已经带有目的性了，不同于「传统生产」模式下的生产力工具 —— 智能也是有善恶的，需要在源头管控。

4、责任主体聚焦，不再全链路泛化：在《202211 规定》中提到的应用分发平台也要落实主体责任的一条：

互联网应用商店等应用程序分发平台应当落实上架审核、日常管理、应急处置等安全管理责任，核验深度合成类应用程序的安全评估、备案等情况；对违反国家有关规定的，应当及时采取不予上架、警示、暂停服务或者下架等处置措施。

在《202304 办法》中没有再提到。船长在个人博客文章（https://www.mikecaptain.com/2023/02/06/cac-generative-information/）中围绕原《202211 规定》的解读中，尤其围绕这一点。这里船长再多说一下，如果分发平台都要有监管责任，那么整体上会让分发平台的政策趋于保守，这是不利于「生成式 AI 应用」初期发展的。从本次《202304 办法》来看，主要责任都集中于提供者，弱化对于分发、使用等角色的严控管理，其实是有如下两点考虑：

• 提供者往往是一些有 AI 研发能力、高算力承担能力的，所以通常也是实力较强的公司（哪怕是创业公司也不会是草根小创业者），以主抓提供者责任来说，是合理的。
• 对分发、应用的各方，尽量不要过度监管，才有利于下游繁荣，进而刺激提供者优化服务以提供安全/健康/合规的生成内容，从而形成生成式 AI 的应用生态正循环。应用生态繁荣，才会带来各家代表中国最顶尖 AI 实力的公司与世界其他 AI 强国进行抗衡的商业基础。

5、强调内容真实准确：《202304 办法》中明确提到「利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息」，这一点在《202211 规定》中并未明确提出对「真实准确」相类似的要求。这里就涉及到不同内容类型的「准确率」的问题了，毕竟人类生成内容也是没有做到 100% 准确的，甚至网络上也充斥了大量错误的内容。

6、训练数据不仅要数据本身合规，还要来源合法：在《202211 规定》中提到「提供者」需对「输入数据进行审核」，而在《202304 办法》中则明确「提供者」需对「数据来源的合法性负责」，这一点的要求是比此前更高了，不是审核没问题就可以，还要来源合法。

7、防范过度依赖或沉迷：相比《202211 规定》，《202304 办法》中首次提到了「防范用户过分依赖或沉迷生成内容」，那么对于未来 AI 提供的服务如何界定依赖、沉迷其实都是个疑问。毕竟这不同于游戏，举例来说如果 AI 显著帮助用户完成很多事情，那么怎样算「过度依赖」呢？我认为这里还是聚焦于成瘾性娱乐/游戏更好，毕竟人类现在都「过度依赖」电能服务了，未来「过度依赖」智能服务是必然发生的。

8、个人隐私保护问题：《202304 办法》中明确指出提供者：1）对用户的输入信息和使用记录承担保护义务；2）不得非法留存能够推断出用户身份的输入信息；3）不得根据用户输入信息和使用情况进行画像；4）不得向他人提供用户输入信息。

我觉得前两条都没问题。但是对于「不得根据用户输入信息和使用情况进行画像」：这里船长认为应该加上「未经用户许可的情况下」，而且要把分别罗列几条许可，并且其中部分许可被用户勾选「不允许」的情况下仍然可以提供服务。比如「征询用户是否允许对其进行画像」、「征询用户是否可以进行个性化内容生成」、「征询用户是否使用其个人隐私信息影响内容生成结果」等等。并且要明确个人隐私信息包括哪些，并不是所有输入内容眉毛胡子一把抓都是个人隐私信息，那么姓名、证件号码、地址、婚姻状况、资产信息等等需要被明确出来。

对于「不得向他人提供用户输入信息」这一点也不能一刀切，比如 ChatGPT 推出的 Plugin 模式，如果在服务过程中点外卖、购买商品，送货地址、电话等信息总是要通过 API 传递给下游应用的。

9、明确整改时限：其中第十五条很有意思：

对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在 3 个月内通过模型优化训练等方式防止再次生成。

这里提到了一个「3 个月」，其实是基本考虑了大模型重新训练的时间成本以及其他更新、上线、公告、发布等各类问题的时间，是比较了解技术流程和现状后的设定。

10、处罚不是目的，鼓励发展才是目的：相比《202211 规定》，在《202304 办法》第二十一条中可以看出，对于生成式 AI 可能会带来的风险仍然保有未知的可能，所以指出：

法律、行政法规没有规定的，由网信部门和有关主管部门依据职责给予警告、通报批评，责令限期改正；拒不改正或者情节严重的，责令暂停或者终止其利用生成式人工智能提供服务，并处一万元以上十万元以下罚款。

这里可以看到，监管部门认为那些因生成式 AI 的独特性而产生的风险（也就是过往法律法规覆盖不到的部分），对于其中轻微情节的，整改措施没有要求暂停或终止，也没有罚款，只是警告、批评；对于情节严重的，其处罚金额上限也不高，整体上还是以鼓励发展为主基调的。

以上就是船长跟大家探讨的核心十点变化解读，欢迎大家与我共同探讨。

以下再附上两次的文件全部内容。

（正文完）

附录

1、2023 年 4 月 11 日发布的《生成式人工智能服务管理办法（征求意见稿）》

第一条 为促进生成式人工智能健康发展和规范应用，根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规，制定本办法。

第二条 研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的，适用本办法。

本办法所称生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。

第三条 国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。

第四条 提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，符合以下要求：

（一）利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。

（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。

（三）尊重知识产权、商业道德，不得利用算法、数据、平台等优势实施不公平竞争。

（四）利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。

（五）尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。

第五条 利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（以下称“提供者”），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。

第六条 利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

第七条 提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。

用于生成式人工智能产品的预训练、优化训练数据，应满足以下要求：

（一）符合《中华人民共和国网络安全法》等法律法规的要求；

（二）不含有侵犯知识产权的内容；

（三）数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形；

（四）能够保证数据的真实性、准确性、客观性、多样性；

（五）国家网信部门关于生成式人工智能服务的其他监管要求。

第八条 生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。

第九条 提供生成式人工智能服务应当按照《中华人民共和国网络安全法》规定，要求用户提供真实身份信息。

第十条 提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。

第十一条 提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。法律法规另有规定的，从其规定。

第十二条 提供者不得根据用户的种族、国别、性别等进行带有歧视性的内容生成。

第十三条 提供者应当建立用户投诉接收处理机制，及时处置个人关于更正、删除、屏蔽其个人信息的请求；发现、知悉生成的文本、图片、声音、视频等侵害他人肖像权、名誉权、个人隐私、商业秘密，或者不符合本办法要求时，应当采取措施，停止生成，防止危害持续。

第十四条 提供者应当在生命周期内，提供安全、稳健、持续的服务，保障用户正常使用。

第十五条 对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。

第十六条 提供者应当按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识。

第十七条 提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。

第十八条 提供者应当指导用户科学认识和理性使用生成式人工智能生成的内容，不利用生成内容损害他人形象、名誉以及其他合法权益，不进行商业炒作、不正当营销。

用户发现生成内容不符合本办法要求时，有权向网信部门或者有关主管部门举报。

第十九条 提供者发现用户利用生成式人工智能产品过程中违反法律法规，违背商业道德、社会公德行为时，包括从事网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件，实施不正当的商业营销等，应当暂停或者终止服务。

第二十条 提供者违反本办法规定的，由网信部门和有关主管部门按照《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规的规定予以处罚。

法律、行政法规没有规定的，由网信部门和有关主管部门依据职责给予警告、通报批评，责令限期改正；拒不改正或者情节严重的，责令暂停或者终止其利用生成式人工智能提供服务，并处一万元以上十万元以下罚款。构成违反治安管理行为的，依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。

第二十一条 本办法自 2023 年 月 日起实施。

2、2022 年 12 月 25 日发布的《互联网信息服务深度合成管理规定》

第一章 总则

第一条 为了加强互联网信息服务深度合成管理，弘扬社会主义核心价值观，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，根据《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》等法律、行政法规，制定本规定。

第二条 在中华人民共和国境内应用深度合成技术提供互联网信息服务（以下简称深度合成服务），适用本规定。法律、行政法规另有规定的，依照其规定。

第三条 国家网信部门负责统筹协调全国深度合成服务的治理和相关监督管理工作。国务院电信主管部门、公安部门依据各自职责负责深度合成服务的监督管理工作。

地方网信部门负责统筹协调本行政区域内的深度合成服务的治理和相关监督管理工作。地方电信主管部门、公安部门依据各自职责负责本行政区域内的深度合成服务的监督管理工作。

第四条 提供深度合成服务，应当遵守法律法规，尊重社会公德和伦理道德，坚持正确政治方向、舆论导向、价值取向，促进深度合成服务向上向善。

第五条 鼓励相关行业组织加强行业自律，建立健全行业标准、行业准则和自律管理制度，督促指导深度合成服务提供者和技术支持者制定完善业务规范、依法开展业务和接受社会监督。

第二章 一般规定

第六条 任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。

深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。转载基于深度合成服务制作发布的新闻信息的，应当依法转载互联网新闻信息稿源单位发布的新闻信息>。

第七条 深度合成服务提供者应当落实信息安全主体责任，建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。

第八条 深度合成服务提供者应当制定和公开管理规则、平台公约，完善服务协议，依法依约履行管理责任，以显著方式提示深度合成服务技术支持者和使用者承担信息安全义务。

第九条 深度合成服务提供者应当基于移动电话号码、身份证件号码、统一社会信用代码或者国家网络身份认证公共服务等方式，依法对深度合成服务使用者进行真实身份信息认证，不得向未进行真实身份信息认证的深度合成服务使用者提供信息发布服务。

第十条 深度合成服务提供者应当加强深度合成内容管理，采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。

深度合成服务提供者应当建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序，记录并留存相关网络日志。

深度合成服务提供者发现违法和不良信息的，应当依法采取处置措施，保存有关记录，及时向网信部门和有关主管部门报告；对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。

第十一条 深度合成服务提供者应当建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。

第十二条 深度合成服务提供者应当设置便捷的用户申诉和公众投诉、举报入口，公布处理流程和反馈时限，及时受理、处理和反馈处理结果。

第十三条 互联网应用商店等应用程序分发平台应当落实上架审核、日常管理、应急处置等安全管理责任，核验深度合成类应用程序的安全评估、备案等情况；对违反国家有关规定的，应当及时采取不予上架、警示、暂停服务或者下架等处置措施。

第三章 数据和技术管理规范

第十四条 深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定。

深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

第十五条 深度合成服务提供者和技术支持者应当加强技术管理，定期审核、评估、验证生成合成类算法机制机理。

深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估：

（一）生成或者编辑人脸、人声等生物识别信息的；

（二）生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。

第十六条 深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。

第十七条 深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况：

（一）智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；

（二）合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；

（三）人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；

（四）沉浸式拟真场景等生成或者编辑服务；

（五）其他具有生成或者显著改变信息内容功能的服务。

深度合成服务提供者提供前款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

第十八条 任何组织和个人不得采用技术手段删除、篡改、隐匿本规定第十六条和第十七条规定的深度合成标识。

第四章 监督检查与法律责任

第十九条 具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。

深度合成服务技术支持者应当参照前款规定履行备案和变更、注销备案手续。

完成备案的深度合成服务提供者和技术支持者应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。

第二十条 深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，应当按照国家有关规定开展安全评估。

第二十一条 网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查。深度合成服务提供者和技术支持者应当依法予以配合，并提供必要的技术、数据等支持和协助。

网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的，可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施，进行整改，消除隐患。

第二十二条 深度合成服务提供者和技术支持者违反本规定的，依照有关法律、行政法规的规定处罚；造成严重后果的，依法从重处罚。

构成违反治安管理行为的，由公安机关依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。

第五章 附则

第二十三条 本规定中下列用语的含义：

深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，包括但不限于：

（一）篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术；

（二）文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术；

（三）音乐生成、场景声编辑等生成或者编辑非语音内容的技术；

（四）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术；

（五）图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术；

（六）三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术。

深度合成服务提供者，是指提供深度合成服务的组织、个人。

深度合成服务技术支持者，是指为深度合成服务提供技术支持的组织、个人。

深度合成服务使用者，是指使用深度合成服务制作、复制、发布、传播信息的组织、个人。

训练数据，是指被用于训练机器学习模型的标注或者基准数据集。

沉浸式拟真场景，是指应用深度合成技术生成或者编辑的、可供参与者体验或者互动的、具有高度真实感的虚拟场景。

第二十四条 深度合成服务提供者和技术支持者从事网络出版服务、网络文化活动和网络视听节目服务的，应当同时符合新闻出版、文化和旅游、广播电视主管部门的规定。

第二十五条 本规定自2023年1月10日起施行。