六人利用 AI“越狱”生成淫秽物品最终获刑，法官提醒“技术中立≠技术无罪”

IT之家 9 月 8 日消息，中央广播电视总台中国之声今天（8 日）报道称，曾是某游戏公司程序员的郑某组建研发团队，通过改写系统提示词实现 AI 模型“越狱”、设定角色卡诱导对话场景等方式，为用户输出淫秽内容提供技术条件。近日，浙江省余姚市人民法院审结这起利用生成式 AI 制作淫秽物品牟利案，认定郑某等人构成制作淫秽物品牟利罪。

被告人郑某曾是国内一家游戏大厂的员工，在 AI 领域有一定影响力，也曾赴国外进行深造，2024 年 7 月，他接触到境外一款 AI 色聊机器人后，萌生了开发同类软件非法牟利的想法。

在产生这一想法后，郑某邀请同事谢某及在网上认识的严某等 6 人组建研发团队，经过调试后，团队研发的生成式 AI 模型于 2025 年 1 月在境外平台上线，并接入了“第四方支付”、虚拟币等多种渠道向用户收取费用。

郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。用户在充值付费后，就可以在这个模型中选择角色卡和 AI 机器人进行色情聊天，这些聊天内容还可以通过消耗积分来生成淫秽的静态或者动态图片。

2025 年 7 月，公安民警在发现违法犯罪线索后进行立案侦查。历时两个月，将郑某等六名被告人全部抓获归案。

根据浙江省余姚市人民法院刑事审判庭法官助理孙钰萍介绍，该 AI 模型运营期间生成了静态图片超 37 万张，动态图片超 6000 张，用户充值金额达 24000 美元，折合成人民币约 17 万元。经鉴定，在随机抽取的 12500 张静态图片和全量动态图片中有 9000 多张静态图片，5000 多张动态图片被认定为淫秽物品。

浙江省余姚市人民法院刑事审判庭法官诸张琳指出，目前的生成式 AI 模型本身都自带内容安全过滤功能，主要是为了拦截各类不良违法信息，它本身不是犯罪的工具。

但在这起案件中，被告人郑某等 6 人使用提示词工程，通过反复编写修改系统提示词、设置角色卡、搭建对话场景等方法，突破了 AI 模型原有的伦理和安全防护限制，让用户在使用时能自动生成各类淫秽内容，把 AI 模型从一种通用工具训练成了一款专门输出淫秽物品的犯罪工具。

诸张琳提醒，“技术中立”从来不是违法犯罪的挡箭牌，我们不能以内容由 AI 生成，就否定了开发者的“制作者”身份。开发者主动篡改模型的安全机制，搭建便于产出淫秽内容的技术环境，对违法内容的生成具备实质性的控制力。虽然这个内容是应用户要求生成的，但开发者仍属于刑法意义上淫秽物品的“制作者”，应当承担相应的刑事责任。

IT之家注：依据 9 月 7 日发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》要求，利用深度伪造等技术进行诈骗、侮辱、诽谤、侵犯公民个人信息、制作、贩卖、传播淫秽物品的行为构成犯罪的，坚决依法严惩，追究刑事责任。