AI聊天机器人正成为青少年的情感依赖,却引发了令人担忧的安全问题。最近,Character.AI平台因涉及青少年自杀事件,宣布自11月25日起,全面禁止18岁以下用户进行开放式AI对话。这一举措虽可能流失年轻用户,但被视为行业安全转型的关键。

战略转型:从情感陪伴到创意工具

Character.AI的CEO Karandeep Anand表示,开放式AI对话模式存在风险。这种设计让AI像“朋友”一样互动,容易误导青少年。因此,公司正转向“AI驱动的创意娱乐平台”。

青少年未来仍可使用平台,但仅限于结构化功能:编写故事、生成图像、制作视频或参与预设剧情。新功能如AvatarFX和Community Feed将成为吸引点。

严格验证机制防止绕过

为执行禁令,平台将逐步限制对话时间,从每日2小时减至零。同时,采用多层年龄验证:

  • 行为分析与第三方工具检测;
  • 必要时使用人脸识别和身份证核验;
  • 违规账户将被强制切换到创作模式。

这一行动响应了加州新法规和联邦提案,平台试图在监管前主动调整,以掌握主动权。

用户流失不可避免,CEO强调家庭责任

Anand承认,此举将导致青少年用户减少。但他以父亲身份表示:“我有一个6岁女儿,我希望她在一个安全的AI环境中成长。”此前,平台已通过家长监控等措施减少未成年用户。

相比之下,OpenAI等公司仍允许青少年与AI自由对话,并发生过类似悲剧。Anand呼吁全行业跟进,避免无约束对话成为标准。

成立安全实验室,聚焦娱乐AI

为加强安全,Character.AI将成立独立的AI Safety Lab,专注于娱乐场景的AI对齐研究。Anand指出,行业在娱乐AI安全上投入不足,而这正是青少年最常接触的领域。

这场转型源于悲剧,不仅关乎平台生存,更可能重塑AI应用发展。当技术触及情感需求,责任必须优先于创新。青少年与AI的关系,应从倾诉转向合作创作。