提示词安全

据报道，因大量用户在“AlienChat”App与AI智能体进行涉黄对话，主要开发与运营者被追究刑责。上海徐汇区法院于2025年9月一审认定两被告构成制作淫秽物品牟利罪，分别判刑四年、一年半，被称为国内首起AI服务提供者涉黄获刑案件。两人不服上诉，二审将于1月14日在上海市第一中级人民法院开庭。判决书称其通过编写、修改系统提示词突破大模型道德限制，使模型可连续输出淫秽内容；该App注册用户11.6万、付费2.4万，涉会员充值约363万元，并于2024年突然停服。