【ＡＩ】內地首宗AI陪聊App涉黃案二審未宣判，開發者及營運者一審判囚4年及1年6個月

　　《經濟通通訊社15日專訊》備受關注的內地首宗AI智能體「涉黃」案，昨日在上海市第一中級人民法院開庭二審。兩名被告--軟件開發者及營運者去年9月被法院以「製作淫穢物品牟利罪」，分別判囚四年及一年六個月後提出上訴。據內媒引述辯護律師透露，二審未當庭宣判，庭審中也未進行辯論環節，法院將擇期再次開庭。

*通過編寫系統提示詞，讓AI大模型向用戶輸出淫穢內容*

　　 案情指，兩名被告王利、李成（化名）自2023年5月起，以公司名義創建一款名為AlienChat的軟件（下稱「AC軟件」），違規接入境外大語言模型，向用戶提供「聊天陪伴」服務，並分別在網頁端、蘋果端和安卓端上架運營。用戶在AC軟件註冊後，可自行創建虛擬角色或者使用他人創建並公開的虛擬角色，通過軟件與大語言模型聊天。

　　在AC軟件運營期間，王利、李成等人為了吸引用戶，通過編寫系統提示詞(System Prompt)突破大語言模型的道德限制，讓模型向用戶輸出淫穢內容，並且通過設定熱門角色榜單和作者獎勵機制，進一步擴大淫穢內容的傳播。直至2024年4月因被用戶舉報而停止服務，AC軟件手機註冊用戶達11.6萬人，其中付費用戶2.4萬人，共收取會員充值費363萬餘元人民幣。

　　上海市徐匯區人民法院的一審判決指出，AC軟件產生了「大量具體描繪性行為或露骨宣揚色情的內容」，屬於淫穢物品。經公安機關抽樣鑑定，150個收費用戶的12495段聊天中，有141個用戶的3618段屬於淫穢物品。

　　案件掀起了不少爭議，爭議點主要在於：一是用戶「聊黃」，為何App開發者和運營會被追究刑責；二是與AI對話只有參與聊天的會員能夠看到，不傳播是否就不會造成社會危害；三是AI服務如果不是人為故意涉黃，以模型缺陷為由是否可以免責。

*辯護律師：修改提示詞是為了讓AI更擬人化、更靈動*

　　辯護律師認為，王利的本意不是開發黃色聊天工具，修改提示詞(Prompt)是希望把大模型調整得更擬人化、更靈動，滿足用戶的情感陪伴需求；用戶和AI一對一的聊天內容是封閉的，沒有傳播出去，聊天內容是AI和用戶互動產生的，不能認定為是App開發者製作和傳播了聊天內容。

　　法院則認為，AC軟件是專門為持續生成淫穢色情內容而設計和「優化」的，AC軟件向用戶輸出的聊天內容是高度可控且可預測的，王利等人對於輸出內容具有實質性控制能力。法院同時認同，案中的色情聊天內容不具備流通環節和可流通物，不具有典型的「傳播」性。不過，法院指出，AC軟件產生了「大量具體描繪性行為或露骨宣揚色情的內容」，屬於淫穢物品。鑑於對「淫穢物品的數量、會員人數、收費金額」等因素綜合評估，法院認為王利、李成的行為具有嚴重的社會危害性，應依法追究刑事責任。

　　2023年8月15日起施行的《生成式人工智能服務管理暫行辦法》規定，生成式人工智能服務提供者應當依法承擔網絡信息內容生產者責任，履行網絡信息安全義務。《辦法》並要求，開發運營者在訓練環節，要對訓練素材進行審查，不得包含違規、違法數據。在輸出環節，應當建立內容過濾機制，要對生成結果進行內容審核和技術過濾，發現暴恐、謠言、淫穢色情等違法內容要及時處置。(sl)