周四，旧金山市对18个网站和应用程序提起了全面诉讼，这些网站和应用生成了未经授权的深度伪造受害者裸体。
该投诉针对的是“提供‘脱衣服’或‘裸体’妇女和女孩的网站和应用程序的激增”。该投诉称，2024年上半年，这些网站的访问量总计超过2亿次。
旧金山市检察官David Chiu在宣布诉讼时表示：“这项调查将我们带到了互联网最黑暗的角落，我对那些不得不忍受这种剥削的妇女和女孩感到非常震惊。”。“生成型人工智能有着巨大的前景，但与所有新技术一样，也会产生意想不到的后果，犯罪分子会试图利用这项新技术。
邱补充道：“这不是创新，这是性虐待。”。
尽管像泰勒·斯威夫特这样的名人经常成为这种形象生成的目标，但他指出了最近新闻中出现的涉及加州中学生的案件。
该市公告称：“这些图像与真实照片几乎无法区分，被用来勒索、欺凌、威胁和羞辱妇女和女孩。”。
所谓的非自愿亲密图像（NCII）的迅速传播促使世界各国政府和组织努力遏制这种做法。
诉状称：“受害者几乎没有追索权，因为一旦这些图像被传播，他们就面临着删除这些图像的重大障碍。”。“他们留下了深刻的心理、情感、经济和声誉伤害，对自己的身体和形象没有控制权和自主权。”
邱指出，更成问题的是，一些网站“允许用户制作儿童色情内容”
使用人工智能生成儿童性虐待材料（CSAM）尤其成问题，因为它严重阻碍了识别和保护真正受害者的努力。追踪这一问题的互联网观察基金会表示，已知的恋童癖团体已经在接受这项技术，人工智能生成的CSAM可能会“淹没”互联网。
路易斯安那州一项专门禁止使用人工智能创建CSAM的法律于本月生效。
斯坦福大学的研究人员表示，尽管大型科技公司承诺在开发人工智能时优先考虑儿童安全，但这些图像已经进入了人工智能数据集。
该诉讼要求这些服务为每次违规行为支付2500美元并停止运营，还要求域名注册商、网络主机和支付处理商停止向创建deepfakes的机构提供服务。
