关于人工智能相关歧视的集体诉讼达成最终和解。

2024年4月14日，在伊利诺伊州斯克奥基的一栋公寓楼外，出现了一个标志。

2021年春季，玛丽·路易斯搬进马萨诸塞州的一栋公寓的兴奋之情，在路易斯，一位黑人女性收到一封电子邮件，称第三方服务拒绝了她的租房请求后，转为了失望。第三方服务包括一个设计用于评估租房申请者的算法，该算法成为一起集体诉讼的主题，路易斯担任诉讼的领导人物，诉讼指控该算法存在基于种族和收入的歧视。

在周三，这起同类首例诉讼得到了一项和解的批准。涉及该算法的公司同意支付超过220万美元，并回滚某些部分筛查产品，诉讼指称这些产品具有歧视性。

这个和解并不包括该公司SafeRent Solutions承认错误的内容。该公司发表声明称，尽管“仍然认为SRS分数符合所有适用法律”，但诉讼既耗时又昂贵。

虽然此类诉讼可能相对较新，但使用算法或人工智能程序来筛选或评估美国人并不罕见。多年来，人工智能一直在悄悄地帮助美国居民做出具有重要影响的决定。

当一个人提交工作申请、申请房贷或寻求某些医疗保健时，有可能一个AI系统或算法正在像评估路易斯那样评估他们。然而，这些AI系统基本上不受监管，尽管一些已被发现存在歧视问题。

路易斯的律师之一托德·卡普兰说：“物业管理公司和房东需要知道他们现在得到通知，这些系统被视为可靠和良好，但现在将会受到挑战。” 这起诉讼指控SafeRent的算法没有考虑到住房补贴的好处。他们表示这对于承租人的支付能力很重要，因此歧视了那些有资格获得援助的低收入申请人。

该诉讼还指控SafeRent的算法过于依赖信用信息。他们认为它没有给出一个申请人按时支付租金能力的完整画面，并错误地给有住房补贴的申请人打分，特别是黑人和西班牙裔申请人，因为他们有较低的平均信用评分（这是历史不公平的结果）。

原告律师克里斯汀·韦伯说，尽管算法或AI没有被编程进行歧视，但它们使用的数据或权重可能产生与故意歧视相同的效果。

当路易斯的申请被拒绝时，她试图上诉，向两位房东寄送了证明她提前或按时支付了16年的房租的证明。尽管她没有良好的信用记录。作为住房补贴的持有者，路易斯正在挣扎着照顾她的孙女。

管理公司对路易斯的回应是：“我们不接受上诉，不能推翻租户筛选的结果。”

路易斯感到沮丧；该算法不了解她的情况，她表示。

“一切都基于数字。你从他们那里得不到个人的同情，”路易斯说。“我们无法击败系统。系统总是会击败我们。”

尽管州议员提出了针对这类AI系统的严格监管规定，但这些提议在很大程度上未能获得足够支持。这意味着路易斯这样的诉讼正在为AI问责制奠定基础。

SafeRent的辩护律师在请求驳回诉讼时辩称，该公司不应该对歧视行为负责，因为SafeRent并没有做出接受或拒绝租户的最终决定。该服务会筛选申请人、给他们打分并提交报告，但让房东或物业管理公司来接受或拒绝租户。

路易斯以及美国司法部在案件中提交了声明支持原告的观点，认为SafeRent的算法应该对此负责，因为它仍然在住房准入方面发挥作用。法官在这些方面驳回了SafeRent的请求驳回诉讼。