Mario Wagner制图

2015年，一名忧心忡忡的父亲问了Rhema Vaithianathan一个问题，这个问题至今依然萦绕在她的记忆里。当时，一小群人聚集在美国宾夕法尼亚州匹兹堡的一个地下室内，听她讲软件如何解决虐待儿童的问题。该区域的热线每一天都会接听到数十个电话，指称怀疑有儿童处于危险中；其中一些电话被呼叫中心的工作人员标记为要调查的对象。但该系统并不能发现所有虐待儿童的案例。Vaithianathan和同事刚刚获得了一份50万美元的合同，以创建帮助解决这个问题的算法。 【《自然》相关文章】

新西兰奥克兰理工大学社会数据分析中心联席主管、健康经济学家Vaithianathan告诉听众，该算法会如何工作。例如，一个包括家庭背景和犯罪记录的经过大量数据训练的工具，可以在来电时产生风险分数。这或有助于让筛选人员对应该调查哪些家庭作出标记。

在Vaithianathan请听众提问后，这位父亲站起来发言。他说自己曾与毒瘾作斗争，过去社会工作者曾把他的孩子从家里带走。但他已经有很长时间不再吸毒。如果用一台电脑评估他的档案，他为改变自己的生活所作的努力会毫无意义吗？换句话说：算法会不公平地评判他吗？

Vaithianathan向他保证，会有人一直参与其中，所以他的努力不会被忽视。但现在自动化工具已经部署完毕，她仍在考虑这位父亲的问题。 计算机算法越来越多地被用于指导可能改变生活的决定，包括在被指控犯罪后拘留哪些人，应该调查哪些家庭潜在的虐待儿童问题，以及被称为“预测性警务”的趋势，如警察应该关注哪些社区。这些工具被认为可以让决策更加一致、准确和严谨。但2016年，美国记者称，一个用于评估未来犯罪活动风险的系统会歧视黑人被告。其潜在不公平性正在引起警惕。且监管是有限的：没有人知道该类工具有多少正在被使用。

公平交易

2016年5月，美国新闻网站ProPublica的记者报道了佛罗里达州布劳沃德县的法官使用商业软件，帮助决定被指控犯罪的人在审判前是否应该从监狱中释放出来。记者报道称，该软件对黑人被告存在偏见。这个名为COMPAS的工具产生的分数旨在衡量一个人释放后在两年内再次犯罪的可能性。

ProPublica团队调查了数千名被告的COMPAS分数，这些是他们通过公共记录请求获得的。对比黑人和白人被告后，记者发现一定比例的黑人被告是“假阳性”：他们被COMPAS列为高风险，但随后未被指控另一项罪行。

该算法的开发者是密歇根州的一家名为Northpointe（即现在俄亥俄州坎顿市的Equivant）的公司。该公司称，COMPAS还擅长预测被列为高风险的白人或黑人被告是否会再次犯罪。匹兹堡卡内基梅隆大学统计学家Alexandra Chouldechova很快发现Northpointe与ProPublica衡量公平的标准存在冲突。预测奇偶性、相同的假阳性错误率和相同的假阴性错误率都是达到“公平”的方式，但如果两个群体之间存在差异，那么在统计上就是不可能调和的，比如白人和黑人再次被捕的比率。“你不可能兼而有之。如果你想在一个方面做到公平，那么在另一种听起来合理的定义下，你必然是不公平的。”英国伦敦大学学院负责机器学习的研究人员Michael Veale说。

实际上，从数学角度看，对公平的定义还有更多的方式：在今年2月的一次会议上，计算机科学家Arvind Narayanan作了一场题为《21个公平定义及其政治性》的报告，他指出，还有其他定义公平的方式。包括Chouldechova在内的一些研究人员对ProPublica案例进行了研究，他们表示尚不清楚不平等的错误率是否表明存在偏见。斯坦福大学计算机科学家Sharad Goel说，它们反映了一个事实，即一个群体比另一个群体更难预测。“事实证明，它或多或少是一种统计学上的人为现象。”

虽然统计上的不平衡是一个问题，但算法中潜藏着更深层次的不公平，而且它们可能会加剧社会不公。例如，COMPAS之类的算法可能会声称，它们可以预测未来犯罪活动的可能性，但它只能依赖可测量的代表，比如被捕。而警务实践的变化意味着一些社区可能不相称地被列为攻击目标，人们可能会因为在其他社区可以被忽视的罪行而被捕。“即使我们准确地预测了一些事情，准确预测的事情也可能是强加的不公正。”华盛顿特区非营利性社会正义组织Upturn的行政主任David Robinson说。很多时候它会取决于法官在多大程度上依赖这种算法作出决定，而人们对此知之甚少。

透明度与局限性

尽管一些机构建立了自己的工具或是使用商业软件，但学术界发现自己依然对公共部门的算法有需求。人们对提高透明度的要求很高。纽约大学人工智能社会影响研究中心“现在AI研究所”共同创始人Kate Crawford说，当算法是“封闭的环，不允许算法检查、评估或公开辩论”时，通常会加剧问题。但目前尚不清楚如何才能让算法更加开放。伊利诺伊州芝加哥大学数据科学和公共政策中心主任Rayid Ghani说，仅仅公布一个模型的所有参数并不能提供它如何运作的更多信息。透明度还可能与保护隐私相冲突。在某些情况下，披露太多关于算法如何运行的信息可能会让人们挑战该系统。

Goel说，问责制面临的一大障碍是，各机构往往会不收集有关工具的使用情况或表现的相关数据。“很多时候没有透明度，因为没有什么可分享的。”例如，加州立法机构有一项草案呼吁使用风险评估工具，以帮助减少被告支付保释金的频率，这种做法因存在处罚低收入被告的情况而受到批评。Goel希望该法案强制规定，在法官与该工具存在异议的情况下，收集每个案件的具体细节（包括结果）等信息。他说：“我们的目标是在维护公共安全的同时，从根本上减少监禁，所以我们必须知道这样做是否有效。”

许多人希望法律能够推动这些目标。纽约伊萨卡康奈尔大学人工智能伦理和政策问题研究员Solon Barocas说，这是有先例的。在美国，一些消费者保护规定允许公民在对其信用作出不利判决时作出解释。Veale说，在法国，早在20世纪70年代就有立法赋予公民解释的权利以及对自动决策提出异议的能力。

最大的考验将是5月25日生效的欧洲《通用数据保护条例》（GDPR）。一些条款似乎促进了算法问责制。但英国牛津互联网研究所数据伦理学家Brent Mittelstadt表示，GDPR实际上可能会为那些希望评估公平的人设立一个“法律雷区”，从而阻碍它的发展。测试一种算法是否在某些方面存在偏差的最佳方法需要了解进入系统的人员的相关属性，例如它是否会倾向于一个种族而非另一个。

审计算式

与此同时，研究人员正在推进尚未公开接受公众监督的算法偏差的策略检测。Barocas说，企业可能不愿讨论它们如何解决公平的问题，因为这意味着它们要承认一开始就存在问题。他说，即使它们这样做了，其行动只可能改善但不会消除偏见。“因此，任何有关这一问题的公开声明，都不可避免地承认问题依然存在。”最近几个月，微软和脸谱网都宣布开发检测偏见的工具。

一些研究人员已经开始呼吁在刑事司法应用和其他领域后退一步，不再局限于建立预测性的算法。例如，一个工具或可很好地预测谁不会出庭。但最好应该问人们为什么不出庭，或许还可以设计出一些干预措施，比如短信提醒或交通援助，这些措施可能会提高人们的出庭率。“这些工具通常可帮助我们修补边缘问题，但我们需要的是彻底改变。”民权律师、纽约大学法学院种族正义倡导者Vincent Southerland说。他表示，这也就是说，围绕算法的激烈辩论“迫使我们所有人去询问并回答关于我们所使用的系统及其运作方式的真正棘手的基本问题”。

Vaithianathan看到了构建更好算法的价值，即使它们嵌入的总体系统是有缺陷的。“也就是说，算法不能被直升机空投到这些复杂的系统中。”她说，“它们必须在了解更广泛背景的人的帮助下运行。”但即便是最好的算法也会面临挑战，因此在缺乏直接答案和完美解决方案的情况下，透明度是最好的策略。“我总是说，如果你不可能是对的，那就诚实点。”（晋楠编译）