布罗克·特纳犯有三项性侵犯罪，以及其他令人憎恶的罪行。尽管如此，他只被判处 6 个月监禁，并缓刑 3 年。一个不称职的法官无法做出正确的判决。因此，人们说，如果人工智能参与这一判决，分析数据和证据，而不是让一个昏庸的法官来做决定——特纳将会被锁在很长一段时间里。
人工智能和数据科学现在正被用来评判人类的行为，这对我们的生活有重大影响。使用技术来确定重大的决定可能对人类是有益的，但是当我们开始这样做时，道德困境就会出现，而且在很多情况下，算法并没有透露他们是如何得出结论的。这就引出了一个问题：我们应该允许 AI 来评判我们吗？
用 AI 在法庭上判案
AI 现在正被用于帮助法庭进行案件审理。算法被用来评估人们在决定保释、判刑和假释时的长短。在理想的情况下，这似乎不是问题。然而，这些算法在风险分析中已经被证明出现过偏差。此外，算法如何得出结论是不透明的。
在发生在美国的卢米斯一案中，埃里克·卢米斯被判处 6 年监禁。卢米斯被怀疑驾驶一辆偷来的曾被用于射击的汽车，并被指控与驾车射击有关的五项罪名。卢米斯否认参与了枪击事件，但他承认了两项较轻的指控，其中包括试图逃避一名交通官员。COMPAS 算法认为他有很高的再犯风险，这足以把他关起来。卢米斯是一名登记在案的性侵犯者。
他应该被判刑吗？可能。他是否应该被人工智能定罪，这是有争议的。卢米斯上诉了，他认为没有人知道 AI 是如何得出结论和判决的。然而，该动议被否决了，因为由一家私人控股公司开发的风险评估工具 COMPAS 的算法是专有的，揭示该算法执行的细节意味着泄露商业秘密。
黑盒算法决定了一个人的入狱时间，这带来了一些严重的问题，主要是算法偏差。这些算法可能是完全有偏见的，在现行的法律和法规下，不需要披露他们的推理和机制，即可以扭转一个潜在的无辜者的命运。
靠算法确定风险分值
在 2016 年一项备受关注的研究中，ProPublica 调查了在 2013 年和 2014 年在美国佛罗里达州布劳沃德县被逮捕的 7000 多人的风险分值，并查看了在未来两年内有多少人被控有新的犯罪。在预测暴力犯罪方面，这一分值被证明是非常不可靠的：其中只有 20%的人像预测的那样实施了暴力犯罪。
在一个残酷的案例中，黑人妇女布里莎·博登记录中有 4 个针对未成年人的不端行为，被认为是高风险的，危险系数为 8。她的同伙弗农·普莱特是一名白人男性，曾两次持械抢劫和一次企图持枪抢劫，而他在该系统的风险系数却较低，仅为 3。
布里莎·博登此后从未犯过罪行，而她的同伙则进行了大规模盗窃。
司法程序依赖于健全、公正的决策。法官们已经因为有偏见而受到强烈反对，用 AI 来“证明”这些偏见的“正确性”后果是可怕的。把 AI 引入司法系统的唯一前提，是我们能保证它没有漏洞——偏见、黑客攻击或任何其他的误判。
让机器人担任神职人员
德国和日本正在赋予机器人某些神圣的权力，允许它们传递祝福，甚至是主持葬礼仪式。但是，机器人是否应该拥有和牧师一样的权力呢？此外，我们是否会按照机器人的说法来接受宗教指导并过我们的生活？
想象一下，向一个机器人忏悔，或者听一个机器人做布道——这样说可能有暗示的风险。任何宗教向非生物实体提供上帝的力量，都是不自然的。尽管，如果科学是完善和公正的，机器人将无法在神学问题上与自己相矛盾，实行双重标准，或者解释上帝的文本以适应他们的生活方式。通过这种方式，机器人牧师可以解决一些被怀疑论者挑战的宗教问题。
这并不是说原始的宗教文本没有挑战，这些挑战将会是这些机器人的数据点，但它可能会强调一些以前由男性所拥有的自由的危险。就目前而言，只有基本的宗教服务是由机器人来完成的，但是被机器人而非被任命的牧师祝福的事情让人觉得愚蠢。
用数据建立信用体系
包括中国在内一些国家正在用大数据分析构建社会信用体系，并将对其公民进行信誉评估。通过一种未经揭示的数据分析方法，你的社会等级可以根据你的行为而上下浮动。通过数据科学来规范你的社会地位，是为了维护公民的社会诚信，让他们保持诚实和仁慈。做好事会让你的社会地位更高，你会得到回报。
在一个完美的世界里，在纸面上，这无疑是一个很好的想法——让人们保持诚实，降低犯罪率等等。但是在一个大的社会里，这可能会带来一些不得不考虑的重大问题。
如果你的社会信用减少了，限制旅行、降低网速、禁止你和你的孩子去好学校或找好工作都是被提议的惩罚。如果以上任何一种或全部发生在你身上，你将很难重新回到一个体面的社会地位，这将形成一种恶性循环。
系统和大数据分析不会因篡改和误判对自身产生影响，而误判却可能会毁掉一个无辜的人的一生。你也可以按照同样的逻辑去想象一个腐败的政客篡改数据，以提升他的社会地位，如此，一个乌托邦构想可能带来一个虚构阶级体系的反乌托邦社会。
从以上所有的案例中，我们看到，我们似乎把马车放在了马的前面。委托数据科学和人工智能来决定人类生活的重要方面是极其危险的，目前起码已经被证明是有偏见的。如果这些技术是公正的、不腐败的，并且被证明是完美的，也许我们可以开始考虑实现它们。但就目前情况来看，在我们开始允许人工智能来评判我们之前，我们可能需要后退一步。
【数字叙事 原作：Desmond Rhodes；编译：Lighting】
