当前位置: 新豪天地登录网址 > www.3559.com > 正文

将用算法预测代替现金保释,算法说了算

时间:2019-11-04 06:51来源:www.3559.com
原标题:加州签署新法案:将用算法预测代替现金保释 多年来,反对现金保释的声音一直存在,认为现金保释使司法陷入一个不平等的竞争环境,监禁穷人,同时允许那些有钱人逃避监

原标题:加州签署新法案:将用算法预测代替现金保释

多年来,反对现金保释的声音一直存在,认为现金保释使司法陷入一个不平等的竞争环境,监禁穷人,同时允许那些有钱人逃避监禁时间。然而也有人质疑这项法案会带来新的偏见,因为算法系统依赖数据,如果收集数据的过程带有偏见,那么系统也会有偏见。

原标题:是否拘留,算法说了算!加州全美首个废除保释金制度,用算法评估取代

机器学习从业者应该关注算法带来的社会歧视问题,而不仅仅是准确度和给公司带来的利润。

PingWest品玩9月10日讯,据Quartz消息,加利福尼亚州州长Jerry Brown上月底签署了SB 10法案,该法案要求各县在2019年10月之前在审判过程中启用一套算法来预测犯罪嫌疑人的逃跑风险或出现其他犯罪行为的风险,以此来代替保释金制度。

PingWest品玩9月10日讯,据Quartz消息,加利福尼亚州州长Jerry Brown上月底签署了SB 10法案,该法案要求各县在2019年10月之前在审判过程中启用一套算法来预测犯罪嫌疑人的逃跑风险或出现其他犯罪行为的风险,以此来代替保释金制度。

图片 1

图片 2

多年来,反对现金保释的声音一直存在,认为现金保释使司法陷入一个不平等的竞争环境,监禁穷人,同时允许那些有钱人逃避监禁时间。然而也有人质疑这项法案会带来新的偏见,因为算法系统依赖数据,如果收集数据的过程带有偏见,那么系统也会有偏见。返回搜狐,查看更多

新智元将于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会,英伟达公司全球副总裁、中国区总经理张建中先生届时将亲临会场并做《AI与自动驾驶》主题演讲。

机器学习中的伦理问题

责任编辑:

大多数时候,机器学习并不涉及特别敏感的社会道德问题。有人给我们一个数据集,并要求我们根据给定的属性预测房价,将图片分类到不同的类别。当我们被要求基于受保护进行预测时,我们该怎么做才能遵守反歧视法律?我们如何确保我们不会将种族主义、性别歧视或其他潜在的偏见嵌入我们的算法中,无论是明确还是暗示?

来源:qz.com

你可能并不会感到惊讶的是,美国在这个问题上已经有过几起重要的诉讼案件,其中最引人注目的可能是涉及Northpointe有争议的COMPAS--替代性制裁的惩教罪犯管理概况这个软件,它可以预测被告将犯下另一个犯罪案件的风险。专有算法考虑了137项问卷中的一些答案来预测这种风险。

编辑:肖琴

2013年2月,Eric Loomis被发现驾驶一辆用于拍摄的汽车。他被捕并承认躲避一名军官。在判决他时,法官不仅要查看他的犯罪记录,还要看一个名为COMPAS的工具分配的分数。

【新智元导读】上周,加州州长签署通过一项具有颠覆性的保释金改革法案 ——取消保释金制度,使用算法评估是否拘押。加州将成为全美第一个禁止等待审判的嫌疑人用现金保释的州,而算法是否公平的问题也再次引发讨论。

COMPAS是目前在美国各地用于预测暴力犯罪热点的几种风险评估算法之一,确定囚犯可能需要的监督类型,或者提供可能对量刑有用的信息,如

从2019年10月开始,加州将取消保释金制度,在加州被控犯罪的人将使用一种算法进行打分评估,而不再使用巨额保释金作为自由的抵押品。然后,县官员将根据算法的打分决定被告是应该释放,还是应该关进监狱。

  • 如Loomis案。COMPAS将他列为重新犯罪的高风险,而Loomis被判处六年徒刑。

上周,加州州长Jerry Brown签署了一项颠覆性的保释金改革法案SB 10,该法案要求使用一个算法系统取代现金保释。每个县都必须建立一套系统,以确定嫌疑人在审判过程中逃跑或犯下另一项罪行的风险。该系统可以自行开发,或使用第三方承包商提供的系统,但必须在2019年10月的截止日期之前完成。

他对裁决提出上诉,理由是法官在考虑算法的结果时,其内部工作是秘密的,无法检查,违反了正当程序。上诉到了威斯康星州最高法院,法院指出,如果COMPAS从未被征询过,判决也将是相同的。然而,他们的裁决使用了敦促算法。

多年来,现金保释制度一直被一些活动人士强烈抗议,这项立法让民权组织大获全胜。他们的论点是,现金保释使司法处于一种不公平的竞争环境,将穷人关进监狱,同时允许有钱人或有资产的人避免坐牢。

可以理解的是,这个案例在机器学习界引起了不小的轰动。争议愈演愈烈

但算法风险评估使得这项新立法的实施细节变得更加重要——一些活动人士表示,现金保释创造了一个掠夺性的保释债券产业,另一些人则指出以往使用的算法风险评估工具存在对有色人种的偏见。

到目前为止,我们所讨论的只是一个据称是不公正的人,据称他被一种算法严厉地判断。然而,当我们快进到2014年时,这个软件背后的争议会变得更加激烈。

图片 3

在几个更有争议的结果被吐出算法并仔细检查后,它再一次引起了公众的注意。

保释金制度催生了保释金保险业(Bail Bonds)

然后,美国司法部长埃里克霍尔德警告说,风险评分可能会向法院注入偏见。他呼吁美国量刑委员会研究其使用情况。"尽管这些措施是出于最好的意图而制定的,但我担心它们会无意中破坏我们确保个性化和平等正义的努力,"

“这是一个巨大的挫折,”民权活动组织“Silicon Valley Debug”的协调员Raj Jayadev说:“根据我们的分析,这将导致审前拘留增加。”

他补充说,"它们可能会加剧我们已经非常普遍的无根据和不公正的差异,在刑事司法系统和我们的社会。"

这是因为在整个刑事司法系统中用来评估风险分数的机器学习系统已经被证明存在严重的种族偏见,其评分认为有色人种更有可能再次犯罪。此外,由于私营公司通常签约提供这些服务,机器学习算法推导出的用于计算这些分数的公式通常被作为智力财产保留下来,这会让竞争对手倾向于该公司的技术。

然而,量刑委员会没有开展风险评分研究。因此,ProPublica作为对美国生活中算法的强大考察。

图片 4

ProPublica的检查得出了一些有趣的结论。不仅算法荒谬地不准确(不到20%的预测是真的),还表现出显着的种族差异,正如霍尔德所担心的那样。在预测谁会再次犯罪时,该算法以大致相同的速度但以非常不同的方式对黑白被告犯了错误。

有研究证明用于评估再犯罪的算法存在偏见(来源:propublica.org)

这个公式特别容易将黑人被告作为未来的罪犯,将他们错误地贴上标签,这几乎是白人被告的两倍。

该法案的共同发起人和政策倡导者、西方法律与贫困中心(Western Center Law on Law & Poverty)的Jessica Bartholow表示,自该法案启动以来,算法风险评估的问题就一直在讨论中,民权组织压倒性地支持取消现金保释。她认为,与Jayadev的预测相反,被审前拘留的人将会更少,以前被迫支付保释金或相关法庭费用否则就被拘留的穷人,在新政策下或许不用支付也不用被拘留了。

白人被告被误标为低风险,比黑人被告更频繁。

Bartholow说,既然该法案已经通过,那么就需要与政策制定者合作,确保风险评估的数据和方法是公平而且透明的。例如,在2023年将会实施一项审查,检查新系统的偏见——但审判前在监狱中关上四年仍然是很长的时间。

黑人被告被钉住的可能性仍高出77%,因为未来暴力犯罪的风险更高,预计未来犯下任何罪行的可能性高45%。这可能听起来很糟糕,但这个故事还有很多东西要比眼睛看到的要多。根据我们分析这个的方式,我们可以发现算法既是种族主义又不是种族主义,它取决于我们在模型中定义"平等"的方式。对于本文的其余部分,我将尝试帮助我们理解这个模型实际上是以可接受的方式设计的,但仍然可以产生据称的种族主义结果。歧视的类型

加州议员办公室证实仍有细节需要解决:州参议员Robert Hertzberg已经承诺将推动新的立法,以确保风险评估工具的透明度。在8月举行的州议会听证会上,参议院预算委员会主席Holly Mitchell 同意共同起草该法案。

我们首先需要定义算法中可能存在的歧视类型,以及我们在前面的示例中处理的类型。我们将两种形式的歧视称为不同的影响和不同的待遇。

专注于研究人工智能社会影响的非营利智库AI Now的政策主管Rashida Richardson表示,她疑虑这个系统会比以前的系统更加偏见。

不同的待遇 - 涉及以不允许的方式对某人进行分类。它涉及歧视的意图,通过明确提及群体成员资格来证明。

“很多基于算法的刑事司法系统都依赖于通过刑事司法系统收集的数据。警官、缓刑犯监督官、法官等等,刑事司法系统的所有参与者都不是数据科学家,”Richardson说。“因此,你收集的数据就存在缺陷,存在许多与刑事司法系统相同的偏见。”

不同的影响 - 查看分类/决策对某些群体的影响。不需要任何意图,它是面向中立的。

但是在数据和所采用因素的开放性方面有一些变化:Jayadev表示,活动人士已经迫使一些公司在计算风险评分时披露有哪些影响因素,例如嫌疑人之前的犯罪记录和所犯罪行的严重程度,但没有公开每个因素对最终风险评分的影响程度。当风险评估算法有超过100个影响因素时,缺乏透明度会导致很难判断算法认为有影响的因素是否与种族、性别或任何其他受保护的人口统计学特征有关。

不同的影响通常被称为无意识的歧视,而不同的处理则是故意的。

在2023年进行审查之前,很难确定这一法案的实际影响。

最高法院认为对特定群体产生不成比例影响的做法如果"基于合理的商业考虑",则不会造成不同的影响。

Bartholow说:“如果我们最终得到的是一个黑盒子一样的评估工具,而无法运行数据,不能迅速地对计算机系统进行修改,那么我们就会屈服于算法,这个算法我们无法改变,也无法真正理解。”

在考虑以下任何受保护属性时,可能会导致不同的处理或不同的影响。

返回搜狐,查看更多

图片 5

所有这些属性都可以用作我们的机器学习算法中的特征,因此我们的算法有可能在这些属性的基础上进行区分。一些常见的例子是面部识别,累犯和招聘。我们可以做些什么来帮助解决这个问题?训练数据中的歧视性偏见

责任编辑:

当分类和决策基于不准确的信息时,歧视会影响社会商品(例如,认为7英尺以上的每个人都是不好的保姆)。这些想法经常被人类偏见所延续,并嵌入用于训练算法的数据中。

在这种情况下,机器学习算法不会减轻人的偏差。事实上,它们是在所制作的分类中复制的。为什么会这样?像Northpointe软件那样的累犯分数是基于先前的逮捕,第一次警察联系的年龄、父母的监禁记录。这些信息是由世界上的偏见(例如来自文化价值观和民族主义)和更普遍的不公正所塑造的。

这种偏见也存在于自然语言处理中,其关注于文本数据。这方面的一个很好的例子是题为"人是计算机程序员,因为女人是家庭主妇?Debiasing Word Embeddings",它显示了软件向量中自动生成的类比,例如男性→计算机程序员,女性→家庭主妇。这些反映了原始文本中的性别歧视。

更一般地说,这些偏见来源通常来自:

过度抽样和欠抽样

歪斜的样品

特征选择/有限特征

代理/冗余编码

世界上的偏见和不公正

那么我们如何消除这些偏见呢?机器学习算法可以使歧视永久化,因为它们是针对有偏见的数据进行训练的。解决方案是识别或生成无偏的数据集,从中可以得出准确的概括。消除偏见

种族,性别和社会经济阶层等特征决定了我们与某些绩效任务的结果相关的其他特征。这些都是受保护的属性,但它们仍然与某些性能任务相关

  • 而性能任务则是假定的社交产品。例如:

白人家庭的平均财富是黑人家庭平均财富的七倍。

财富与您是否可以偿还贷款有关。

财富的差异取决于历史和现在的不公正。

机器学习本质上是历史的。为了有效打击歧视,我们需要改变这些模式。然而,机器学习强化了这些模式。因此,机器学习可能是问题的一部分。"即使历史是一个向正义倾斜的弧线,机器学习也不会屈服。"

那么,我们该何去何从?我们注定要有种族主义和性别歧视的算法吗?

即使我们优化准确性,机器学习算法也可能使歧视永久存在,即使我们使用无偏见的数据集进行工作并且具有考虑社会商品的性能任务。我们还能做些什么?

顺序学习

更多理论

因果建模

优化公平

在所有这些中,优化公平似乎是最简单和最好的行动方案。在下一节中,我们将概述如何优化模型以实现公平性。优化公平

构建优化非歧视的机器学习算法可以通过以下四种方式完成:

将非歧视标准正式化

人口平等

均衡赔率

经过良好校准的系统

我们将依次讨论这些问题。

将非歧视标准正式化基本上是其他3种方法所涉及的标准,它们是旨在使非歧视标准正式化的标准类型。但是,这份清单并非详尽无遗,可能还有更好的方法尚未提出。

人口平价提出决策应独立于受保护的属性 - 种族,性别等与决策无关。

对于二元决策Y和受保护属性A:

P(Y = 1 | A = 0)= P(Y = 1 | A = 1)

无论受保护的属性(无论是还是,做出某些决定的概率应该是相同的。然而,人口统计奇偶校验使用完美预测器C = Y,其中C是预测变量,Y是目标变量。

要理解异议,请考虑以下情况。假设我们想要预测一个人是否会购买有机洗发水。某些团体的成员是否购买有机洗发水并不独立于该团体的成员资格。但是,人口统计平等将排除使用完美预测器。

均衡赔率建议预测变量和受保护属性应该是独立的,以结果为条件。对于预测变量R,结果Y和受保护属性A,其中所有三个都是二进制变量:

P(R = 1 | A = 0,Y = 1)= P(R = 1 | A = 1,Y = 1)。

该属性(无论是还是不应该改变您的估计,即某个相关预测因子对候选者是否成立的可能性。相反,结果应该。该过程的一个优点是它与理想预测器兼容,R = Y.

考虑以下案例,让学生被耶鲁大学录取,因为他们是高中时的告别演说者。均衡赔率假定知道学生是否是同性恋并不会改变学生是否是告别演说者的概率。

预测者R =您是否是高中告别演说者

结果Y =进入耶鲁

属性A =同性恋

P(R = 1 | A = 0,Y = 1)= P(R = 1 | A = 1,Y = 1)。

经过良好校准的系统建议结果和受保护属性是独立的,以预测器为条件。对于预测变量R,结果Y和受保护属性A,其中所有三个都是二进制变量:

P(Y = 1 | A = 0,R = 1)= P(Y = 1 | A = 1,R = 1)

某些结果发生的概率应该不受某些受保护属性(无论是还是的影响,而应该以相关预测因子为条件。这种配方的优势在于它不会意识到

  • 它让每个人都遵循相同的标准。

与之前的例子相比,知道学生是同性恋并不会改变学生是否进入耶鲁的可能性。均衡赔率和经过良好校准的系统之间的区别是微妙的,但很重要。

事实上,这种差异是我们在开始时讨论的COMPAS软件不一致的基础。

那么COMPAS种族主义者呢?

均衡的赔率和经过良好校准的系统是互不兼容的标准。有时候,鉴于某些经验环境,我们不能让系统得到很好的校准和均衡。让我们来看看ProPublica和Northpointe之间关于COMPAS是否偏向黑人被告的辩论中的这一事实。

Y =被告是否会重新犯罪

A =被告的种族

R = COMPAS使用的累犯预测因子

Northpointe的防御: COMPAS经过良好校准,即

P(Y = 1 | A = 0,R = 1)= P(Y = 1 | A = 1,R = 1)。

图片 6

COMPAS系统对被告进行大致相似的累犯预测,无论其种族如何。

ProPublica的回应: COMPAS对黑人被告的假阳性率较高,对白人被告的假阴性率较高,即不满足均等赔率:

P(R = 1 | A = 0,Y = 1)≠P(R = 1 | A = 1,Y = 1)

图片 7

被告的种族对于个人是处于低风险还是中/高风险类别有所不同。无论是还是,COMPAS已经确定一些累犯风险预测因子将被告的概率有所不同,而不仅仅是被告是否会赢得'重新犯罪。为什么会这样?

当某些经验事实成立时,我们具有良好校准和赔率均衡系统的能力就会崩溃。似乎产生问题的是我们之前讨论的问题:由不公正造成的背景事实。例如,由于更高的警察审查,被抓获再次犯罪率更高。

很难弄清楚何时适用某些公平标准。如果某些标准没有为其他标准付出代价,那么当你不确定时,你会更少担心应用它。但是,由于情况并非如此,我们需要了解未达到某些标准的影响。

那么我们讨论的哪个标准最好选择?所有这些方法都具有很好的功能,但都有其缺点。

所以现在怎么办?我们不能在一个小角落里划分公平,而不是为了改变世界上的不公正和在机器学习系统之外发生的歧视。这并不意味着我们什么都做不了!我们必须为某些领域的公平性制定一些标准,同时努力改变基准利率。

尽管存在一些争议以及其中一些人不受欢迎,但COMPAS软件仍在继续使用。开发算法的人不会因为在不知不觉中开发种族主义算法而被指控或监禁,但必须选择一些标准来基于COMPAS试图解决的情况进行预测。

它可能是一个算法,它可能不完美,但它是一个开始,一个人必须从某个地方开始。机器学习有助于减少歧视吗?机器学习是一个非常强大的工具。随着人类开始从人文主义转向数据主义视角,这种情况越来越明显

  • 我们开始更多地信任算法和数据,而不是人或我们自己的想法。

这使得我们尽可能使算法尽可能不偏不倚,这样他们就不会在不知不觉中使历史数据中嵌入的社会不公正永久化,这一点非常重要。然而,使用算法创造一个更公正和平等的社会也有巨大的潜力。一个很好的例子就是招聘过程。

假设您正在申请您的梦想工作,并且正处于面试过程的最后阶段。招聘经理有权决定您是否被录用。您是否想要一个无偏见的算法来决定您是否是最适合这份工作的人?

如果你知道招聘经理是种族主义者,你还会喜欢这个吗?还是性别歧视?

也许招聘经理是一个非常中立的人,并且纯粹基于绩效来完成工作,然而,每个人都有自己的倾向和潜在的认知偏差,这可能使他们更有可能选择他们最喜欢的候选人,而不是最好的人。

如果可以开发无偏见的算法,招聘过程可能变得更快,更便宜,他们的数据可能会招聘更多技术熟练的人,这些人更适合他们的公司。另一个潜在的结果:更多样化的工作场所 该软件依赖于数据来表达来自各种各样的地方的候选人,并将他们的技能与工作要求相匹配,没有人为的偏见。

这可能不是完美的解决方案,事实上,在司法方面很少有完美的答案。然而,历史的弧线似乎倾向于正义,所以也许这将使正义向前迈进一步。

另一个很好的例子是自动贷款承销。与传统的手工承保相比,自动承保更准确地预测某人是否会违约贷款,其更高的准确性会导致更高的借款人批准率,尤其是对于服务不足的申请人。这样做的结果是,有时候机器学习算法比我们做出最准确的分类做得更好,有时候这可以解决招聘和信用审批等领域的歧视问题。

引用一句谷歌报道的文章:

"优化机会均等只是可用于改进机器学习系统的众多工具之一 - 仅靠数学不太可能带来最佳解决方案。攻击机器学习中的歧视最终需要采取谨慎的多学科方法。"

编辑:www.3559.com 本文来源:将用算法预测代替现金保释,算法说了算

关键词: www.3559.com