监控AI的多样性和包容性

密码社会2018,第7天,和莎拉·奥恩

ruth.wtf 编写

萨拉·奥恩(Sarah Aoun)在技术,数据与人权的交汇处工作,与我们一起参加了代码学会会议,以激发我们对当代文化中的监视的理解。 Sarah居住在布鲁克林和贝鲁特之间,目前是2017-2018年福特Mozilla开放网络研究员。

萨拉首先提出一个问题:什么是面部识别技术?

回顾分配给本次会议的阅读材料,我们熟悉了算法正义联盟的创始人兼负责人Joy Buolamwini的工作,该团队旨在突出算法偏见。 Buolamwini将面部识别技术中的种族偏见称为“注视代码”,并指出“呼吁技术融合通常会错过嵌入在书面代码中的偏见”。 这很可能是因为,与人类相比,许多人(也许不是编码学会的我们)相信技术是客观且公正的实体。 但是,很明显,机器偏差源于非多元数据集,这人为错误。 由于共享和通用的库和软件,容易对未经审核准确性的这些系统进行不受管制的广泛使用。

纳比尔·哈森(Nabil Hassein)的文章《面部识别中的黑色包容》详细介绍了乔伊工作的有趣替代方法 纳比尔提出疑问:“部署能够可靠识别黑人的自动化系统才能真正满足他们的利益”,并且对“不会使用任何受警察控制的技术来追究警察的责任或使黑人或其他被压迫者受益”充满信心。 他以美国司法系统中使用的有偏见的机器软件为例来支持这一点,该软件试图预测被监禁的人实施未来犯罪的可能性。

在谁在操作新技术的总体发生变化的地方,曾经被永久使用过的工具可能会发生变化。 曾经原本打算解锁平等的软件最终常常被操纵以解锁巨大的财富和相应的权力。

Sarah提出了软件创建的三个原则:

  • 谁编码很重要
  • 我们如何编码很重要
  • 为什么我们编码很重要

我们从提示中开始讨论:当我们在考虑如何使事物具有包容性时,我们应该提出一个问题-技术可以带来什么危害?

这种话语产生了一些答案和更多问题:

  • 围绕监视改变叙述。 更强大,更具韧性的社区
  • 难道我们会受到关爱和关爱的激励吗?
  • 假设AI是无国界的,它如何解决全球冲突? 它如何与整个世界互动?
  • 会议室中不同人员的重要性-小组越多样化,无意识偏见的可能性就越小。 它还鼓励较小的新贵尝试AI实施
  • 系统的破坏/入侵与系统的包含和重新按摩

为了导航如何负责任地操作AI系统,我们将监视的历史不仅视为雪灾后的事件,而且还作为美国赖以建立的基础,并通过《血液量子法》(Blood Quantum Laws),基于种族的地区重新分配系统集。 还应指出的是,在路易斯安那州让奴隶受到白人工人阶级监督的做法。 通过使这些以前可能与奴隶声援过的人能够对他们行使权力,他们就能使他们和奴隶得到更好的控制。 提出的另一个例子是18世纪的《灯笼法》,该法律要求纽约市的非白人在日落之后必须始终提着灯笼。 这令人不安地使人联想到当前越来越多的做法,即在居民中绝大多数是黑人或拉丁美洲人的中低收入地区安装夜间泛光灯。

我们还研究了纽约证件的最新情况。 我自己既不是纽约客,也不是美国人,对此情况我并不熟悉,听说这种情况就像我没想到的那样沉重。 2015年,纽约市市长建立了市政身份证系统,以帮助无证件人员无需正式身份证即可在城市立足。 在注册过程中,城市管理部门保留与所有申请该卡者相关的详细信息。 其中包括护照,驾驶执照,出生证明和其他类似个人文件的复印件。 自特朗普政府上任以来,它一直在尝试访问此数据,大概是作为驱逐出境的热门清单。

在对这些问题进行进一步的小组讨论之后,会议以引号结束:

“大师的工具永远不会拆除大师的房子” –奥德丽·洛德