Timnit Gebru-a巨头在人工智能的世界,然后带领谷歌的AI道德团队在12月推出她的工作。
与公司Gebru一直战斗结束了一篇研究论文她合著,探索人工智能模型的风险,这家搜索巨头使用权力核心几乎参与了产品模型每一个英语在谷歌上查询为例。摘要喊出潜在的偏见(种族、性别、西方和更多)的语言模型,以及巨大的碳排放需要计算。谷歌想要收回,或任何Google-affiliated作者的名字起飞;Gebru说她会这样做,如果谷歌将参与讨论决定。相反,她的团队被告知她已经辞职。公司突然宣布Gebru离开后,谷歌首席杰夫AI院长曾暗示她的工作是不能胜任snuff-despite Gebru凭证和历史的开创性研究。
的反应是迅速的。成千上万的员工和外部人员保护她与试图起诉谷歌忽视它的批评者,尤其是那些从弱势背景。冠军的多样性和股票在人工智能领域,Gebru是黑人女性,是为数不多的在谷歌的研究机构。
“这还不够,他们创造了一个充满敌意的工作环境为像我这样的人,正在建立明确的产品有害的人在我们的社区。是不够的,他们不听,当你说点什么,”Gebru说。“然后他们试图沉默你科学的声音。”
在此之后,字母CEO Sundar Pichai承诺进行调查;结果没有公布,但是一份泄露的电子邮件最近透露,该公司计划改变其发布过程的研究,将高管薪酬与多样性,建立更严格的过程“敏感员工退出。”
此外,该公司任命工程副总裁玛丽安用嘶哑的声音来监督AI道德团队,向院长报告。一个黑人女性几乎没有经验的负责任的AI,用嘶哑的声音呼吁领域内的“外交”对话她的第一个声明她的新角色。
但在同一天,公司结束调查,它发射了玛格丽特·米切尔,Gebru位联席和谷歌的创始人的道德AI的团队。米切尔一直使用一种算法梳理她的工作交流,寻找证据的歧视反对Gebru。在一份声明中,德赢提款谷歌表示,米切尔犯了多个违反行为准则和安全策略。(这个故事的公司拒绝进一步置评。)
AI的很多工作伦理、Gebru突然下台及其持续的影响震惊但不是一个意外。这是一个提醒的程度大的科技主宰他们的领域。少数大型企业能够使用他们的钱在AI直接对话,确定哪些想法得到财政支持,并决定谁在房间里创建和批判技术。
利害关系的公平发展一种技术,已经支撑我们的许多最重要的自动化系统。从信用评分和刑事判决医疗访问甚至是否得到面试,人工智能算法改变一生的决策没有监督和透明度。损害了这些模型的原因当部署在世界越来越明显:歧视性的招聘系统;针对少数民族歧视性种族评判平台;种族歧视有预见性地施治仪表板。至少有三个黑人错误逮捕由于有偏见的面部识别技术。
对人工智能的工作在所有的社会成员的利益,权力动力学整个行业必须改变。的人最有可能伤害algorithms-those边缘化社区需要一个说在人工智能的发展。“如果合适的人不是在餐桌上,它不会工作,“Gebru说。”,为了让合适的人在餐桌上,他们必须有力量。”
一个主导力量
大型技术对人工智能的影响伦理是附近。它开始于公司的能力来吸引顶级头脑与威望工业研究实验室,计算资源和内部数据,和寒冷的现金。
许多著名ethical-AI人员安置在大科技,在实验室如Gebru和米切尔领导使用。Gebru自己来自微软研究之前登陆谷歌。尽管谷歌已经烧毁的AI伦理的领导团队,其他科技巨头继续建立自己的版本。微软公司,现在有一个负责任的AI总监和索赔其实施人工智能原理。
但随着Gebru的经验表明,目前尚不清楚内部AI伦理研究人员说,他们的雇主发展中。事实上,路透社去年12月报道谷歌,在一些情况下,告诉研究人员“罢工一个积极的基调”论文的引用谷歌产品。大型科技公司往往更专注于快速航运产品和开发新的算法来维护其霸权比了解人工智能的潜在影响。这就是为什么许多专家认为,大型科技股的投资在AI道德是公关多。说:“这仅仅比Timnit,索菲亚高贵,加州大学洛杉矶分校教授和共同创始人和中心的监视点关键网络调查。“这是对一个行业广泛,是建立在提取和剥削和混淆,会竭尽所能。”
该行业的力量不仅有力于公司内部,在非营利世界学术界和主导地位延伸,令人心寒的程度。一个2020年的研究发现在四个顶尖大学,超过一半的AI伦理研究人员已经接受了其资金来源知道钱从科技巨头。最大的资金池致力于人工智能伦理是联合资助的赠款国家科学基金会和亚马逊,一个典型的利益冲突。“亚马逊有很大损失的一些建议ethics-in-AI社区,”指出Rediet Abebe,传入计算机科学教授在加州大学伯克利分校的组织建设黑色在人工智能与Gebru提供支持黑人白人领域的研究人员。也许不足为奇的是,9的10主要调查人员在第一组给予奖励NSF-Amazon资金是男性,都是白人或亚洲。(亚马逊没有回应记者的置评请求。)
“当大型科技股的钱是交给其他机构,无论是大型研究型大学或小型和大型非营利组织,这是当权者的决定如何使用这些钱花了,他的作品和思想资源,“Rashida理查森说,这位前政策主管AI伦理认为谢谢AI现在传入东北法学院法学和政治学教授。
经常沙箱的conferences-one的主要方式,研究人员在这个领域一起分享他们的工作和合作。大型科技公司是一个普遍的出现在这些事件,包括ACM会议上公平、问责和透明度米切尔(FAccT)联合主席(Gebru以前执行委员会和仍然参与会议)。今年的FAccT,今年3月,开始由谷歌、Facebook、IBM和微软。虽然事件禁止赞助商影响内容,大部分会议没有这样明确的政策。
NeurIPS最有声望的机器学习会议,已经至少有两大科技公司作为主要发起人自2015年以来,根据相同的2020年的研究分析了影响大型科技股的钱在大学。“当考虑车间(NeurIPS)有关道德或公平,除了一个至少有一个组织者是谁附属或最近隶属于大型科技股,“写文章的作者,默罕默德·阿布达拉多伦多大学和哈佛医学院的穆斯塔法阿布达拉。“通过控制议程的车间,大型技术控制的讨论,并且可以转移的类型被问到的问题。”
一个明显的大型科技引导谈话的方式:通过支持的研究集中在工程修复AI的偏见和公平的问题,而不是工作,批判性分析人工智能模型如何可能会加剧不平等。科技公司”把他们的支持工程解决社会问题,”阿里Alkhatib说,应用数据中心研究员旧金山大学的伦理。
谷歌的主要批判Gebru同行评议的纸,问她公司的所谓理由收回——她没有参考足够的技术解决方案AI偏见的挑战和巨大的碳排放,她和她的合著者探索。纸被称为“随机鹦鹉的危险:语言模型太大?,”将发表在今年的FAccT会议的几个朋友的名字仍然在谷歌删除工作。
房间里的是谁
Raji当黛博拉是一个工科学生多伦多大学的2017年,她参加了第一次机器学习研究会议。一件事站到她:约8000名与会者,少于100是黑人。幸运的是,其中一个是Gebru。
“我可以说肯定不会在今天如果不是(她的组织)黑色AI,“Raji说。从那时起,她与Gebru密切合作和researcher-activist欢乐Buolamwini算法正义联盟的创始人突破性的报道发现性别和种族偏见的商用面部识别技术。今天,Raji研究员Mozilla关注AI问责。
人工智能领域的伦理的其余大部分人工智能一样,一个严重的多样性问题。尽管科技公司不释放颗粒多样性数量不同的单位,黑人雇员在科技的代表,并在技术职位更是如此。Gebru曾说过她是第一个黑人妇女被聘为研究员谷歌,和她和米切尔制造最多样化的团队在谷歌的声誉的研究。不清楚,将他们培养超出道德AI团队。这工作场所的同质性不仅影响职业;它创建一个环境,就不可能构建技术,适合每个人。
根本原因:从人工智能研究的资金是如何谁被雇佣之前,该行业的问题
与此同时,一项新的分析30前的组织工作负责AI-including斯坦福海,人工智能,数据与社会,和伙伴关系AI-reveals领导这些机构的94人中,只有三个是黑色的,24是女性。“很多空间内的讨论由最大的非营利机构,世界的精英,”米娅Shah-Dand说,前谷歌社区经理把企业家通过她的非营利组织和维权人士做了分析,女性在AI伦理。“少数白人施加重大影响在AI伦理数百万和潜在的数十亿资金在这个非营利性的生态系统,这是有些像整体人工智能技术以营利为目的的生态系统,“Shah-Dand在她的报告中写道。
本德、Gebru和其他人说重要的是要让研究人员专注于艾未未的对人的影响,尤其是边缘化群体。更好的是,机构应该资助的研究人员从这些边缘群体。这是唯一的方法,确保技术是包容性和安全的所有的社会成员。
越来越多的运动
“如果你从来没有在公共援助,你不明白监视,”米尔纳Yeshimabeit说,非营利组织的创始人和常务董事数据4黑人的生活,检查的数据也证明了人工智能系统是如何对边缘化社区不成比例的掌握。面部识别监控,例如,用于治安、公共住房,甚至某些学校。
我们的数据机构,例如,嵌入社区人员在夏洛特这样的城市,底特律和洛杉矶。“在所有三个城市,社区成员觉得他们的数据被提取,不是为了自己的利益,但是很多时候他们的危机这些系统结合,瞄准和跟踪人,“Tawana佩蒂说,底特律维权人士与我们的数据机构合作项目。她现在是数据的国家组织主任4黑人的寿命。
这些组织了一些进展。由于AJL和其他人的工作,几家著名公司包括IBM和亚马逊或改变了他们的面部识别算法发布了暂停卖给警察在2020年,警察禁止使用人脸识别技术已经在全国蔓延。的停止洛杉矶警察局间谍联盟起诉了洛杉矶警察局没有对其预测警务战术和发布信息赢得了胜利2019年,当美国被迫公开个人和社区已经有针对性的技术。
“这个活动正是我们需要做的工作,”凯茜奥尼尔说,数据科学家和算法审计咨询公司的创始人ORCAA。她认为激进分子与改变谈话,AI偏见是“人类的问题,而不是某种技术故障。”
并非巧合的是黑人女性是领先的许多最有效的努力。“我发现黑人女性作为人处理这些刻板印象他们的整个生活和经验丰富的产品不工作对他们来说,“Raji说。“你如此接近的危险你感到令人难以置信的动力和急于解决这个问题。”
数据4黑人的寿命也是结合活动人士和研究人员合作解决数据相关问题;在亚特兰大,这意味着教学数据科学技能。“这并不复杂。它可以很简单,300人的一项调查,”米尔纳说。“这是关于使用这些信息来画一幅画,发生了什么。”
培训更多的人使用数据的基础是米尔纳的使命的一部分,确保技术是建立公平公正并且把谈话更多的人经历过算法的危害。“如果我们要建立一个新的风险评估算法,我们应该肯定有人在房间里那些真正知道这就像通过刑事法律体系,”她说。“人真的专家除了惊人的人喜欢Gebru-are博士没有博士学位的人,永远不会踏进哈佛麻省理工学院或一步。”
再平衡科技的力量
对于许多研究人员和支持者,终极目标不是提高报警当AI出错,但要防止偏见和歧视性的制度构建和释放到世界第一的地方。鉴于大型科技股压倒性的力量,有些人认为监管可能是唯一真正有效的壁垒来阻止破坏性的AI系统的实现。“现在真的没有什么可以防止任何类型的技术被部署在任何情况下,“Gebru说。
潮流可能逆转。民主党控制的国会可能会考虑一个新版本的算法责任法案,2019年首次推出,这将迫使企业分析自动决策系统的影响。比尔的赞助商,其中包括参议员科里布克和罗恩和国会议员伊薇特克拉克,写了一封信谷歌CEO Sundar Pichai Gebru被迫离开后,对谷歌的治疗Gebru担忧,突显出公司在科研界的影响力,并质疑谷歌对减轻危害的AI的承诺。
Timnit Gebru现在真的是没有什么可以防止任何类型的技术被部署在任何场景。”
克拉克说,监管可以防止不平等“硬,烤成“人工智能决策工具,如是否有人可以租一套公寓。一个批判的原始算法责任法案是它没有牙齿真正阻止AI偏见伤害人。克拉克说她的目标是加强执法权力的联邦贸易委员会”所以另一代人不进入[技术]的偏见已经烤。”
反托拉斯诉讼可以帮助中小企业改变力量的平衡。去年,众议院司法委员会称出所需大型技术利用其垄断控制数据训练复杂的人工智能抑制小公司。“我们不应该把这些公司的力量作为一个给定的,”米尔纳说。”的质疑,权力和试图找到这些创造性的政策解决方案。”
监管其他提议包括一个开始FDA-like实体创建标准算法和地址数据隐私,和提高公司的税收基金更多的独立研究。加州大学洛杉矶分校的贵族认为不支付其公平份额的税,科技公司缺乏政府在加州,所以公立研究大学等自己根本没有足够的资源。“这是部分原因为什么他们话语的垄断对他们的技术是做什么,”她说。有过这样的先例:我们的数据机构最初收到资金的一部分2009解决起诉Facebook为灯塔计划共享的人购买平台和互联网历史。
“监管不出来,不过,“梅雷迪思惠塔克说,技术工人组织的杰出的声音。惠塔克帮助整理2018年谷歌罢工,现在是AI的创始人和董事。“我认为我们需要强壮,有组织的社会运动,推动的监管会解决这些危害。”
事实上,工人运动已经为数不多的机制迫使改变科技公司,从谷歌一走了之从其无人机图像分析项目Maven终止强制仲裁的实践在性骚扰案件。个人在大型科技企业不仅可以抗议,当他们的产品将用于生病,他们可以推动,以确保这些产品多样化的团队建设和审计他们偏见在第一联合起来当伦理学家如Gebru辎重和米切尔面临报复。
亚历克斯·汉娜工会是一个强有力的制衡,尤其是对AI工人想说出来。”
Seeta Gangadharan,创始人之一的数据机构和伦敦经济学院的教授和政治科学,更进一步,提出技术工人需要教如何成为告密者。她设想夏天学校的计算机科学毕业生手臂上市,它们与参考资料。这样,工人们已经训练透露内部信息技术未来雇主可能发展有害。
Gebru是谷歌推出一个月后,数百名工人在其母公司,字母,宣布他们的地位。高级研究员Alex汉娜Gebru和米切尔前团队在谷歌,字母表工人联合会是一个至关重要的一步。“工会是一个强有力的制衡,特别是对于AI工人想大声疾呼反对一些滥用公司仍在延续的人工智能产品,”她说。Gebru,工会是为数不多的希望改变她。“必须有很大的压力,”她说。
汉娜警告说,建立反补贴的力量来对抗大科技的影响需要时间。其他人就没那么耐心。说:“这些公司有这么大的威力,Shah-Dand。“有人放弃他们,无论是内部或外部。