美国平安取新兴手艺核心发布！《人工智能平安

　　设想选择成心或无意地塑制了人类操做和依赖系统的行为径。换句话说，这些设想选择能够间接嵌入和/或加剧某些认知，包罗从动化。这些设想选择对警报（如视觉、触觉和听觉警报）的影响尤为较着。贸易航空业申明了从动化若何间接遭到系统设想的影响？。

　　免责声明：本文转自元计谋。文章内容系原做者小我概念，本号编译/转载仅为分享、传达分歧概念，若有任何，欢送联系我们！

　　跟着时间的推移，汽车的从动化程度越来越高。除了车道偏移系统和盲点传感器等其他功能外，制制商和工程师们还推出了巡航节制系统和大量其他高级驾驶辅帮系统（ADAS），美国国度公交通平安办理局认为，全从动驾驶有可能“正在其成熟阶段供给变化性的平安机遇”，但同时也说，这只是一种将来手艺。正如他们正在其网坐上用大写粗体字明白指出的那样，汽车能够“施行驾驶使命的所无方面，而做为驾驶员的您能够按照要求接管驾驶。。。。。。。。目前正在美国消费者采办的汽车还不具备这种功能”。即便这些汽车能够利用，也必需考虑到如许一种可能性，即虽然从动驾驶可能会消弭某些类型的变乱或报酬错误（如分心驾驶），但也有可能发生新的变乱或报酬错误（如过度信赖从动驾驶）。

　　正在这些系统的设想和运转过程中，考虑人取人之间互动的主要性怎样强调都不为过——正在设想中轻忽人的要素，轻则导致效率低下，沉则形成不平安和情况。例如，夏威夷曾不测发布大范畴告急警报，即将遭到弹道导弹袭击，其焦点缘由就是界面设想不妥，其特点是下拉菜单功能简单，缺乏明白的区分。

　　虽然这两个系统的功能很是类似，但美国陆军和海军正在办理体例上却采用了分歧的方式，为研究组织若何塑制用户互动供给了无益的参考。

　　跟着越来越复杂的人工智能系统和东西正在警务、移平易近、社会福利、消费品和军事等分歧使用范畴的引入，从动化的挑和日积月累。正在摆设人工智能、算法和自从系统时，未对用户进行充实培训，未就其能力和局限性进行明白沟通，也未制定指点其利用的政策，曾经发生了数百起事务。

　　研究还表白，若是ADAS系统的利用仅仅是经验性的，例如驾驶员正在没有颠末培训的环境下就利用从动驾驶汽车，那么仅正在驾驶几回之后，就会呈现报酬误用或ADAS系统的环境。此外，至多有一项研究发觉，驾驶员正在取其他（可能功能较弱的）从动驾驶系统互动时，若是先接触功能较强的从动驾驶系统，往往会成立起信赖基线。这种对ADAS车辆的信赖和决心可能会表示为分心驾驶，以致于驾驶员轻忽，花更长时间对告急环境做出反映，或冒正在没有从动驾驶系统的环境下不会冒的风险。

　　研究表白，驾驶员采用ADAS往往是机遇从义行为，只是车辆升级的副产物。驾驶员以姑且体例领会车辆的功能，有时只是收到附带书面申明的空中软件更新。这些更新不需要测验或认证。

　　正在相关现代人工智能的会商中，一个常被轻忽但环节的问题是从动化，即人类用户过度依赖人工智能系统的倾向。若是不加以处理，从动化可能并且曾经对人工智能和自从系统的用户以及的傍不雅者形成了。从动化给人工智能正在现实世界中的使用带来了庞大挑和，特别是正在和军事步履等高风险范畴。

　　手艺必需合适目标，用户必需领会这些目标，才能恰当地节制系统。此外，晓得何时信赖人工智能，何时以及若何亲近人工智能系统的输出，对其成功摆设至关主要。正在操做员的心目中，信赖和依赖人工智能的要素有良多，一般可分为三类（但每一类都可能受交互的影响，如极端严重或委靡等）。

　　实施人工智能的组织必需避免只专注于手艺方面，以确保人工智能的成功摆设。对这些系统中人的方面的办理同样值得考虑，办理策略应按照具体环境进行调整。

　　2。人工智能系统的固有要素，例如其毛病模式（可能呈现毛病或机能欠安的具体体例）以及若何呈现和传达消息；以及。

　　正在设想和摆设人工智能系统时，需要沉点关心这些影响人工智能使用风险的要素，特别是正在平安至关主要的环境下。按照从三个案例研究中吸收的经验教训，演讲从以下几个方面动手减轻风险。

　　从动化能够正在用户、手艺设想和组织层面表示出来，也能够被拦截。本文供给了三个案例研究，注释了这些要素若何或多或少地导致从动化，总结了经验教训，并给出了缓解这些复杂问题的可能策略。

　　正在取人工智能系统的互动中，每小我城市带着本人的小我履历和。研究表白，对从动驾驶汽车和从动驾驶汽车手艺更熟悉的人更有可能支撑从动驾驶汽车的成长，并认为它们能够平安利用。相反，行为科学研究表白，缺乏手艺学问会导致惊骇和，而对某项手艺稍有领会则会导致对其能力过于自傲。越来越多的“无人驾驶”汽车案例申明了用户的小我特征和履历若何影响他们的互动和从动化。此外，正如下面关于特斯拉的案例研究所的，面临小我的，即便是旨正在降低从动化风险的系统改良，其结果也可能是无限的。

　　从动化若是得不四处理，就会导致灾难性变乱的发生。从这些过去的变乱案例研究中，我们发觉了影响用户从动化的三个主要要素：人类用户固有的要素，如小我、经验和对利用系统的决心；人工智能系统固有的要素，如若何操做或若何呈现消息；以及组织要素形成的要素，如尺度流程和法式。

　　1。建立并用户理解的资历尺度。正在每一个案例研究中，我们都领会到，用户的往往是导致变乱发生的缘由，有的是一般缘由，有的是因为比来的特定系统变动或升级形成的。因为用户的理解对平安操做至关主要，系统开辟商和供应商必需投资于相关其系统的清晰沟通，组织和可能需要成立适合手艺及其利用的资历认证或再认证轨制。

　　受从动化的影响，用户往往会降低对从动化系统及其正正在施行的使命的性。相反，他们会过度信赖系统的决策能力，并不得当地将超出系统设想能力的更多义务委托给系统。正在严沉的环境下，即便面临彼此矛盾的，用户也会倾向于系统的。

　　美方供给了一个很有见识的案例研究，申明一个组织能够若何塑制从动化。美方可以或许通过组织政策和近一个世纪以来为甲士摆设高度从动化防御系统的经验，对其用户实施严沉节制。正在美军内部，陆军和海军摆设了很是类似的从动化导弹防御系统，但采用了两种判然不同的方式。

　　2024年11月，美国平安取新兴手艺核心发布《人工智能平安取从动化：人机交互的风险》。演讲指出，从动化是人工智能摆设中的一个环节问题，它可能导致用户犯错。为了应对这一挑和，演讲提出，组织、手艺和教育范畴的带领者能够通过加强培训、优化设想和改良流程来无效减轻从动化的影响。本文通过三个案例研究，切磋了从动化及其缓解方式：特斯拉的从动驾驶事务、波音和空客的航空事务以及美国陆军和海军的防空事务。元计谋编译演讲次要内容，以期为读者领会人工智能平安取从动化供给参考。

　　从动化是指人类用户过度依赖从动化系统的倾向，反映了人类取人工智能系统交互过程中发生的认知。

　　虽然有国际尺度，飞机制制商也遍及认为机组人员是飞机平安运转的最终义务人，但美国两大商用飞机供应商空客公司和波音公司却以截然相反的设想而闻名。它们之间的差别申明了应对从动化挑和的分歧方式。

　　对航空业坠机变乱的回首表白，即利用户正在颠末严酷培训、遭到积极、敌手艺的功能和局限性有透辟领会、并能确保不会误用或手艺的环境下，设想不妥的界面也可能导致从动化发生。

　　国际手艺经济研究所（IITE）成立于1985年11月，是附属于国务院成长研究核心的非营利性研究机构，次要本能机能是研究我国经济、科技社会成长中的严沉政策性、计谋性、前瞻性问题，和阐发世界科技、经济成长态势，为地方和相关部委供给决策征询办事。“全球手艺地图”为国际手艺经济研究所微信账号，努力于向传送前沿手艺资讯和科技立异洞见。

　　自飞机降生以来，从动化一曲是其成长的焦点——从初次动力飞翔到从动驾驶仪的最早迭代，只用了不到十年的时间。此后，飞机飞翔办理系统（包罗人工智能系统）的能力也正在不竭提高。现在，飞机飞翔的大量日常工做都由从动化系统处置。然而，这并没有使飞翔员被裁减。相反，飞翔员现正在必需连系飞机系统对外部前提的注释和反映，才能确定最合适的应对办法，而不是间接取四周打交道。虽然总体而言，因为从动化，飞翔变得愈加平安，但从动化是一个一直存正在的风险峻素。早正在2002年，美国联邦航空局（FAA）取业界的一项结合研究就说，航空业面对的严沉挑和将是若何制制出不易犯错的飞机和设想出更能抵御毛病后人类错误响应的法式。

　　取此相反，正在波音飞机上，飞翔员是绝对和最终的权势巨子，能够操纵系统的天然动做来“”某种步履方针。这些“软”的存正在是为了和提示飞翔员，即便这意味着飞机将超出制制商的飞翔包线。

　　虽然从动化是一个具有挑和性的问题，但它也是一个可控的问题，能够正在整小我工智能开辟和摆设过程中加以处理。从动化的表示路子——即用户、手艺和组织层面——也是减轻从动化的干涉点。

　　人工智能系统的成功摆设有赖于人工智能系统取担任操做这些系统的人员之间复杂的彼此依存关系。所以，要确保成功、合乎和平安地摆设人工智能，就必需处理从动化问题，因而，跟着人工智能逐渐融入社会各系统，决策者应提前做好预备，以降低取从动化相关的风险。

　　2024年11月，美国平安取新兴手艺核心发布《人工智能平安取从动化：人机交互的风险》。演讲指出，从动化是人工智能摆设中的一个环节问题，它可能导致用户犯错。为了应对这一挑和，演讲提出，组织、手艺和教育范畴的带领者能够通过加强培训、优化设想和改良流程来无效减轻从动化的影响。本文通过三个案例研究，切磋了从动化及其缓解方式：特斯拉的从动驾驶事务、波音和空客的航空事务以及美国陆军和海军的防空事务。元计谋编译演讲次要内容，以期为读者领会人工智能平安取从动化供给参考。

　　虽然法航447空客事务是报酬要素设想选择方面的一个案例研究，但过后演讲也注释说，“事务发生时察看到的行为往往取特定的文化和工做组织相分歧，或者说是其延长”。影响从动化的组织要素包罗正式的指点文件、轨制流程、采购指南、审计或查抄、激励打算和明白的优先事项，以及非正式的规范或培训预期。这些要素既是风险的来历，也是防止人类或手艺犯错的保障。降低风险的组织政策和流程退职业平安和收集平安等范畴获得了普遍使用。医疗保健范畴对“高靠得住性组织”的形成要素进行了普遍研究。这些组织节制办法的前提是，若是“我们无法改变人类的情况，我们能够改变人类工做的前提”。

　　人工智能系统发生变乱或误用的风险将跟着手艺、人机交互设想和用户理解的成长而变化。人工智能的成功、平安和合乎的摆设不只依赖于其取人类用户无缝协做的能力，监测、办理、利用并最终依赖于这些系统的人类的能力和义务。若是“正在环”中的人类要阐扬无效感化，就必需学会何时以及若何将认知使命卸载给人工智能系统。

　　2。注沉并施行分歧的设想和设想，特别是对于可能升级的系统。需要时，申明偏离设想的来由，并让保守用户领会所做的选择。正在可能的环境下，制定通用的设想尺度、规范和期望，并对其进行分歧的宣传（通过组织政策或行业尺度），以削减混合和从动化的风险。

　　人因工程和用户界面/用户体验设想等旨正在优化用户取系统之间联系的范畴，努力于将相关人类能力、局限性和心理的学问整归并使用到手艺系统的设想和开辟中。物理细节，从按钮的大小和到节制杆或选择菜单的外形，再到闪灼的灯光或图像的颜色，看似微不脚道。然而，这些细节却能正在人取手艺的互动中阐扬环节感化，并最终决定系统的适用性。

　　这些设想上的差别可能有帮于注释为什么一些航空公司只运营单一机型的机队；飞翔员凡是会利用一种机型，交叉培训飞翔员是可能的，但成本昂扬，因而并不常见。

　　美国海军的AEGIS兵器系统和陆军的“爱国者”系统都是分级自从系统，可扫描来袭的空中（导弹或飞机），操纵功能强大的雷达对其进行，并指导导弹（AEGIS系统为“尺度导弹”或SM；“爱国者”系统为“爱国者先辈能力”或PAC）对来袭实施冲击。这些系统可以或许正在无人干涉的环境下进行自从操做，包罗发射防御导弹。自20世纪80年代末以来，人们遍及认为这两种系统是成功的防御系统，虽然两者都曾发生过较着的灾难。

　　从动化次要表示为两种形式：一是疏忽错误，即从动化系统未提示导致人类未采纳步履（如车辆案例研究所示）；二是行为错误，即人类遵照了从动化系统的错误指令。从动化并不老是导致灾难性事务，但它会添加此类成果发生的可能性。削减从动化有帮于改善人工智能系统的报酬监视、操做和办理，从而降低取人工智能相关的一些风险。

　　认识到从动化的复杂性和潜正在现患，本文针对影响从动化的三个可控要素（用户、手艺、组织）进行结案例研究，这些要素取上述影响人机交互动态的要素相对应（见表1）。

　　时间、使命难度、工做量和压力等额外的使命特定要素会加剧或削减从动化。这些要素应正在系统设想、培训和组织政策中加以恰当考虑，但不正在本文会商范畴之内。

　　正在空客公司的飞机上，从动化系统的设想目标是使飞翔员和机组人员免受报酬错误的影响。飞翔员的节制权遭到“硬”的束缚，答应对飞翔节制进行操做，但改变高度或速度，例如会导致飞机布局损坏或失控的改变（换句话说，超出制制商的飞翔包线）。

　　虽然正在设想上存正在不合，但这两种机型都连结着很高的受欢送程度和平安性，“世界几乎所有的大型客机”都是由空客或波音制制的，这证了然正在设想、培训和运营过程中持之以恒地采用各自的方式常无效的。然而，这两种方式都无法避免变乱或毛病的发生，特别是正在违反这些或没有向用户充实传达变化的环境下。