Enable javascript in your browser for better experience. Need to know to enable it? Go here.

视角四:技术作恶的影响扩大

 

“恶意”技术通常与勒索软件、入侵系统窃取数据或制造计算机病毒等犯罪活动联系在一起,但这并不是全部。由于技术形势的发展,技术作恶的定义也应该相应扩展,以包含那些虽然合法甚至被广泛接受,但最终会威胁社会福祉的行为。

 

科技棱镜趋势分析

 

随着技术变得越来越复杂,技术被误用滥用的形式也越来越多。人们在日常活动中越来越依赖科技,相应地,他们日益受到意想不到的、甚至是恶意后果的影响。再加上高度的自动化以机器的速度做出决策,出错的可能性就会迅速增加。

 

根据我们的定义,“作恶”技术不仅包括恶意软件和黑客工具等犯罪技术,还包括恶意广告和客户定位。一项技术是否属于作恶,可能是一个视角问题。有些人并不认为互联网广告、跟踪 Cookie 或社交媒体传播活动具有侵入性,他们很乐意用自己的数据换取他们认为个性化或特殊价值的服务。有些人则在浏览器中安装了广告拦截软件,并完全避开微博、朋友圈等社交应用。对某些人来说,同意跟踪记录或收集个人数据基本上是一种自动选择;而对另一些人来说,则需要经过谨慎思考。这就是说,由于不同人口群体对技术的获取和体验程度不同,以及关于知情同意的信息和选择的呈现方式存在各种差异,导致许多人已经忘记了一个事实,即他们首先是有选择权的。

 

并非所有的作恶行为都是蓄意或是恶意的。算法或机器学习系统中的偏差就是一例。由于在构建或开发过程中发生的意外偏差和疏忽,可能会对某些客户群体表现出恶意倾向,但这种偏差并非由于系统遭到了破坏或设计者有意为之。

 

相关预兆信号包括:

 

 

  • 消费者对广告和营销技术的态度和行为正在发生变化,接受广泛使用自身数据的人和更关心隐私的人之间的分歧也越来越大
 
  • 对于社交媒体在政治竞选中的使用和影响,以及社交媒体渠道如何影响健康、政治和其他社会舆论,人们日益感到焦虑
 
  • 人工智能 (AI) 和机器学习 (ML) 的使用越来越多,造成了一些意想不到的后果,如算法和所收集数据集中的偏见。对恶意影响的担忧促使人们试图控制人工智能在比如招聘等流程中的使用
 
  • 围绕数据收集、保留和使用的法规得到加强,如《中华人民共和国个人信息保护法》(新版)、《欧洲通用数据保护条例》(GDPR)、《加州隐私权法》(CPRA) 以及其他司法辖区的同类规定

 

机会

 

随着数据泄露接近历史峰值,防范黑客蓄意攻击和恶意软件变得日益重要。企业必须在日益扩大的攻击面上大力投入进行防御,以对抗资金雄厚、组织严密的攻击者。然而,随着发生危险的可能性上升,企业还必须考虑恶意技术其他方面的问题。我们相信,尊重客户的意愿,避免”如影随形“的受众定位,并根除算法系统中的偏见,不仅从本质上讲是合乎伦理的,而且有利于建立信任和积极的公众认知,最终有利于企业的健康发展。

 

据媒体报道,SolarWinds 供应链遭黑客攻击,致使该公司损失了近 2,000 万美元,保险索赔估计达到 1 亿美元,这表明恶意事件的财务的不良影响很容易失去控制。GDPR 的罚金在缓慢起步后又有所提高,总罚金较上年激增 113.5%。最值得注意的是,亚马逊在其 2021 年 7 月的财报中宣布了 8.77 亿美元的巨额 GDPR 罚金,比此前的记录高出近 15 倍。随着消费者对隐私日益重视,稳健的安全保护措施已成为某些公司的一大优势。思科最近的一项调查发现,近 80% 的消费者将数据保护纳入购买决策,并愿意为隐私标准更高的产品或供应商支付更多费用。

London landscape at night with city lights
London landscape at night with city lights

我们所看到的当前形势

在与英国政府为期七年的一个合作项目中,我们帮助他们改变了与公民互动以及向公民提供公共服务的方式,从一开始就将信任和安全视为重中之重。该项目将不同的政府网站整合为一个强大而便利的平台,增强了公民体验,并大大缩短了部署周期。重要的是,该平台有一个在线身份认证系统提供支持,从而在公民提交服务申请时,同时满足所有必要的数据保护要求,并尊重个人的隐私权。最大限度减少产生负面结果的可能性,增强人们对平台的信心,促进了该平台的迅速普及。

前三个值得关注的趋势

 

采纳

 

安全的软件交付——过去的一年里,我们观察到,“软件供应链”受到的攻击显著增加。“软件供应链”并非软件本身,而是帮助我们将软件投入生产的工具、过程和库。美国白宫甚至发布了一项关于网络安全的行政令,包括改善供应链安全的具体指令,如要求所有政府系统都提供软件“材料清单”。安全软件交付强调,安全问题人人有责,这一理念应贯穿整个软件生命周期。

 

分析

 

道德框架——任何决定都有后果。在科技界,随着 AI 决策开始成为主流,伦理学家们一直在探讨道德决策框架,试图让决策过程变得透明和清晰。

 

 

预测

 

量子机器学习——虽然量子机器学习可能是解决复杂的化学和材料科学问题的一支重要力量,但也可能在数据的伦理使用方面带来进一步的挑战。

值得关注的趋势:完整矩阵

Adopt
当下存在的技术,正在业界得到充分利用。
  • 去中心化安全
  • 安全的软件交付
  • DevSecOps (开发安全运维)
  • 自动化合规
  • 测试机器学习算法和应用程序
  • 隐私第一
  • 人工智能即服务
Analyze
受到关注的技术,但依赖不同行业和应用场景。
  • 区块链和分布式账本技术
  • 个人信息经济
  • 企业背景下的合成媒体
  • 计算机视觉
  • 互联家居
  • 生物特征识别
  • 面部识别
  • 安全领域的人工智能
  • 智能合约
  • 可替代货币
  • 道德框架
  • 可解释的人工智能
Anticipate
成熟度欠缺的技术,可能在未来几年产生重大影响。
  • 环境和社会治理技术
  • “安全向前”企业
  • 监控技术
  • 沉迷式技术
  • 环境和社会治理技术
  • 技术和主权力量
  • 智慧城市
  • 相关法规日益强化

对采纳者的建议

 

  • 网络安全是一场与对手的猫鼠游戏。AI 在各企业中迅速普及,以助力其应对安全威胁,各种各样的产品正在涌现,以满足不断增长的需求。目的是通过自动化手动检测的任务,提供入侵警报和仔细检查网络流量等智能功能,以检测异常行为、违反政策的情况或机器人故障,从而创造公平的竞争环境。也许 AI 方法最关键之处在于,它们不仅能够限制受攻击面和填补漏洞,而且还能够帮助预测未来可能发生的攻击,从而可以提前采用适当的风险缓解策略。

     

  • AI 不是灵丹妙药。重要的是要记住,任何用于防御的技术也可能被攻击者利用,虽然企业可能会从 AI 中受益,但它不是灵丹妙药。企业需要摈弃将人工智能、机器学习和数据导向型工具视为“一体适用”的解决方案。相反,任何工具都需要成为贯穿整个组织结构的广泛智能战略的一部分。例如,机器学习不能孤立地实现有效的安全性;它需要管理数据和模型的生命周期,并反馈结果。更重要的是,安全问题人人有责。这使得零信任架构方法能够应用于细分现实网络,并以一种安全扩展的方式覆盖安全和数据访问原则,根据需要提供信息;不多不少正好满足隐私保护的目的。

     

  • 采用或构建一个数据道德框架向员工和客户明确数据是如何存储、使用和保持安全的。我们建议您只保留实际需要的数据,不超过所需的量。现代合规性和隐私法要求审慎的高水平审查,这可以转变为一个积极的差异化因素。作为数据保留策略和数据集构建和使用的基础,强大的数据伦理框架也可以在您的整体数据战略中发挥重要作用。

     

  • 即使不是一目了然,也总是会存在偏见,所以要不断地努力。偏见很难在事后消除,因此,前期处理(包括不公平在内的问题)至关重要。重要的是,记录数据的方式要允许对基于数据的行动、产品或决策进行审计和分析,以了解其对特定群体的影响。需要对数据来源的表述、所提取样本的人口特征以及所用算法的选择进行具体思考。我们负责任的技术手册提供了指导和最佳实践,可以协助实施这一过程。永远不要假设自己的数据不存在偏见。我们是人类,偏见无处不在。

到 2023 年,企业将…

…认识到这一点,并努力抓住机会,通过结合社会后果以及安全、伦理技术的全局性战略,在争夺消费者和人才的竞争中脱颖而出。
Harinee Muralinath
Thoughtworks 全球安全社区负责人

下载完整报告