Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Perspectives Edition 29 banner
Perspectives Edition 29 banner
第29期 | 2023年11月

生成式人工智能——产品创新的加速器

引言:速度越快,风险越高

 

如今,产品开发的相关压力大幅增加。对速度和规模的要求一直存在,但在更严峻的经济环境下,不但风险增加,资源还会减少。

 

Thoughtworks产品策略与交付总监Farooq Ali说:“目前形势导致业界逐渐转变为我们所说的价值驱动型工作方式。投资回报率受到更严格的审查,产品工作与客户和业务成果的一致性受到前所未有的重视。二阶效应是产品团队和流程日趋精益化,人们开始思考如何事半功倍。

 

同时,随着各企业致力于实现差异化,产品功能不断增加,开发环境也变得愈加复杂。

 

Thoughtworks客户体验、产品和设计负责人Rujia Wang表示:“真正重要的是确定产品的独特价值主张,制定产品路线图,切实保持可持续的竞争优势。”

 

Thoughtworks生成式人工智能产品负责人Zichuan Xiong指出:“如今的挑战不在于推陈出新,而是如何基于产品生态系统的依赖性和复杂性进行扩展。”

 

很多产品团队致力于同时满足用户合意性、商业可行性、技术可能性、可用性和责任性等多项要求,尽管人工智能给这些团队带来了难题,但也给这些团队带来了越来越多的帮助,尤其是生成式人工智能。一项针对11个行业近600家企业的调查发现,三分之一的企业已在积极探索生成式人工智能在产品设计和仿真方面的应用。市场研究表明,到2032年,生成式人工智能的产品开发市场规模将激增到10亿美元。

 

到2032年,在产品开发方面广泛采用生成式人工智能将成为大势所趋

来源:MarketResearch.biz

 

至少在理论上,对产品开发而言,生成式人工智能可以发挥强大的辅助作用。长期以来,各企业一直利用自动化技术来减少开发工作中较为繁琐的环节。不过,借助生成式人工智能,我们希望进一步深入革新流程,让团队可以腾出更多时间专注于最关键的产品功能和创新,为创造业务价值做出更直接、更实质性的贡献。

 

Wang指出:“生成式人工智能可帮助我们梳理产品开发方面的许多复杂问题,因为这种人工智能可以同时考虑到成千上万个有关客户互动和市场信号的数据点,而人类则可能需要花数月时间才能理解这些数据点。”

 

Xiong补充表示:“生成式人工智能可将传统原型设计的成本降到趋近于零。例如,生成式人工智能特别擅长识别模式,并通过自然语言梳理新发现,因此企业可创建一个应用程序,让生成式人工智能基于对其他产品组合价值的了解,弄清添加某些功能会对产品组合产生什么影响。”

 

Ali说:“在了解和利用信息方面超越竞争对手,这是一种新的竞争优势。快速了解和利用市场信息,有助于降低产品决策的风险。在这方面,若采用生成式人工智能,就如虎添翼。”

 

然而,与所有新工具一样,对于如何应用生成式人工智能还存在一定程度的不确定性,而且大家逐渐意识到,如果任其发展,其影响可能不一定完全是积极的。

 

Photo headshot of Farooq Ali, Principal, Product Strategy & Delivery, Thoughtworks
“在了解和利用信息方面超越竞争对手,这是一种新的竞争优势。快速了解和利用市场信息,有助于降低产品决策的风险。在这方面,若采用生成式人工智能,就如虎添翼。”

 

Farooq Ali
Thoughtworks产品策略与交付总监

第1节:在产品开发的全程利用人工智能来增强成果

 

Ali指出,产品开发价值链大致可分为以下几个关键阶段:

 

  • 研究与分析
  • 构思与规划
  • 设计与开发
  • 测试与反馈
  • 生产与部署
  • 发布与营销
  • 客户支持

 

Ali认为,在上述大多数阶段甚至全部阶段,“利用生成式人工智能进行创新的时机已经成熟。”

 

原因之一是,生成式人工智能是一场翻天覆地的真正变革。Wang说:“与之前的主要区别在于,生成式人工智能本就具有创造力,因而可增强产品和设计从业者的创造力。生成式人工智能可以贯穿整个产品开发过程,从产品定义到解决方案设计,再到构建、发布和演进。”

 

Photo headshot of Rujia Wang, Head of Customer Experience, Product and Design, Thoughtworks
“(生成式人工智能)可以贯穿整个产品开发过程,从产品定义到解决方案设计,再到构建、发布和演进。”

 

王汝佳
Thoughtworks产品与设计部客户体验负责人

在研究与分析阶段,生成式人工智能可有效助力企业查找、收集和分析有关市场状况和客户偏好的数据,更重要的是,可以引入新视角。

 

Ali解释说:“人工智能可以快速整合大量信息,在市场趋势、市场信号和客户需求方面提供合理缜密的理解。不过,在考虑关注重点时,最终我们总是会出现选择偏差。人工智能的真正作用在于让我们拓宽视野,有能力对研究进行进一步分析和整合。”

 

例如,Thoughtworks曾帮助一位客户在生成式商业智能这一新兴领域寻找机遇,探索竞争格局。我们采用了实验性创意生成辅助工具Boba,来研究其他企业如何将生成式人工智能用于实现商业智能。在短短数秒之内,我们就得到了一份该领域所有企业的名单,无需付出高昂费用进行市场调研。

 

另一个示例是客户访谈,客户访谈是一种常用策略,有助了解客户的角色和得失,以便将这些信息反馈到产品设计中。

 

Ali说:“访谈会产生大量笔记、录音等。目前,有些工具可总结访谈记录,从对话中归纳关键见解,按主题分类,然后研究人员可以根据这些主题执行进一步分析。”

 

在构思与规划阶段,人工智能可以与人类协作,在创作初期艰难的时刻提供支持。

 

Wang说:“虽然生成式人工智能随处可用,但我认为,在产品开发期间用于解决方案设计所发挥的作用最大,这样会获得最大的短期收益。生成式人工智能的确降低了构想、创意、可视化和沟通的边际成本。在创作初期,我们经常面临‘一片空白、无从下手’的难题,而生成式人工智能助我们一臂之力,为我们提供大量可供探索和借鉴的创意,拓展我们的思维。”

 

Photo headshot of Rujia Wang, Head of Customer Experience, Product and Design, Thoughtworks
“在创作初期,我们经常面临‘一片空白、无从下手’的难题,而生成式人工智能助我们一臂之力,为我们提供大量可供探索和借鉴的创意,拓展我们的思维。”

 

王汝佳
Thoughtworks产品与设计部客户体验负责人

零食巨头Mondelez就是典型示例。Mondelez利用人工智能来提出新产品配方建议,然后由人类品尝员进行筛选和审查。Ali说:“这种方法最厉害的地方在于,这些算法不仅不会取代人类的创造力,反而会起到催化作用,为人类带来前所未有的灵感。虽然这些算法并不完美,但就算是人类创意专家,也不能指望他们100%提出好创意。”

 

即使灵感迸发,但在生成式人工智能出现之前,“要将创意可视化并进行相关沟通仍需花费很多精力。”Wang指出,以前,必须严格遵循优先次序,因为能进入下一阶段的创意数量有限。而现在,可将一些繁重的创意可视化工作交给生成式人工智能,绘制不同保真程度的线框图,与人类相比,这样做的边际成本几乎为零。这样一来,企业就可在构思过程中更长时间地进行头脑风暴,花更多时间真正考虑所有的备选方案,在推敲这些创意的过程中,甚至可能会找到更好的创意。”

 

生成式人工智能可实现快速原型设计和界面设计,让团队更轻松地评估各种创意,然后相应地开发代码,以免团队在代码方面投入过多时间和精力。这样可以提高效率,进而为高效开展发布与营销等产品开发后期工作铺平道路。

 

Xiong说:“生成式人工智能不仅减轻了运营任务的负担,还让产品工程师和产品专业人员可以腾出更多时间与客户协作和交流、加快产品上市、解决实际问题。人工智能可以生成客服分析或搜索引擎优化(SEO)计划等副产品,这样人类就可以专注于第一要务,即实现客户利益和客户价值。”

 

不过,这些用例在一定程度上还取决于具体行业。Xiong表示,对于内容生成与收入直接挂钩且监管较宽松的行业(如游戏行业),“可以快速熟练地在产品生命周期的每个环节应用生成式人工智能工具”。对于需要密切保护知识产权和隐私、虚假信息可能造成毁灭性后果的行业(如金融服务业),可能必须采取更加谨慎的方法。

 

探索我们的生成式人工智能产品加速器可以如何助您一臂之力

 

第2节:最佳做法和原则:平衡人工智能和人类智能的作用

 

由于对生成式人工智能这一技术缺乏了解,企业往往会高估使用新型生成式人工智能工具所需的投入,例如误以为需要具备高级技能或大量高质量数据。

 

传统的机器学习模型需要良好的数据输入才能得以充分训练,而且由于数据质量问题,这些模型很难扩展,而生成式人工智能工具则不同,它们能够填补空白,创建自己的数据。由此一来,企业无需大量数据投资就能着手利用生成式人工智能来优化其开发流程。

 

Figma全自动化设计助手Genius为例,作为一名助手,Genius熟知设计师的产品设计系统,可在设计师构建界面时推荐可能的解决方案。热门项目管理工具Jira是生成式人工智能低门槛应用的另一个示例。Jira的Atlassian Intelligence是人工智能驱动的“虚拟队友”,可帮助汇总会议成果和确定工作流程。

 

Xiong认为,要想熟练应用生成式人工智能,企业面临的真正挑战是“需要改变设计思维”。设计师们往往倾向于遵循久经考验的原则,而这些原则所适用的环境可能已经不再那么切合实际,就如同在全球迈向移动化的过程中,仍在针对大屏幕定制用户界面(UI)。

 

Xiong解释说:“未来我们会减少图形用户界面(GUI),例如从一个系统向另一个系统提交表单,大语言模型将主导系统间的信息事务。由于事务型应用程序现在可能采用零界面,因而就产生了一个问题:如何生成和验证创意,以及为此设计解决方案。”

 

Wang指出,要充分利用生成式人工智能,就必须学会如何以最佳方式与其互动。

 

她说:“要学会如何与生成式人工智能交流和协作,使之成为真正的创意伙伴,这需要时间。一种策略是让生成式人工智能提问,为其提供更多的情景信息来创建一个更好的创意列表,或者让生成式人工智能思考成功实现一个创意必须具备哪些条件,而不是直接回答如何成功实现创意。有些互动可能会让人感觉别扭,但为了获得更好的结果,就必须提出更好的问题。”

 

要将生成式人工智能作为助手,了解其局限性也至关重要。在整个产品开发周期中,在确定企业尝试利用人工智能解决的问题时,需要深入了解企业的目标,这种情况下人类仍发挥着更大的作用。

 

Photo headshot of Zichuan Xiong, Head of Generative AI Product, Thoughtworks
“设计不是一次性工作,而是需要人们花时间寻找最佳解决方案,不断调整,使用不同的工具才能完成。反复回顾客户旅程,持续迭代,并非人们想象的那么容易。企业仍然需要人类,需要我们拥有的所有专业技能、经验和知识。[人工智能]只是一种工具,不应将其视为万能解决方案。”

 

熊子川
Thoughtworks生成式人工智能产品负责人

Xiong指出:“有些人幻想向提示引擎中随意输入提示就能得到理想结果,但只有优秀的设计师才知道如何把创意转化为文字,再把文字转化为产品。“设计不是一次性工作,而是需要人们花时间寻找最佳解决方案,不断调整,使用不同的工具才能完成。反复回顾客户旅程,持续迭代,并非人们想象的那么容易。企业仍然需要人类,需要我们拥有的所有专业技能、经验和知识。[人工智能]只是一种工具,不应将其视为万能解决方案。”

 

Wang说:“虽然可以部署‘合成用户’(即基于真实客户的历史模型和模式而构建的用户),来协助完成某些设计任务,但合成用户有其自身的局限性。首先,我们并不总是了解合成数据的偏差和问题,也不知道合成结果是否真的有助于洞察我们要解决的问题。归根结底,还是人类更善于理解他人的需求。”

 

在生成式人工智能可能存在知识缺口的领域(如产品验证),人工输入也十分重要。

 

Wang表示,构建有些工具所采用的知识库“可能不包括最新事件或最新监管变化”。她还说:“[生成式人工智能]也不知道竞争对手的最新动向,这就需要人类,利用领域专业知识验证人工智能的输出。”

 

Xiong表示同意:“验证结果需要人类产品设计师学习最终用户知识,与最终用户合作,验证生成的内容是否具有价值、连贯一致、可预测且无偏差。”

 

Ali认为,从本质上讲,人工智能的成熟度或人类与人工智能的协作分为三个层次:人工智能为产品决策提供信息;人工智能优化产品决策;人工智能自动执行产品决策。

 

“企业必须分析产品开发价值流,分解出各个关键决策点,然后思考:对于这项产品决策,我们是否应该参考人工智能提供的洞察?我们是应该将人工智能作为一种增强手段?还是应该实现自动化?每家企业的答案都不尽相同。”

 

人工智能协作成熟度模型

来源: Thoughtworks

 

在A/B测试等情况下,人工智能能够找到并提出相关见解,为人类决策过程提供信息,具有切实的助益。尽管如此,企业在完全根据人工智能生成的结果做出决策之前,还是应停下来权衡利弊。

 

Ali说:“在测试等领域,你可能希望保留人类的判断力和创造力,因为这是你的一个差异化优势所在,人工智能无法取而代之。与客户交流就是一个很好的示例。人工智能最终将能与客户交流,大规模收集更多数据。但你是真的想这样做吗?还是想与客户建立联系,让客户参与整个过程?仅仅因为你可以用人工智能来实现自动化,就采取这种做法,这未必是个好主意。”

 

Photo headshot of Farooq Ali, Principal, Product Strategy & Delivery, Thoughtworks
“人工智能最终将能与客户交流,大规模收集更多数据。但你是真的想这样做吗?还是想与客户建立联系,让客户参与整个过程?仅仅因为你可以用人工智能来实现自动化,就采取这种做法,这未必是个好主意。”

 

Farooq Ali
Thoughtworks产品策略与交付总监

尽管需要考虑上述问题,但不可否认的是,人工智能正在改变人类参与产品开发的方式。

 

Ali解释说:“创作初稿的边际成本趋近于零,我们的角色也从创作者演变为创意总监。我们将花更多的时间指导人工智能、整理其输出,真正进行迭代,与人工智能协作。虽然最终的创作方向将由人类掌握,但快速大量涌现的这些创意及其实施工作自然会要求我们更好地进行策划管理。”

 

这意味着与人工智能协作将成为今后每个人的工作内容之一。

 

Wang说:“虽然有企业专门招聘提示工程师,但产品开发团队的每位成员都应探索如何与人工智能协作,学习提示工程专业知识,充分发挥人工智能的作用。若具备出色的批判性思维、解决问题的能力和语言能力,产品经理、设计师和技术主管都可以成为提示工程师。”

 

在这种新格局中,领域专家的参与将变得更加重要。

 

Wang说:“我们一直主张让我们的跨学科团队深耕业务,因为这样才可以降低沟通成本,确保我们走在正轨上。要想提高人工智能帮助我们解决的问题的质量,关键在于对业务领域的了解,因此运用业务领域的专业知识比以往任何时候都更为重要。”

 

除了提供必要的业务验证外,领域专家现在还可以提高在创作过程中的参与度。Ali说:“设计正逐渐民主化,参与设计所需的技能门槛正在降低。”

 

Wang认为,“跨学科团队的成员不仅要了解人类,了解技术和数据,还要了解业务,这样才能助力企业充分利用人工智能。重点在于要了解各种背景知识。”

 

她补充说:“有些行业需咨询产品开发团队以外的法律和监管专家,对于确保遵守相关法律法规(如《通用数据保护条例》或关于财务咨询服务的相关规定),这一点也非常重要。”

 

Xiong说:“新一代的产品设计师应该开放、勇敢、富有远见,可以制定全新的设计原则,试用全新的工具,利用这些工具塑造全新的设计行为模式。设计终究是一种社会活动,会随着人类社会的发展而演变。”

 

第3节:避免不良后果

 

随着企业通过生成式人工智能,探索新的创作领域,愈发重要的是了解新领域带来的新风险,找到降低风险的方法。

 

Xiong指出,随着生成式人工智能获得多模态能力,它可能会因为极高的速度和效率而被误认为是权威,从而导致更难以从人工智能产生的幻觉中辨别真假。

 

他解释说:“在不久的将来,当数百个人工智能代理之间进行联网时,如果其中一个代理出错,而另一个代理又将错就错,就可能会引发巨大的多米诺效应,后患无穷。”

 

Ali指出:“如果在决策中使用人工智能,就应该确保能够解释为什么人工智能会建议做出某个决策。而实际上,目前的模型非常不透明。我们知道如何构建这些模型,却不知道这些模型的推理方式。”

 

Wang指出,人工智能在实现可解释性方面面临的挑战就好比人类获得某个答案一样。

 

她说:“可能全凭经验,也可能全凭直觉。在产品开发过程中使用生成式人工智能时,我们会遇到非常类似的挑战,比如会得出一个我们并不知道如何解释的结论。在这种情况下,需要考虑的一个关键问题是,我们能否对生成式人工智能得出的结论提出质疑。”

 

此外,还需考虑知识产权和版权问题,这也导致企业犹豫是否要在产品开发中采用人工智能。

 

Ali指出:“虽然使用现成的人工智能产品和模型很有诱惑力,但从客户的角度来看,除非经过适当的审核,否则我们不得使用大量的采访资料和客户数据并将其导入外部工具,而等到完成审核时项目都已经结束了。即使人工智能工具能够提供某些功能,也必须花一些时间了解数据的去向和使用方式。”

 

正因为生成式人工智能是根据外部数据进行训练,而这些数据对每个人(包括竞争对手)来说都是唾手可得,因此企业有理由尽可能将专有数据纳入人工智能模型。此外,还需对数据进行偏差审核,这不仅仅局限于公共数据,还可以将范围扩展到企业自身的资源。

 

Ali指出:“客户数据可能偏向于某一人群。面对这种情况时,可能需要审慎决策,使用合成数据,或与其他人群的客户进行慎重访谈来获取不同的数据,从而优化数据。”

 

Wang说:“产品开发过程的最重要环节仍是对真实用户进行研究和测试,其中包括对不同群体进行测试,以识别使用生成式人工智能可能带来的偏差。”

 

Xiong认为,在绝大多数消费者用例中,治理问题带来的挑战将比道德失范更为严峻。

 

他说:“治理方面的挑战不在于治理人工智能,而是治理人工智能生成的内容。现有的操作系统不仅要审查内容,还要兼顾编辑流程,需考虑到合规性、隐私性、安全性等各要素。一旦生成式人工智能的采用率上升,此类工作量也会随之上升。”

 

Photo headshot of Zichuan Xiong, Head of Generative AI Product, Thoughtworks
“治理方面的挑战不在于治理人工智能,而是治理人工智能生成的内容。现有的操作系统不仅要审查内容,还要兼顾编辑流程,需考虑到合规性、隐私性、安全性等各要素。一旦生成式人工智能的采用率上升,此类工作量也会随之上升。”

 

熊子川
Thoughtworks生成式人工智能产品负责人

令人欣慰的是,人工智能也有可能解决其自身带来的一些治理问题。Xiong解释说:“例如,可将合规性或内容政策作为大语言模型的输入,然后模型便可以进行内容审查。”

 

Wang指出,人工智能治理最有效的防护准则是将人工智能相关道德与责任原则植入企业文化,包括植入客户体验之中。部分内容参见Thoughtworks创建的工具、方法和框架合集(旨在助力企业成功应对打造负责任的技术这一复杂而又重要的问题)。

 

此外,还可在产品开发过程中引入一些审慎的措施,确保更严格地遵守负责任的人工智能做法。

 

Wang说:“生成式人工智能不仅可以为产品开发带来更多可能性,还可以加快产品开发过程。不过,通过有意引入阻碍等方式,可让人类和人工智能共同探讨解决方案可能产生的不良影响或解决方案无法奏效的原因,这样我们就能做出更加深思熟虑的决策。”

 

她补充表示,与任何形式的创新一样,“借鉴他人的创意是人类创作过程的固有做法,不过这在生成式人工智能中变得更加明显。关键在于,在生成式人工智能提供的创意的基础进行开发,而不是照单全收或照搬照用。这就是为什么人类在整个产品开发过程中仍然至关重要的原因”。

 

Photo headshot of Rujia Wang, Head of Customer Experience, Product and Design, Thoughtworks
“关键在于,在生成式人工智能提供的创意的基础进行开发,而不是照单全收或照搬照用。这就是为什么人类在整个产品开发过程中仍然至关重要的原因。”

 

王汝佳
Thoughtworks产品与设计部客户体验负责人

第4节:生成式人工智能应用的未来发展方向

 

生成式人工智能不断发展,影响力与日俱增,不仅会引起产品开发变革,还会改变应用程序本身的性质及其创建者的角色。

 

Xiong说:“如果在整个产品生命周期中采用大语言模型,就有可能合并角色,这样就不用严格区分设计师、产品经理和业务分析师,也就无需安排不同的角色来负责不同的工作,如将业务需求转化为产品规格,将产品规格转化为用户故事,或将用户故事转化为界面。今后,可以使用模型转化不同格式的需求,即便语言模棱两可,也可以游刃有余,将问题(业务)和解决方案(设计)领域相互关联。”

 

同时,我们预计今后使用的应用程序会越来越少。Xiong指出:“我们现在之所以有这么多应用程序,是因为软件本身具有局限性。每个软件解决方案都有一个封闭的适用范围,想要将其用于新的范围就必须从头开始打造应用程序。虽然传统软件产品的适用范围在不断缩小,但构建人工智能应用程序却带来了新的可能性。例如,如果你是项目经理,就应关注这一领域。”

 

企业要想打造一支由人工智能驱动的员工队伍,就必须摆脱传统的软件开发模式,着手为产品开发团队提供更多机会,构建和试用创新型人工智能解决方案。

 

Ali说:“与生成式人工智能有效互动很快就会成为必备技能,就如同谷歌问世时,大家都不得不学习如何进行搜索一样。未来,领域专家将在产品开发方面展开更密切的合作,设计可以与系统互动的提示,来构建人工智能驱动的应用程序。此外,我认为,还将实现跨学科融合,数据科学、行为经济学甚至哲学等学科都进一步融入产品开发中。”

 

设计方法也必须改变,与时俱进。

 

Xiong说:“设计思维包含三大要素:商业可行性、用户合意性和技术可能性,但采用人工智能之后,还需要加上合理负责任的使用这一要素。由于人工智能将成为新用户,所以还必须升级现有的服务蓝图设计方法。另外,必须像设计人类代理一样设计人工智能代理,尝试设计人工智能代理与人类代理之间的关系,让他们共同执行任务,帮助客户。在这样的设计中,不要将人工智能视为一个系统,而是视为一个智能个体。”

 

另一个备受关注的新兴领域是模拟原型设计。Ali表示:“对于制造业来说,这是老生常谈了。因为涉及的都是实体,所以设计更容易,还可根据不同标准对设计进行测试。构建软件的难题在于受众是人类,而为人类建模本身就是一个非常棘手的问题。另外,虽然可以产生大量的创意和原型,但这并不意味着能真正快速地对这些创意和原型进行评估。一旦人们知道如何通过仿真和模拟测试快速评估创意,就会在打造新功能和提出产品创意方面开辟出新天地。”

 

Wang认为,各行业应用生成式人工智能的方式既存在分歧又日益趋同。

 

她说:“数据量更大的行业拥有更强大的模型,因而可能会有更多的变革机会。生成式人工智能模型在特定行业将变得更加专业,进而能更好地解决问题。但总体而言,各行各业都会受到一定程度的影响。我更愿意持乐观态度,相信这些行业会变得更好。作为产品设计师,我们也有责任创造美好未来,而不是坐享其成。”

 

就大局而言,生成式人工智能可能会吸引更多的人参与开发过程,打破各自的角色界限,在规模和速度上超越以往的限制,从而有望增强企业的集体能力,针对其所创造的产品做出有效选择。

 

Ali指出:“目前,很多产品决策还都集中于产品团队内部。不过,我们已经开始看到数据去中心化,但当开始看到(在生成式人工智能推动下)智能实现去中心化时,那么分散式决策也会随之出现。策略不是自上而下贯彻,而是全面实施,无论是高层领导,还是客服代表,在做选择时都会考虑到策略。

 

Photo headshot of Farooq Ali, Principal, Product Strategy & Delivery, Thoughtworks
“目前,很多产品决策还都集中于产品团队内部。不过,我们已经开始看到数据去中心化,但当开始看到(在生成式人工智能推动下)智能实现去中心化时,那么分散式决策也会随之出现。”

 

Farooq Ali
Thoughtworks产品策略与交付总监


在收件箱中获取《视野》

 

为数字领袖提供及时的商业和行业洞见。

订阅《视野》,关注我们专家的精彩播客、文章、视频以及《视野》推广活动。

Marketo Form ID is invalid !!!