当人工智能代理搞砸事情时该怪谁? - AI News
当人工智能代理搞砸事情时该怪谁?

当人工智能代理搞砸事情时该怪谁?

2025-05-22

新闻要点

过去一年 ,软件工程师Jay Prakash Thakur业余研发AI agents,虽功能强大但引出法律问题。随着科技巨头积极推进,其应用前景广阔,可节省成本,需求上升。但出错责任难定,保险行业已推相关险种。

- AI agents可自动化任务,预计2029年解决80%客服查询

- 科技巨头推进AI agents ,亚马逊谷歌推开发工具

- AI agents出错责任难定 ,保险行业推相关险种

主要内容

过去一年,资深软件工程师杰伊·普拉卡什·塔库尔(Jay Prakash Thakur)利用夜晚和周末时间制作 AI 代理原型,在不久的将来,这些代理几乎可以完全自主地订餐和设计移动应用程序。他的代理虽然能力惊人,但也暴露了新的法律问题,这些问题正等待着试图利用硅谷最热门新技术的公司去解决。

代理是可以大部分独立行动的 AI 程序,能让公司实现诸如回答客户问题或支付发票等任务的自动化。虽然 ChatGPT 等类似聊天机器人可以应要求起草电子邮件或分析账单,但微软等科技巨头预计,代理将处理更复杂的功能,最重要的是,在几乎无需人工监督的情况下完成。

科技行业最雄心勃勃的计划涉及多代理系统,未来几十种代理将协同工作以取代整个劳动力。对公司来说,好处显而易见:节省时间和劳动力成本。目前,对该技术的需求正在上升。科技市场研究机构 Gartner 估计,到 2029 年,代理式 AI 将解决 80%的常见客户服务查询。Fiverr 是一家企业可以预订自由职业程序员的服务平台,该平台报告称,最近几个月“ai 代理”的搜索量激增了 18347%。

住在加利福尼亚的塔库尔主要是自学成才的程序员,他想站在这个新兴领域的前沿。他在微软的日常工作与代理无关,但自 2024 年在亚马逊工作以来,他一直在研究微软用于构建代理的开源软件 AutoGen。塔库尔表示,他仅用少量编程就开发了多代理原型。

上周,亚马逊推出了一款类似的代理开发工具 Strands;谷歌提供了所谓的代理开发工具包。由于代理旨在自主行动,当它们的错误导致财务损失时,谁应承担责任的问题一直是塔库尔最关心的。他认为,在不同公司的代理在一个大型系统中沟通不畅时分配责任可能会引起争议。他将审查各种代理的错误日志以根据不同人的笔记重建对话的挑战进行了比较,“通常无法确定责任。”

OpenAI 的高级法律顾问约瑟夫·费尔曼(Joseph Fireman)在旧金山媒体法律资源中心举办的最近一次法律会议上表示,受害方往往会追究那些最有财力的人的责任。这意味着,即使是一个在地下室用电脑玩耍的孩子可能应承担责任,像他这样的公司也需要准备好承担一些责任。“我认为没有人希望追究坐在妈妈地下室电脑前的消费者的责任,”费尔曼说。

保险行业已开始推出针对 AI 聊天机器人问题的保险覆盖,以帮助公司支付事故成本。塔库尔的实验涉及在系统中串联代理,以实现尽可能少的人工干预。他追求的一个项目是用两个代理取代其他软件开发人员。一个代理被训练用于搜索制作应用程序所需的专用工具,另一个代理则总结其使用政策。塔库尔说,未来,第三个代理可以使用已识别的工具并遵循总结的政策来开发一个全新的应用程序。

当塔库尔对他的原型进行测试时,一个搜索代理找到了一个工具,根据该网站的介绍,“为企业用户提供每分钟无限次请求”(意味着高付费客户可以随意使用它)。但在试图提炼关键信息时,总结代理忽略了“每分钟为企业用户”这一关键限定条件。它错误地告诉未被认定为企业用户的编码代理,它可以使用该工具,导致了后续的问题。