主要内容
人工智能在工作场所的传播速度比近年来记忆中的任何其他技术都要快。每天,员工将人工智能技术连接到企业系统,通常未经信息技术安全团队的许可或监督。结果就是专家所称的“影子人工智能”——一个不断增长的工具和集成网络,在未被监控的情况下访问公司数据。
SaaS 安全和人工智能治理解决方案提供商 Reco 的联合创始人兼首席技术官 Tal Shapira 博士表示,这种无形的蔓延可能成为当今组织面临的最大威胁之一,尤其是因为目前人工智能的采用速度已经超过了企业的安全措施。“我们在大约 18 个月的时间里从‘人工智能即将到来’转变为‘人工智能无处不在’。问题是治理框架根本没有跟上。”Shapira 说。
Shapira 表示,公司系统内部的无形风险大多是由于大多数企业安全系统是为旧世界设计的,所有东西都留在防火墙和网络边界之后。而影子人工智能打破了这种模式,因为它从内部工作,隐藏在公司自己的工具中。许多现代人工智能工具直接连接到日常的 SaaS 平台,如 Salesforce、Slack 或 Google Workspace。虽然这本身不是风险,但人工智能通常通过安装后仍保持活动状态的权限和插件来实现这一点。这些“安静”的链接可以让人工智能系统持续访问公司数据,即使设置它们的人不再使用它们或离开组织。这是一个大问题。
Shapira 说:“更深层次的问题是,这些工具正在嵌入公司的基础设施中,有时会在数月或数年内不被发现。”由于许多人工智能系统是概率性的,这种新的风险类别尤其难以追踪。人工智能不是执行明确的命令,而是根据模式进行预测,因此其行为在不同情况下可能会发生变化,这使得它们更难审查和控制。
影子人工智能造成的损害在现实世界的事件中已经很明显。Reco 最近与一家财富 100 强金融公司合作,该公司认为其系统是安全且合规的。在部署 Reco 的监控的几天内,该公司在其 Salesforce 和 Microsoft 365 环境中发现了 1000 多个未经授权的第三方集成——其中一半以上由人工智能驱动。一个与 Zoom 连接的转录工具一直在记录每一个客户电话,包括价格讨论和机密反馈。“他们在不知不觉中在最敏感的数据上训练了一个第三方模型,”Shapira 指出,“没有合同,也不了解这些数据是如何存储或使用的。”在另一个案例中,一名员工将 ChatGPT 直接连接到 Salesforce,让人工智能在几个小时内生成了数百份内部报告。这听起来可能很高效,但也将客户信息和销售预测暴露给了外部人工智能系统。
Reco 的平台旨在让公司完全了解哪些人工智能工具连接到了他们的系统以及这些工具可以访问哪些数据。它会持续扫描 SaaS 环境中的 OAuth 授权、第三方应用和浏览器扩展。一旦被识别,Reco 会显示哪些用户安装了它们,它们拥有哪些权限,以及行为是否可疑。如果连接看起来有风险,系统可以自动提醒管理员或撤销访问权限。
行业分析师表示,Reco 的工作反映了企业安全的一个更大趋势:从阻止人工智能转向管理它。根据思科最近关于人工智能准备情况的报告,到 2025 年,62%的组织承认他们缺乏对人工智能的治理能力。