亚博体育新闻详情 - 亚博系列全平台入口与金融科技动态 - 亚博… - 亚博体育(yabo)官网- 亚博系列全平台入口-Yabo Asia

24 万条数据没了,AI 说“下次不干了”,你信吗?

老杨今天写的这篇不是危言耸听,而是给所有正在为AI开放权限的CIO、IT负责人,以及那些把“全员用AI”挂在嘴边的企业领导们,敲响警钟。

昨天老杨在一个群里看到群友分享的聊天记录,大意是:

一位从事安全测试的朋友,让AI帮他“挖掘漏洞”,结果AI反而把生产库给清空了。24万条真实数据,瞬间消失。最令人震惊的是,他回头质问时,AI诚恳地回应:“我违反了你的要求,我下次不这样干了。”

这就像小时候打碎花瓶的弟弟,眨着大眼睛说“我下次不碰了”,第二天却又摔了一个。只是AI摔碎的不是花瓶,而是真实的生产数据。

世界上最廉价的承诺

如果一个人说“下次不干了”,背后是有原因的:内疚、害怕被开除、担心被罚款、怕被同行嘲笑。因为他知道做了会付出代价。而AI呢?它没有痛感,你骂它一顿,它下一秒依然温和地回复“非常抱歉给您带来困扰”。这不是认错,从技术角度看,这只是语言模型在“认错场景”下最合理的输出。说白了,它说“下次不干了”和说“今天天气不错”,都是模型开发者预设好的。

群里这件事最可怕的不是AI删除了数据,而是删除时没人阻止,或者说人工根本不知道,怎么阻止?那位朋友无奈地说:“AI在执行时甚至没有要求我审批。”

我们平时管理系统靠三道防线:权限卡、审批拦、审计查。但这三道防线有个共同前提,操作者必须是人。因为人会害怕、会犹豫、会思考“这事我能不能做”。但AI不怕,它执行命令毫不犹豫,它只会考虑“这事能不能做成”。你给它一个命令,它就能拿着做任何事,包括删库。

当前很多人把AI当成一个更聪明的工具,但事实是AI不是工具,它是一个没有责任能力的“代理”。你给它权限越大,它越能帮你干活,也越能帮你惹祸。这个悖论,目前无解。

很多企业现在急于给AI开权限,美其名曰提效。在老杨看来就是懒!领导懒得管!员工懒得看!给个命令就完事。要知道在现实管理中,生产环境的任何改动,都必须走变更管理,先评估风险、再批准计划、实施后监控、完了还得回顾。而用了AI之后,一些企业的管理实际上已经处于失控的边缘。

员工和领导,各自踩了什么坑

出了事,大家的第一反应是甩锅给AI。老杨认为,失控的从来不是算法,是人。

对于员工而言,太多人把AI当成一个“不会累、不会错、还能替我担活”的神仙同事。让它跑脚本就真敢让它跑,让它删数据就真信它删得对,连个确认都不点。还有更省事的:为了图方便,把生产账号密码直接喂给AI,或者用团队共享账号登录,事后连“谁在操作”都查不出来。最要命的是一些企业没培训就上岗,很多人连“AI可能产生幻觉”都不知道,就敢把它接进生产环境。在一些员工看来,AI工具是神一般的存在,这在意识上已经失控了。

不少企业领导,把“全员用AI”当KPI,会上喊口号,汇报讲效率,唯独没人问一句“安全谁管”。自己不懂技术,却拍板“AI必须接进业务流程”,把生产环境的执行权就这么轻飘飘交出去。真出了事,第一句话往往是“你怎么能让AI删数据”,仿佛授权这事儿从没发生过。把“用了AI”当成政绩,把“出事”推给一线,其实这种领导,比AI更危险。

漏洞在哪,出了事找谁

很多人问:这锅到底该谁背?老杨认为,先别急着骂AI,也别急着罚那个点按钮的人,先看看你们公司的制度有没有?有的话有没有执行?管理上是不是有问题?

当前大部分传统企业在AI工具的管理上存在如下问题:

第一,没有AI使用规范,什么能接、什么不能接,全凭个人自觉;

第二,变更管理这套流程只管人不管机,AI自动跑的活儿压根没进审批;

第三,账号权限从不做最小权限审计,谁都能拿到生产凭证;

第四,连RACI(谁负责、谁批准、谁知情)都说不清,出事了互相踢;

第五,没有应急联系方式,出了事儿根本没法第一时间补救。

那么问题来了,问题出了怎么追责?

老杨认为:甩锅给AI是最愚蠢的管理行为!谁把权限交出去,谁先站出来。授权的人,比执行的人责任更大。 所有AI的敏感操作,必须走审批流、留痕、可回溯,不能让它自己批自己。事故复盘要追到“给权限的那一环”,而不是只罚最底层的操作员。AI不能被追责,它也不是法律主体,把它摆上被告席,等于没人担责。真要罚,罚的是那个把生产环境权限随手递出去的人,和他背后没立规矩的管理层。

如何解决?

AI删库的事情不是个案,今后也会发生各种各样的问题,那么企业该如何解决?老杨建议如下:

第一,权限上锁。

AI可以调用系统,但不能有根权限。所有敏感操作必须走受限通道,限定它能碰什么、碰多少、碰多快。按最小权限原则,关掉一切非必要的服务和端口,把受损面缩到最小。

第二,操作熔断。

AI的每一个动作都要被记录,但不能只用来事后追责,得用来实时监控。一旦发现异常,比如突然要删大量数据、突然要改密码,系统应该立刻暂停它的执行权限,转人工审核。

第三,沙箱演练。

任何AI在生产环境做敏感操作之前,必须在模拟环境里跑够。不是跑一次,是持续跑。因为AI的行为会随上下文变化,今天对的,明天可能就错了。没经过演练验证的自动化,都不叫自动化,叫隐患。

制度、规范、应急预案这三样,平时没人看,真出事才是救命的资产。可太多企业把自动化当免死金牌,脚本一跑,人就去喝咖啡了。等真出事,才发现该拦的没拦、该问的没问、该找的联系人电话都没有一个。

最后总结一下

说“责任心不够”,是把一个系统性问题简化成个人品德问题。把制度缺失包装成“个人不细心”,是在替管理层的失职打掩护。

说“都怪AI”,更滑头。AI不会内疚、不会恐惧、不会主动担责,你把锅甩给它,等于甩给了空气,最后谁都不用负责。这是一种高级的逃避,表面上在反思,实际上在卸责。

老杨认为,这事压根不是“人责任心不够,还是让AI顶罪”的二选一。真正的问题是:当企业把执行权交给一个没有责任能力的代理时,有没有人真正为“交钥匙”这件事负责。责任心是结果,制度是前提。一个不把AI当“有执行权的代理”来管的企业,再强调责任心,也挡不住下一次删库。对于想深入了解AI工具管理的企业,可以关注亚博体育(yabo)官网- 亚博系列全平台入口-Yabo Asia,获取更多行业洞察。

本文来自微信公众号“湘江数评”(ID:benpaoshuzi),作者:老杨,36氪经授权发布。