加拿大CRA“聊天机器人”翻车!花了1800万,66%错误率:一直在学习但一直没学会!

nationalpost报道:加拿大纳税人花了1800 万加元,结果却买来一个答错率高达 66% 的官方聊天机器人

这是加拿大审计长(Auditor General)卡伦·霍根(Karen Hogan)在最新报告中,对加拿大税务局(CRA)聊天机器人 Charlie 给出的严厉评价。

f3132

748ni

“Charlie 聊天机器人”:从政绩工程到审计风暴

时间回到 2020 年 2 月。当时的国家税务部长 黛安·勒布蒂耶(Diane Lebouthillier) 高调推出一项“数字化创新”——Charlie the Chatbot

官方说法是:它将帮助纳税人更轻松地理解复杂的加拿大税法体系。

CRA 当时也提醒,这个机器人“仍在学习中”。五年后,审计结果证明:它可能一直没学会。

审计长实测:6 道问题,答对 2 道

在 2025 年 10 月发布的 CRA 服务审计报告中,霍根团队直接测试了 Charlie 的表现:6 个问题只答对 2 个,准确率仅 33%。

作为对比:其他公开可用的 AI 聊天工具,6 题中答对 5 题。

这一结果,连自由党议员安东尼·豪斯法瑟(Anthony Housefather) 都忍不住当场质问:“为什么政府专门为 CRA 打造的工具,反而比任何人随手能用的 AI 还差?”

fwb9k

更扎心的是:这东西并不便宜

最新提交给国会的文件披露,自 2018-2019 财年以来:Charlie 的开发和运营成本已超过 1800 万加元。其中包括:

    • 1367 万加元:人员薪资

    • 321 万加元:IT 顾问费用

    • (不含员工福利、差旅等隐性成本)

保守党税务事务批评官 热拉尔·德泰尔(Gérard Deltell) 直言:“这显然是大量纳税人的钱。33% 的准确率,完全不可接受。”

使用量不低,但“错得很勤快”

尽管表现堪忧,Charlie 并非“无人问津”:

    • 累计开启 700 多万次对话

    • 回答过 1800 多万个问题

但 CRA 自己也承认:曾有一段时间,内部测试准确率仅70%,这就意味着每 回答10个问题,3个是错的。

而此前,审计长还指出:CRA 人工客服给错信息的比例,最高可达83%

这也让外界质疑:“AI + 低质量数据 = 更稳定地输出错误?”

升级成“类ChatGPT”,靠谱吗?

2025 年 11 月,CRA 将 Charlie 升级为生成式 AI 聊天机器人(更接近 ChatGPT)。

CRA 声称:

    • 内测准确率约 90%

    • 可回答更复杂的问题(如企业税务、合规信息)

但随即补了一句关键免责声明:“除非全面审查所有对话记录,否则无法精确确认真实准确率。”

换句话说:有没有 90%,没人能保证。

纳税人都在问什么?甚至在“闲聊”

CRA 数据显示,公众向 Charlie 提问的内容五花八门:

    • 报税截止日前:数十万条关于个人所得税

    • 2–4 月:超 43 万条 关于电子服务

    • 商业税、福利、抵免、账户更新、缴税方式

    • 2024 年甚至有近 18 万次“闲聊”

但当《国家邮报》直接问 Charlie:“为什么你要花 1800 万?”Charlie 的回答是:“现有信息未包含有关该成本的具体说明,请联系 CRA。”——连它自己,都说不清。

AI 治不了系统性失灵

Charlie 的问题,可能并不只是“AI 不够聪明”。当税法复杂 + 数据混乱 + 人工客服同样频繁出错时,再先进的 AI,也可能只是把问题“自动化复制”。

1800万加元买来的,不是智能客服,而是一面照出加拿大税务系统服务质量的镜子。

来源:大温炬焦综合

免责声明:转载此文章的目的旨在传播更多信息以服务于社会,版权归原作者所有,我们已在文章结尾注明出处,如有标注错误或其他问题请发邮件01simple888@gmail.com,谢谢!