研究发现 52% 的 ChatGPT 编程问题回答错误

在过去的几年里,计算机程序员纷纷转向诸如 OpenAI 的 ChatGPT 之类的聊天机器人来帮助他们编码,这对 Stack Overflow 等网站造成了打击,导致其去年不得不裁员近 30% 的员工。然而,问题在于,普度大学的研究团队在计算机 – 人类交互会议上发布了研究成果,发现 ChatGPT 生成的编程问题答案中有 52% 是错误的。

研究发现 52% 的 ChatGPT 编程问题回答错误

对于一个人们依赖于准确性和精确性的程序来说,这一比例是惊人的,这也突显出其他最终用户如作家和教师所经历的问题:像 ChatGPT 这样的 AI 平台经常在空中凭空产生完全错误的答案。研究人员在研究中回顾了 517 个 Stack Overflow 的问题,并分析了 ChatGPT 尝试回答这些问题的结果。他们写道:“我们发现 52% 的 ChatGPT 答案包含错误信息,77% 的答案比人类答案更冗长,78% 的答案与人类答案存在不同程度的不一致”。

该团队还对随机选择的 2000 个 ChatGPT 答案进行了语言分析,发现这些答案 “更正式和分析性更强”,同时表现出 “更少的负面情绪” —— 这是 AI 倾向于产生的单调而愉快的语气。尤其令人担忧的是,许多人类程序员似乎更喜欢 ChatGPT 的答案。普度大学的研究人员对 12 名程序员进行了调查,并发现他们以 35% 的比例更倾向于选择 ChatGPT,并且在 39% 的情况下没有发现 AI 生成的错误。

为什么会发生这种情况呢?这可能只是因为 ChatGPT 比在线人更有礼貌。研究人员写道:“后续的半结构化访谈揭示出,礼貌的语言、文雅而教科书般的回答方式以及全面性是 ChatGPT 答案看起来更具说服力的主要原因之一,因此参与者放低了警惕,忽略了 ChatGPT 答案中的一些错误信息”。

这项研究表明,ChatGPT 仍然存在重大缺陷,但这对于被 Stack Overflow 裁员的人或者不得不纠正 AI 生成的代码错误的程序员来说是一个苦涩的安慰。

「点点赞赏,手留余香」

0

给作者打赏,鼓励TA抓紧创作!

微信微信 支付宝支付宝

还没有人赞赏,快来当第一个赞赏的人吧!

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系maynote@foxmail.com处理
码云笔记 » 研究发现 52% 的 ChatGPT 编程问题回答错误

发表回复