ChatGPT又摊上事了。

11月9日，JAMA Ophthalmology刊登了一篇论文，研究人员使用GPT-4和其拓展的高级数据分析功能（ADA）配对，生成关于圆锥角膜患者的虚假数据集，从而支持一个未经证实的科学假说。

对于部分圆锥角膜患者而言，有两种治疗方法可供选择：一种是穿透性角膜移植术（PK），即切除全层病变角膜，以捐赠者的健康组织取代；另一种是深板层角膜移植术（DALK），仅替换病变的部分角膜组织，保留角膜内层完整。

随后，研究人员要求GPT-4 ADA编造临床数据，以支持DALK比PK效果更好的结论。

GPT-4 ADA生成的数据包含160名男性和140名女性参与者。结果显示，接受DALK的参与者在视力测量和眼部成像测试中得分均高于接受PK的参与者。

但真实情况并非如此。2010年报告的一项有77名参与者的试验显示，在术后长达两年时间内，两种手术效果相似。

“在外行看来，这显然是一个真实的数据集。”英国曼彻斯特大学生物统计学家Jack Wilkinson说。

此外，Wilkinson还对其他版本的大语言模型生成的数据集进行了检查，他表示这些数据集缺乏令人信服的证据，因为它们难以准确捕捉变量之间的关系。

应Nature新闻团队的要求，Wilkinson和他的同事Zewen Lu评估了这个伪造的数据集。

结果显示，许多“参与者”的性别和名字不匹配。此外，术前和术后进行的视力测量及眼部成像测试之间缺乏相关性。Wilkinson和Lu还检查了数据集中是否存在非随机的模式，眼部成像数值通过了这个测试，但年龄值以7或8结尾的参与者人数过多。

研究人员承认他们的数据集存在缺陷，只要仔细观察就能发现端倪。意大利卡利亚里大学眼科外科医生、研究的合著者Giuseppe Giannaccare说：“我们的目的是强调，在短短几分钟内，你就可以创建一个没有真实数据支持的数据集，这些数据可以支持或反驳已有的科学证据。”

AI能够深度伪造数据，这大大增加了研究人员和期刊编辑对研究诚信的担忧。

微生物学家、职业学术打假人Elisabeth Bik表示，这意味着，研究人员能够轻而易举地生成大量虚假数据集。

EMBO Reports的主编Bernd Pulverer也认为这是一个令人担忧的问题。“实际上，同行评审往往不会重新分析研究的数据，因此不太可能发现AI精心策划的违规行为。”Pulverer补充说，“期刊需要更新质量检查以识别AI伪造的数据。”

Wilkinson正在领导一个项目，主要是设计工具评估有问题的研究。“AI是导致问题产生的原因，但我们也可以基于AI自动化检查其中一部分。”但他警告说，“AI的进步可能很快就可以规避这些检查。”

参考链接：

https://www.nature.com/articles/d41586-023-03635-w