ChatGPT自動生成的參考文獻真假難辨，不可不慎！

Posted on by

最近有讀者到圖書館櫃台詢問如何查找 ChatGPT 所說的期刊文章？館員實際查證後，發現沒有這本期刊，生成式 AI 提供的參考文獻可信度存疑。本文將分享館員與 ChatGPT 交手的實例，提醒大家小心查證！

首先，我們詢問 ChatGPT：「如果想探討心跳對健康影響的中文期刊，可以參考哪些中文的期刊雜誌文章？」如下圖所示，ChatGPT 提供了4篇期刊文章，有作者、篇名、刊名、出版年、卷期、頁數，書目資訊看似完整，但是查詢多間圖書館的館藏目錄、全國期刊聯合目錄、國家圖書館的期刊文獻資訊網、華藝線上圖書館資料庫、CNKI中國期刊全文數據庫都找不到，甚至連Google都搜尋不到這4本中文期刊呢！

 

ChatGPT 的回答也涵蓋英文期刊文章，如下圖所示，我們查詢 PubMed、Scopus 等資料庫得知其中一篇是真實存在的期刊文章，感到欣慰！

第1篇文章查證結果屬實：《Nutrition Metabolism and Cardiovascular Diseases》期刊真的有發表 ”Resting heart rate and the risk of cardiovascular disease, total cancer, and all-cause mortality – A systematic review and dose–response meta-analysis of prospective studies.” 不過，出版年應為2018年。

第2篇文章有些微錯誤，雖然《Age and Aging》期刊沒有收錄此文章，但是《European Heart Journal》期刊有篇類似的文章 ”Impact of resting heart rate on mortality, disability and cognitive decline in patients after ischaemic stroke”。

第3篇文章也有問題，由於結尾是”a systematic review and meta-analysis“，這兩個詞彙屬於研究方法，可能較廣泛，所以我們將文章篇名拆成兩段查證。在PubMed搜尋前半段”Resting heart rate and risk of type 2 diabetes”，可查得十篇文章，其中一篇文章的結尾是”a prospective cohort study and meta-analysis“，發表於《Diabetes/Metabolism Research and Reviews》期刊；其中一篇文章的結尾是”a systematic review and dose–response meta-analysis of cohort studies”，發表於《Nutrition, Metabolism and Cardiovascular Diseases》期刊。

不過這種狀況在真實世界中本來就很常見，作者在引用文獻時難免會疏漏，讀者抄錄書目資訊難免會出錯，需要多加留意。

接下來，我們詢問 ChatGPT：「想撰寫心跳與健康的報告，可以參考哪些資料呢？」其回覆頗有參考價值，可以提供初學者收集資料的指引。American Heart Association、National Heart, Lung and Blood Institute、World Health Organization、National Center for Health Statistics 都是真實存在的機構。《The Lancet》、《The New England Journal of Medicine》也是真的學術期刊。

 

實測發現 ChatGPT 回應的資訊可能是東拼西湊，出現一些張冠李戴的引經據典和評析。機器尚在學習中，身為聰明的人類不應照單全收，應該要知道如何查證事實！有鑑於 AI人工智慧自動生成參考文獻越來越容易，再次提醒科學研究者小心辨識書目真偽，以及正確引用！

 

by Chih-Lo Chen  (更新日期：2023/11/28)

 

【短片】AI生成參考文獻是真?是假? : 小心引用! phantom reference 就在身邊!

【影片】ChatGPT說的可信嗎？學術文獻的查證與引用

【影片】ChatGPT為何聽得懂人話？生成式AI是什麼酷東西？它是怎麼訓練的？

 

【延伸閱讀】