學術界指責人工智能初創公司利用同儕審查來獲取宣傳

今年的ICLR學術會議上,有關“人工智能生成”的研究引起了爭議。

至少有三家人工智能實驗室——Sakana、Intology和Autoscience聲稱已使用人工智能生成的研究被ICLR研討會接受。在ICLR等會議上,研討會組織者通常會審查研究,以便在會議的研討會軌道上發表。

Sakana在提交人工智能生成的論文之前向ICLR領導人通報了並獲得了同行審查人的同意。ICLR發言人向TechCrunch證實,另外兩家實驗室——Intology和Autoscience未做到這一點。

幾位人工智能學者在社交媒體上批評Intology和Autoscience的行為,認為這是對科學同行審查過程的利用。

UC San Diego助理計算機科學教授Prithviraj Ammanabrolu在一篇X網站的帖子中寫道:“所有這些人工智能科學家的論文都在使用同行評審場所來進行人類評估,但沒有人同意提供這種免費勞動,這使我對所有參與其中的人士失去了尊重,無論系統多麼令人印象深刻。請向編輯披露此事。”

正如評論者所指出的,同行評審是一項耗時、勞動密集且主要是志願者參與的工作。根據《自然》最近的一項調查,40%的學者花費2至4小時審查一篇研究。這項工作一直在上升。去年提交給最大人工智能會議NeurIPS的論文數量增至17,491篇,比2023年的12,345篇增長了41%。

學術界已經存在人工智能生成副本的問題。一項分析發現,2023年提交給人工智能會議的論文中,有6.5%至16.9%可能含有合成文本。但是,人工智能公司利用同行評審有效地對其技術進行評估和宣傳,這是一個相對較新的現象。

“[Intology的]論文獲得一致好評,”Intology在一篇X帖子中吹噓其ICLR成果時寫道。在同一篇帖子中,該公司聲稱研討會評審讚揚了其人工智能生成的研究中的“聰明點子”。

學者們對此看法不佳。

馬里蘭大學博士后Ashwinee Panda在一篇X帖子中表示,沒有經過研討會組織者同意即提交人工智能生成的論文,顯示對人類審稿人時間的“不尊重”。

“Sakana詢問我們是否願意參與他們在ICLR組織的研討會的實驗,” Panda補充道,“我(們)拒絕了[...]我認為在未與[審稿人]聯繫的情況下向會場提交人工智能論文是不好的。”

許多研究人員懷疑人工智能生成的論文是否值得進行同行審查。

Sakana本身承認其人工智能造成了“尷尬的”引用錯誤,並且該公司選擇提交的三篇人工智能生成的論文中只有一篇能達到會議接受標準。為了透明和對ICLR慣例的尊重,Sakana撤回了其ICLR論文。

人工智能初創公司Pleias的聯合創始人Alexander Doria表示,一系列神秘合成ICLR提交表明需要“受監管的公司/公共機構”以價格執行“高質量”人工智能生成研究評估。

“評估應由完全獲得補償的研究人員進行,” Doria在一系列針對X的帖子中說,“學術界不應外包自由的[人工智能]評估。”