Anthropic稱AI主導逾1/4研發 顯示加速自我進化 專家警告將極難控制

【今日点击】美國人工智能(AI)公司Anthropic周四(17日)表示,旗下聊天機械人Claude目前主導了公司逾四分之一的研發工作,相關比例在短短半年內由零飈升至約26%,顯示AI在毋須人類控制下自我構建與開發的進展。

《華盛頓郵報》報道,Anthropic行政總裁阿莫迪(Dario Amodei)及多名行業要員近期多次警告,AI未來或具備在毋須人類干預下自我改善的能力,即「遞迴式自我改進」(recursive self-improvement),屆時人類將極難理解或控制相關技術,他上周末呼籲AI業界龍頭協調並放緩相關技術開發,以便爭取更多時間為AI建立安全圍欄,並獲部分競爭對手高層迅速回應支持,但美國總統特朗普質疑現在煞車只會令中國等競爭對手得益。有關討論近期成為熱話。

短短半年由零飈升至約26%

Anthropic周四發表博客文章,披露Claude在開發新AI模型中的參與程度。公司表示,內部審查顯示,截至8月,公司超過90%的研究工作均由AI與人類協同合作,目前Claude在約26%的研發任務中已擔任「主導」角色,而人類研究人員僅從中發揮監督及提供高層方向指導的作用;相比之下,今年2月時該比例仍為零。文章透露,Anthropic利用了一款Claude版本,結合外部AI公司開發的評級系統來評估其研發工作,最後再由人類核實結果。

公司指出目前尚未有任何環節讓Claude在沒有人類參與的情况下「完全自主」運行,但警告模型若加快自身開發,將令人類更難理解或控制系統,因此有必要公開相關指標,讓外界了解全球距離達到「遞迴式自我改進」還有多遠。Anthropic呼籲其他前沿AI開發商採用公開的方法論定期公布類似數據,為公眾、第三方機構及政府提供更高的透明度。

今次數據公布之際,科技界與華盛頓正就AI潛在威脅展開激烈討論。Anthropic則表示,公司已部署多種自主內部監測系統,可將可疑活動提報予人類進行覆核。Anthropic披露目前擁有約3萬個AI「代理」從事研究與工程任務,該批代理採取的每項行動在執行前均須經過審查,當月超過10億次決策中,約每4.7萬次有1次遭阻擋。此外,公司披露在7月一個樣本周期間,用於AI研發的算力約有6%投入安全工作;若屬AI驅動的研發,安全算力比例則升至12%。

黃仁勳反針對AI新聯邦監管措施

另一方面,《華爾街日報》報道,包含Nvidia(英偉達)行政總裁黃仁勳在內的多名科技業高層曾向特朗普游說,反對建立針對AI的新聯邦監管措施。黃仁勳近日表示,現行法律足以應對潛在風險,毋須另立新法。facebook母公司Meta行政總裁朱克伯格亦稱,若要確保AI安全,市場競爭及法律責任已足以推動開發業者各自採取行動。

 

(路透社/華爾街日報/華盛頓郵報)

 

Related posts