5月13日消息，非營利性人工智能研究機構(gòu)Epoch AI的最新分析顯示，推理類AI模型的性能大幅提升可能已接近極限。報告指出，最快一年內(nèi)，這類模型的進(jìn)展速度就可能放緩。
近幾個月來，OpenAI的o3等推理模型在AI基準(zhǔn)測試中表現(xiàn)亮眼，尤其在數(shù)學(xué)和編程能力評估方面大幅領(lǐng)先。這類模型通過增加算力投入提升性能，但代價是任務(wù)耗時遠(yuǎn)超傳統(tǒng)模型。
推理模型先是用海量數(shù)據(jù)訓(xùn)練基礎(chǔ)模型，再運用“強化學(xué)習(xí)”技術(shù)對復(fù)雜問題的解決方案進(jìn)行反饋式優(yōu)化。
Epoch AI表示，OpenAI等前沿實驗室在推理模型的強化學(xué)習(xí)階段尚未投放海量算力。但這一現(xiàn)狀正在改變。OpenAI透露，訓(xùn)練o3模型時的算力投入約比前代模型o1多十倍，且大部分算力都流向強化學(xué)習(xí)環(huán)節(jié)。公司研究員丹·羅伯茨（Dan Roberts）近日更透露，未來將把更多算力優(yōu)先用于強化學(xué)習(xí)，甚至要超過預(yù)訓(xùn)練階段的算力投入。
不過Epoch AI指出，強化學(xué)習(xí)的算力投入終有其上限。機構(gòu)分析師Josh You在報告中解釋說，訓(xùn)練傳統(tǒng)人工智能模型帶來的性能提升每年大約翻四倍，而強化學(xué)習(xí)帶來的性能提升則每3到5個月增長十倍。他預(yù)計，到2026年，推理訓(xùn)練的進(jìn)展速度“可能會與整體人工智能前沿水平趨于一致”。
Epoch AI的結(jié)論基于多項假設(shè)，并部分引用了人工智能公司高管的公開言論。但報告也強調(diào)，除算力外，高昂的研發(fā)成本等因素也可能阻礙推理模型的擴(kuò)展?！叭绻邪l(fā)持續(xù)需要高昂開支，推理模型的擴(kuò)展幅度或?qū)⒌陀陬A(yù)期，”Josh You寫道?！八懔焖僭鲩L或是推動推理模型進(jìn)步的重要因素，因此值得持續(xù)關(guān)注?！?/p>
對于已在推理模型研發(fā)上投入巨資的人工智能行業(yè)而言，任何顯示其性能提升可能觸及天花板的跡象都會引發(fā)憂慮。研究已表明，這類運行成本極高的模型還存在嚴(yán)重缺陷，比如比某些傳統(tǒng)模型更易出現(xiàn)“幻覺”問題。
來源: 網(wǎng)易科技報道
撫順眾聯(lián)網(wǎng)絡(luò)公司轉(zhuǎn)載
撫順網(wǎng)絡(luò)公司 撫順網(wǎng)絡(luò) 撫順軟件公司