隨著人工智能大模型的不斷發展,如何讓其在“難”的問題上深入思考,而不是對所有問題“想個不停”?記者5月29日從中國科學院自動化研究所獲悉,該所聯合鵬城實驗室提出了一種高效推理策略AutoThink,可讓大模型實現自主切換思考模式,避免“過度思考”。
“當前,越來越多的大模型開始具備‘深度思考能力’。”中國科學院自動化研究所研究員張啟超說,模型在回答問題之前要先生成一整段包含反復自我反思、自我驗證的推理過程,然后再給出答案。
張啟超表示,這一思考模式顯著提升了大模型解決復雜問題的能力,但同時也帶來了“過度思考”的問題,即在處理簡單任務時也會生成冗余的思考過程。
“比如使用者對大模型提問‘2+3等于幾’,大模型可能會從自然數定義講起,列出加法交換律,甚至反復確認,最后才輸出答案是5。”張啟超說,這種不必要的“過度思考”現象在推理模型中廣泛存在。
針對這一問題,AutoThink可賦予推理模型根據題目難度自主切換思考模式的能力,即通過所設計的提示詞和多階段強化學習,引導其自主決定是否進行深度思考。
張啟超介紹,AutoThink提供了一種簡單而有效的推理新范式——通過省略號提示配合三階段強化學習,引導大模型不再“逢題必深思熟慮”,而是根據問題難度自主決定“是否思考”“思考多少”。在多個數學數據集上,AutoThink實現了準確率與效率平衡,既提升性能又節省算力,展示出較強的適應性和實用性。
據悉,AutoThink已集成于一站式智能科研平臺ScienceOne,并將用于訓練ScienceOne的基座大模型S1-Base。研發團隊表示,讓大模型“更聰明地思考、更簡潔地表達”,是未來科學基礎大模型演進的重要方向。
隨著人工智能大模型的不斷發展,如何讓其在“難”的問題上深入思考,而不是對所有問題“想個不停”?記者5月29日從中國科學院自動化研究所獲悉,該所聯合鵬城實驗室提出了一種高效推理策略AutoThink,可讓大模型實現自主切換思考模式,避免“過度思考”。
“當前,越來越多的大模型開始具備‘深度思考能力’。”中國科學院自動化研究所研究員張啟超說,模型在回答問題之前要先生成一整段包含反復自我反思、自我驗證的推理過程,然后再給出答案。
張啟超表示,這一思考模式顯著提升了大模型解決復雜問題的能力,但同時也帶來了“過度思考”的問題,即在處理簡單任務時也會生成冗余的思考過程。
“比如使用者對大模型提問‘2+3等于幾’,大模型可能會從自然數定義講起,列出加法交換律,甚至反復確認,最后才輸出答案是5。”張啟超說,這種不必要的“過度思考”現象在推理模型中廣泛存在。
針對這一問題,AutoThink可賦予推理模型根據題目難度自主切換思考模式的能力,即通過所設計的提示詞和多階段強化學習,引導其自主決定是否進行深度思考。
張啟超介紹,AutoThink提供了一種簡單而有效的推理新范式——通過省略號提示配合三階段強化學習,引導大模型不再“逢題必深思熟慮”,而是根據問題難度自主決定“是否思考”“思考多少”。在多個數學數據集上,AutoThink實現了準確率與效率平衡,既提升性能又節省算力,展示出較強的適應性和實用性。
據悉,AutoThink已集成于一站式智能科研平臺ScienceOne,并將用于訓練ScienceOne的基座大模型S1-Base。研發團隊表示,讓大模型“更聰明地思考、更簡潔地表達”,是未來科學基礎大模型演進的重要方向。
本文鏈接:http://m.9105763.cn/v-146-957.html我國科學家提出高效推理策略 可避免大模型“過度思考”
相關文章:
史上變化大的蘋果手機:曝iPhone 17 Pro的蘋果Logo位置下移06-30
人民論壇銳評 | 對學術不端須“零容忍”06-18
諷刺閨蜜背叛的句子12-24
孤獨寂寞的語錄35條11-26
2025年教師個人年終工作總結03-15
最新無產權車位轉讓協議書01-19
企業員工的感謝信07-16
司法考試心得及經驗08-25
高中生軍訓心得感悟01-19
感恩節感想11-22
大學打掃衛生實踐心得08-16
五年級四單元作文300字03-12
初中作文金海灣游記12-10
假如小學作文11-22
續寫《總也倒不了的老屋》11-22
學校有剪輯視頻的專業嗎12-23
4月自考03201護理學導論試卷及答案10-11
評語學生的評語怎么寫(優秀13篇)09-13
成語接龍08-02
平面廣告文案01-30
高考百日誓師朋友圈文案08-10
個人自我介紹07-25