RESEARCH / 科技與研究

改進,真的更可靠嗎?

比較模型調整前後的表現,看看進步能否延伸到沒看過的新任務,而不是只在原本的測試中有效。

返回科技與研究
01

要回答的問題

調整後的模型能否在新任務中表現更好,同時保留原本的能力?

02

目前觀察

早期模擬測試優於簡單的對照模型,但和更嚴格的對照相比,仍未達到事先設定的改善門檻。

03

目前還不能說

目前沒有證據證明模型能自行持續改進,也未確認這些調整已用於公開產品。

RSI-RECURSION-PILOT-002 · 2026-10-08

改動後的策略,是否真的更好?

這是依原始試驗紀錄整理的技術說明,並非已發表論文。以下逐項交代測試問題、方法、結果和適用範圍。

研究摘要 / STUDY ABSTRACT

這項試驗比較兩種選擇下一個子任務的方法:一種參照先前回饋調整順序,另一種維持固定課程。問題是,回饋選擇能否在相同預算下提高完成分數,並在新的合成測試世界保有優勢?測到的改進來自一段明確編寫的軟體選擇機制,不是 AI 模型自行修改自己。

01 / 研究設計

我們怎樣測?

先在 24 個開發世界中比較回饋式選擇、固定課程、隨機預算和簡單優先順序。之後凍結同一策略,另在 48 個獨立生成的後代測試世界重新比較。兩階段都使用合成任務和相同資源預算;獨立驗證器核對輸出完整性。這能檢查策略是否在這組生成任務裡重現效果,但不能代表真實使用情境的獨立外部評估。

02 / 結果

數字告訴我們什麼?

開發階段的平均分數:回饋式 0.7619、固定課程 0.4870、隨機預算 0.4612、簡單優先順序 0.4991。48 個後代測試世界中:回饋式 0.7560、固定課程 0.4744、隨機預算 0.5173、簡單優先順序 0.4317。後代測試的回饋式減固定課程平均差為 0.2816,95% bootstrap 區間為 0.2097 至 0.3585;完整性檢查 51 項全數通過。

03 / 解讀

可以得出什麼結論?

這表示在研究者設計的合成世界中,這段回饋選擇程式比固定課程取得較高分數,而且在新生成的後代世界重現了差距。分數衡量的是程式按回饋挑選任務的效果,不是模型推理能力、學習能力或自我改進。任務世界與候選策略由同一研究脈絡設計,沒有真實產品整合,也沒有由外部團隊盲化評分。

04 / 下一步

接下來怎樣驗證?

更有力的檢查要由獨立研究者設計不同任務家族,事先固定預算與接受門檻,採盲化評分,並納入回饋訊號失真或策略遇到未見過狀況的測試。若策略在這些條件下失去優勢,就應把結果限制在原本的合成設定。

主要結果

分數及信賴區間來自合成試驗結果檔。這裡的 48 個世界是同一研究者生成家族內的獨立後代測試,不是 48 種真實應用。

結果圖解 / DATA AT A GLANCE

48 個後代測試世界的平均分數

回饋式任務選擇高於固定課程;隨機預算和簡單優先順序一併列出供比較。

後代測試 / 48 個合成世界

回饋式選擇
0.7560
固定課程
0.4744
隨機預算
0.5173
簡單優先順序
0.4317

回饋式減固定課程的平均差為 0.2816,95% bootstrap 區間為 0.2097–0.3585。這是研究者設計的軟體選擇器結果,不是模型自行改進。

測試條件觀察數值如何解讀
開發世界(24)0.7619 vs 0.4870回饋式選擇 vs 固定課程;另有隨機及簡單優先對照。
後代測試世界(48)0.7560 vs 0.4744回饋式選擇 vs 固定課程;95% bootstrap 區間:差值 0.2097–0.3585。
完整性檢查51 / 51 通過檢查輸出與證據鏈完整,不等於外部效度驗證。

原始紀錄:RSI-RECURSION-PILOT-002 outcome.json;SHA-256 ae54e163d6d3d48ae73260e92eb46e05678cd33621968290ff8c7525da751567。 此頁依試驗紀錄整理,並非同儕審查論文。

延伸閱讀 / EXTERNAL PAPER
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena ↗

這篇外部研究檢視以大型語言模型評分的偏差,包括回答順序、篇幅和自我偏好,並以 MT-Bench 與 Chatbot Arena 比較評分者與人類偏好。它提醒研究者評估方式也需要驗證;本頁試驗使用的是合成程式分數,不是以 LLM 作為裁判。

證據界線

目前結果只支持已測試的範圍。

目前沒有證據證明模型能自行持續改進,也未確認這些調整已用於公開產品。

查看其他研究主題

GENESIS / GITHUB

敬請期待

GitHub 入口將在產品正式上架後開放。