要回答的問題
調整後的模型能否在新任務中表現更好,同時保留原本的能力?
RESEARCH / 科技與研究
比較模型調整前後的表現,看看進步能否延伸到沒看過的新任務,而不是只在原本的測試中有效。
返回科技與研究調整後的模型能否在新任務中表現更好,同時保留原本的能力?
早期模擬測試優於簡單的對照模型,但和更嚴格的對照相比,仍未達到事先設定的改善門檻。
目前沒有證據證明模型能自行持續改進,也未確認這些調整已用於公開產品。
RSI-RECURSION-PILOT-002 · 2026-10-08
這是依原始試驗紀錄整理的技術說明,並非已發表論文。以下逐項交代測試問題、方法、結果和適用範圍。
這項試驗比較兩種選擇下一個子任務的方法:一種參照先前回饋調整順序,另一種維持固定課程。問題是,回饋選擇能否在相同預算下提高完成分數,並在新的合成測試世界保有優勢?測到的改進來自一段明確編寫的軟體選擇機制,不是 AI 模型自行修改自己。
先在 24 個開發世界中比較回饋式選擇、固定課程、隨機預算和簡單優先順序。之後凍結同一策略,另在 48 個獨立生成的後代測試世界重新比較。兩階段都使用合成任務和相同資源預算;獨立驗證器核對輸出完整性。這能檢查策略是否在這組生成任務裡重現效果,但不能代表真實使用情境的獨立外部評估。
開發階段的平均分數:回饋式 0.7619、固定課程 0.4870、隨機預算 0.4612、簡單優先順序 0.4991。48 個後代測試世界中:回饋式 0.7560、固定課程 0.4744、隨機預算 0.5173、簡單優先順序 0.4317。後代測試的回饋式減固定課程平均差為 0.2816,95% bootstrap 區間為 0.2097 至 0.3585;完整性檢查 51 項全數通過。
這表示在研究者設計的合成世界中,這段回饋選擇程式比固定課程取得較高分數,而且在新生成的後代世界重現了差距。分數衡量的是程式按回饋挑選任務的效果,不是模型推理能力、學習能力或自我改進。任務世界與候選策略由同一研究脈絡設計,沒有真實產品整合,也沒有由外部團隊盲化評分。
更有力的檢查要由獨立研究者設計不同任務家族,事先固定預算與接受門檻,採盲化評分,並納入回饋訊號失真或策略遇到未見過狀況的測試。若策略在這些條件下失去優勢,就應把結果限制在原本的合成設定。
分數及信賴區間來自合成試驗結果檔。這裡的 48 個世界是同一研究者生成家族內的獨立後代測試,不是 48 種真實應用。
回饋式任務選擇高於固定課程;隨機預算和簡單優先順序一併列出供比較。
回饋式減固定課程的平均差為 0.2816,95% bootstrap 區間為 0.2097–0.3585。這是研究者設計的軟體選擇器結果,不是模型自行改進。
| 測試條件 | 觀察數值 | 如何解讀 |
|---|---|---|
| 開發世界(24) | 0.7619 vs 0.4870 | 回饋式選擇 vs 固定課程;另有隨機及簡單優先對照。 |
| 後代測試世界(48) | 0.7560 vs 0.4744 | 回饋式選擇 vs 固定課程;95% bootstrap 區間:差值 0.2097–0.3585。 |
| 完整性檢查 | 51 / 51 通過 | 檢查輸出與證據鏈完整,不等於外部效度驗證。 |
原始紀錄:RSI-RECURSION-PILOT-002 outcome.json;SHA-256 ae54e163d6d3d48ae73260e92eb46e05678cd33621968290ff8c7525da751567。 此頁依試驗紀錄整理,並非同儕審查論文。
這篇外部研究檢視以大型語言模型評分的偏差,包括回答順序、篇幅和自我偏好,並以 MT-Bench 與 Chatbot Arena 比較評分者與人類偏好。它提醒研究者評估方式也需要驗證;本頁試驗使用的是合成程式分數,不是以 LLM 作為裁判。