要回答的問題
模型能否從少量例子中學到可重複運用的方法,同時保留原本已會做的事?
RESEARCH / 科技與研究
研究較小型的 AI 模型如何在有限的記憶體與運算能力下學習,以及學到的方法能否幫助它完成新任務。
返回科技與研究模型能否從少量例子中學到可重複運用的方法,同時保留原本已會做的事?
在範圍有限的模擬任務中,模型曾展現適應新情境的跡象,但部分原有能力也有退步。後續在裝置上調整模型的測試,整體表現仍未超過未調整的模型。
現有結果尚未證明模型能把經驗穩定用在新的獨立任務,也不能說這些方法已適用於正式產品。
EXP-003 · 2026-10-07
這是依原始試驗紀錄整理的技術說明,並非已發表論文。以下逐項交代測試問題、方法、結果和適用範圍。
我們想知道,給小模型看過去的經驗,是否能幫它處理下一個相似問題。這次測試先比較「完全不提供記憶」和「提供一至兩段過去經驗」,再檢查把經驗整理成規則卡是否有效。最明確的發現是:規則卡在進入行為測試前全部被判定無效;因此這輪沒有真正測到規則卡能否改善學習。
試驗預先列出八類合成任務,完成 264 次模型呼叫,並記錄 612 個事件。比較條件包括 A0(不提供記憶)、B1(提供一段原始經驗)、B2(提供兩段原始經驗),以及 C2(把經驗整理為規則卡)。獨立檢查器逐張驗證規則卡;只有有效卡才會進入 C2 的行為比較。
A0 正確率為 50.0%,B1 為 9.4%,B2 為 15.6%。八類規則卡都未通過有效性檢查,所以 C2 按預先約定退回 A0 的不提供記憶條件,得到 50.0%。A0 與 C2 fallback 都答對所有「狀態沒有改變」的題目,卻都答錯「狀態改變」的題目。這提醒我們,單看整體平均值會掩蓋模型在哪一類情況失敗。
這次結果不支持「規則卡令模型學會新任務」的說法:規則卡沒有進入有效的行為比較。C2 比 B2 高 34.375 個百分點,原因是 C2 實際退回無記憶基準,而不是規則卡帶來的提升。當下最值得處理的是怎樣把經驗轉成可驗證、可重複使用的表示方式,之後再用全新預先登記的測試重新比較。
下一輪應先確認規則卡格式能通過盲化的效度檢查,再固定題目、提示、模型版本和評分規則;把新任務家族與本輪輸出分開,並同時檢查原有能力是否退步。若卡片仍常被拒絕,或只在舊題型有效,就應縮小研究主張,而非把失敗輸出修補後算成新證據。
正確率依原始結果紀錄。C2 數值來自無記憶 fallback,不能解讀為規則卡效果。
八類合成任務的觀察正確率。三項有效比較都未高於不提供記憶的基準。
規則卡(C2)八類都未通過檢查,依協議退回 A0;因此不列為規則卡的測試成績。
| 測試條件 | 觀察數值 | 如何解讀 |
|---|---|---|
| 不提供記憶(A0) | 50.0% | 基準;答對所有未改變狀態的題目,未答對狀態改變題目。 |
| 一段原始經驗(B1) | 9.4% | 本輪最低的觀察正確率。 |
| 兩段原始經驗(B2) | 15.6% | 仍低於不提供記憶的基準。 |
| 規則卡(C2) | 50.0% | 八類卡片均無效,依協議退回 A0;不能當成卡片改善效果。 |
原始紀錄:EXP003-RUN02-v1.md;SHA-256 5a6764416ed86ca4dacc0f265d14c8fed1e5a141a83037f528c8c242707a25c9。 此頁依試驗紀錄整理,並非同儕審查論文。
這篇外部研究把工作分成規劃與執行:先用大型模型為完成路徑標註子目標,再訓練 770M 規劃和執行模組;作者在 ScienceWorld 報告,相較只模仿基本動作高 16.7 個百分點。它提供小模型任務拆解的研究脈絡,並非本次記憶試驗,也不是我們重現的結果。