pop-fem-audit/docs/output-validation.md

LLM 輸出的契約查核

（2026-08-06 量測。對象為步驟 3 的三份執行歸檔 runs/3a-code/run1–run3，共 883 首歌、44,149 筆標籤 指派、44,146 句引述。歌詞以模型實際看到的那一份為準，即 tools/instance/llm-input-code.jsonl。）

定義檔 prompts/3a-code.md 對輸出下了四條明確要求：只用 給定的碼且拼寫照給、每個標出的碼恰引一行歌詞、引述逐字、 輸出為合法 JSON 且無其他文字。本檔記錄這四條各自被遵守到 什麼程度。

詞彙表的遵守

詞彙表為 101 個碼。三次執行共出現 13 筆詞彙表外的碼， 分屬 8 個字串：

字串	出現次數
alcohol-and-substance-use	6
sacrifice	1
travel-and-adventure	1
reputation-and-gossess	1
sacrifice-and-surrender	1
guilt-and-remorse	1
warning-and-danger	1
manipulation	1

其中兩個字串像是拼寫失誤（alcohol-and-substance-use 之於 alcohol-and-substance-abuse、reputation-and-gossess 之於 reputation-and-gossip），其餘六個看來是模型另行造出 的碼。

alcohol-and-substance-use 通過了多數決兩次——song-500 兩票、song-750 三票——因此未經處理的計票會在定案表寫出 第 102 個碼。

拼寫失誤的機制有紀錄可循。 輸出依字母序排列，錯拼的鍵 落在正確鍵該在的位置，其值為空陣列，而正確的鍵在同一份 輸出的稍後處重新出現、帶著引述：

song-500 run1: -use=[]  -abuse=["Smokin' the Zaza, ..."]
song-500 run3: -use=[]  -abuse=[同一句]
song-750 run3: -use=[]  -abuse=["I got a thing for the hard
                                 liquor on ice"]

模型寫錯後綴、已輸出的 token 收不回，遂以空陣列收束該鍵， 再於正確的鍵補上引述。song-750 的 run1 與 run2 則整筆使用 錯拼的鍵並附上引述，故該首的三票分裂於兩種拼寫之間。

引述的存在

三次執行共 3 筆空引述，全部是上述錯拼的鍵所留下的空 陣列。其餘 44,146 筆指派皆附引述。

引述的逐字性

逐層放寬比對，每一層新命中的數量：

層	判準	筆數	佔比
1	完全逐字為歌詞的子字串	43,098	97.63%
2	加上標點形態正規化	461	1.04%
3	再加上空白收合與大小寫折疊	421	0.95%
4	再加上去除標點	39	0.09%
5	仍無對應	127	0.29%

第 2 層全數為同一現象：歌詞用彎引號 U+2019，模型寫成直 引號 U+0027。全庫僅 61 首歌使用彎引號，屬來源排版差異。

第 3 層以句首大寫為主——356 筆大小寫差異中有 355 筆只差 第 0 個字元，即模型自句中取材後將首字母改為大寫。

第 5 層的 127 筆歸為 71 組相異的（歌, 引述），其中 15 組 三次執行皆出現、19 組出現兩次，故多數為系統性而非抽樣 雜訊。分類如下：

類	樣態	筆數
A	略去括號內的即興插話，其餘逐字	34
B	跨行拼接：字詞俱在，但非如引述般相連	16
C	首尾增刪一詞	24
D	轉錄差異：方言拼寫正規化，或逕自修正歌詞的錯字	22
E	同形異碼字污染	6
F	換詞但語意不變	14
G	換詞且語意改變	9
H	全無對應物	2

H 類：兩筆並非歌詞

song-513 的 impermanence，run2 與 run3 的引述皆為字串 love-as-fleeting-and-transient——那是同一份碼表中另一個 碼的名字，非歌詞。該首歌詞不含 fleeting 或 transient。 run1 未標此碼。屬槽位填錯，非杜撰。

G 類：九筆改動了語意

其中兩筆對本研究的判讀影響最大：

• song-84（run2，relationship-complications）：引述 為 Boys seem to like the girls / Who don't appreciate / All the money and the time that it takes。歌詞中 Boys seem to like the girls 之後接的是別的句子，而 Who don't appreciate 起的兩行屬於四行之後的 Girls seem to like the boys。模型將兩段焊接，主張的 性別因此顛倒。
• song-376（run2，heartbreak-and-grief）：人稱代名詞 對調，願望的方向因而相反。

E 類：同形異碼字

6 筆引述含西里爾字母而其歌詞為純拉丁字母，例如 song-113 的 Tек（U+0435、U+043A）對應歌詞的 Tek、 song-622 的 Iба（U+0431、U+0430）對應 Iba。語意無損， 但逐字比對會判為不符，讀者複製該引述亦會得到損壞的字串。

引述的形狀

• 跨行：3,740 句引述含換行（8.47%），其中跨兩行 3,528、三行 168、四行 41、五行 3。其中 3,615 句仍為歌詞 的逐字子字串，即誠實的多行引述。定義檔要求恰引一行， 模型約每十二句有一句將對句視為一行。
• 共用：5,132 句相異引述各自撐起兩個以上的碼，涉及 10,961 筆指派（24.8%）。單句最多同時撐起 7 個碼。
• 過短：43 句引述短於 12 字元（如 Tonight、 It ain't me），皆為逐字，惟作為證據甚薄。

三次執行之間的差異

	引述數	第 1 層	2	3	4	5
run1	14,711	14,363	153	147	12	36
run2	14,719	14,368	152	139	12	48
run3	14,716	14,367	156	135	15	43

偏離率 2.37%、2.39%、2.37%。三次執行在此指標上難以區辨。

第 5 層的 127 筆散布於 62 首歌、47 個碼，無明顯集中；居前 的碼即高頻碼。

兩類違規

上列樣態分屬兩類，對策不同。

詮釋分歧：比率高且穩定，模型對規則自有一套說得通的 讀法——「一行」視對句為一個意思單位（8.47%）、「逐字」 容許排版形態與句首大寫（2.37%）。此類可藉修訂定義檔壓 低：仲裁步驟曾實測 644 筆中 13 筆輸出夾帶散文，定義檔加上 「JSON 之外不得書寫任何文字」後重跑降至 0（詳見 decision-log.md 2026-08-06）。

機械性失手：比率極低（0.007%–0.029%），如錯拼的鍵、 空陣列、把碼名填入引述槽。song-500 的紀錄顯示模型於生成 中途已察覺並自行補救，惟已輸出的 token 無法收回。

單次執行觀察到零違規，不等於違規率為零：仲裁步驟的 644 筆與編碼步驟的 44,146 筆規模相差近七十倍。

對管線的意涵

每一條明確的格式要求都有非零的違規率，且 temperature=0 未 消除之。因此消費 LLM 輸出的確定性步驟須驗證其契約，而非 信任之——計票須對照詞彙表、失敗須出聲、丟棄須計數。