Renumber the pipeline substeps to match the paper (5-1 becomes 5a)

prompts/ and runs/ move by git mv; zero padding dropped; the
arbitration and LLM-merge rows in the cost ledger carry no new
name -- their step column reads 已廢棄 with the original name
kept in a new last column.  Archived meta.json files and past
decision-log entries keep the names they were written with.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
2026-08-18 23:37:32 +08:00
co-authored by Claude Opus 5
parent e3cca7e538
commit 85d776da8b
83 changed files with 144 additions and 114 deletions
+8 -8
View File
@@ -1,8 +1,8 @@
# 信度:量測方式與結果
2026-08-16 量測。對象為步驟 3 的三份執行歸檔
`runs/03-code/run1``run3`,與步驟 5-4 的三份執行歸檔
`runs/05-04-annotate/run1``run3`;數字由原始輸出直接計算。)
2026-08-16 量測。對象為步驟 3a 的三份執行歸檔
`runs/3a-code/run1``run3`,與步驟 5d 的三份執行歸檔
`runs/5d-annotate/run1``run3`;數字由原始輸出直接計算。)
## 一、本研究的信度是什麼
@@ -67,7 +67,7 @@ Krippendorff 依產生資料的設計,把信度分成三型
## 三、實測結果
### 步驟 3(編碼:883 首 × 101 個碼 = 89,183 格,執行三次)
### 步驟 3a(編碼:883 首 × 101 個碼 = 89,183 格,執行三次)
| 兩次執行 | 百分比一致率 | Cohen's κ | Jaccard |
|---|---:|---:|---:|
@@ -84,7 +84,7 @@ Krippendorff 依產生資料的設計,把信度分成三型
(此處由原始輸出計算,未套用 936 筆人工校對表;論文引用的
定案數 14,664 為校對後的結果,差 1 筆。)
### 步驟 5-4(樣態標註:111 首 × 各自適用樣態 = 3,708 格,執行三次)
### 步驟 5d(樣態標註:111 首 × 各自適用樣態 = 3,708 格,執行三次)
| 兩次執行 | 百分比一致率 | Cohen's κ | Jaccard |
|---|---:|---:|---:|
@@ -111,7 +111,7 @@ Jaccard(只看「有標到」的格子,忽略雙方都沒標的)約 0.89–0.91,
信度數字回答的實際問題是:**這台儀器的隨機性,大到會不會
改變結論?**
步驟 3 的 89,183 格中,搖擺的格子共 2,473 格(兩票 1,163、
步驟 3a 的 89,183 格中,搖擺的格子共 2,473 格(兩票 1,163、
一票 1,310),佔 2.8%。若只執行一次即定案,這批格子當中約
一半會成為誤收、另一半會成為漏收。三票多數決把兩票以上者
收入、一票者剔除,處理的正是這一批。
@@ -146,8 +146,8 @@ p=0.1 者由 0.1 壓低到 0.028,而 p=0.5 者仍是 0.5——真正
## 六、計算方式與依據
- **分析單位**:每一個「(歌曲, 編碼)」格為一個單位,是非題
(有標/無標)。步驟 3 為 883 首 × 101 碼 = 89,183 格;
步驟 5-4 為各歌適用樣態數合計 3,708 格。
(有標/無標)。步驟 3a 為 883 首 × 101 碼 = 89,183 格;
步驟 5d 為各歌適用樣態數合計 3,708 格。
- **Cohen's κ**:兩次執行的 2×2 表,κ=(p_op_e)/(1p_e),
p_e 由兩次各自的邊際比例相乘求得。
- **Krippendorff's α(名目、三位「編碼者」、無缺漏)**: