新模型（marked_20260705）在三代模型同場評測中表現最佳
| 模型 | 字元錯誤率 (CER) | 相對表現 |
|---|---|---|
| 新模型 marked_20260705（本次微調） | 24.41% | ✓ 最佳 |
| 上次微調 checkpoint-1000（noise-augment） | 31.36% | 前代 |
| 基準模型 whisper-small-ip-28 | 41.24% | 基準 |
本次評估比上次多做了一層資料重疊檢查，確保三模型站在同一起跑線
測試集抽自 2025-08～2026-07 全期校正資料，其中 449 筆（29.3%）的音檔曾出現在上次模型的訓練資料中——上次模型在訓練階段「背過」這些題目。切分驗證結果：
| 模型 | 上次模型看過的 449 筆 | 雙方都沒看過的 1,084 筆 ⭐ |
|---|---|---|
| 基準模型 whisper-small-ip-28 | 43.84% | 41.24% |
| 上次微調 checkpoint-1000 | 10.69%（記憶效應） | 31.36% |
| 新模型 marked_20260705 | 28.78% | 24.41% |
絕對改善與相對改善的雙重視角（公平子集，1,084 筆）
| 模型 | CER | 錯誤字元數 | 說明 |
|---|---|---|---|
| 基準模型 | 41.24% | 412 個錯誤 | 基準表現 |
| 上次微調模型 | 31.36% | 314 個錯誤 | 前代表現 |
| 新模型 | 24.41% | 244 個錯誤 | 本次表現 |
| 改善（vs 上次） | -6.95pp | 減少 70 個錯誤 | 前代殘留錯誤的 22.2% 被修正 |
資料量為上次的 3.4 倍，全部來自消防局校正系統的人工標註
| 項目 | 本次（2026-07） | 上次（2025-11） |
|---|---|---|
| 資料來源 | 官方下載站 API（人工校正文字＋對應音檔） | NFS 匯出 wav＋轉錄 |
| 錄音期間 | 2025-06 ～ 2026-07（每月約 1,150～1,650 筆） | 2025-06 ～ 2025-11 |
| 訓練用總樣本 | 15,322 筆 | 4,533 筆 |
| 音檔完整性 | 零缺漏（API 自帶完整性檢查） | — |
| 頻道分布 | ch0：12,518｜ch1：3,644｜ch2：97 | — |
下載 16,259 筆 → 剔除空標註 934 筆、過長 3 筆 → 有效 15,322 筆。與舊訓練資料（5,141 wav）重疊 4,530 筆（88.1%），一律以最新人工校正文字為準；611 筆僅存在於舊資料、其校正紀錄已從系統撤銷，因標註可信度存疑不採用。最終採單一資料源的純新校正資料，格式統一、標註最新。
分割採固定隨機種子，train/validation/test 完全互斥，清單已存檔可重現。測試集樣本在訓練過程中完全未被使用。
沿用上次微調 pipeline，46 分鐘完成 11.7 epochs
| 項目 | 設定 |
|---|---|
| 起點模型 | whisper-small-ip-28-have-opendata（與上次相同） |
| 語言／任務 | 強制 zh / transcribe |
| 硬體與精度 | 1× RTX 5090，bf16 |
| 有效 batch | 48（24 × 梯度累積 2，與上次一致） |
| 訓練步數 | 3,000 steps（≈ 11.7 epochs），每 250 步驗證 |
| 訓練時長 | 約 46 分鐘 |
| 最佳 checkpoint | step 2,250（驗證集 CER 25.61%，自動回選機制選定） |
step 1500 之後出現輕度過擬合跡象（驗證 loss 微升），已由「自動回選最佳 checkpoint」機制處理，最終交付 step 2250 權重。
| 項目 | 位置 |
|---|---|
| 交付模型（best，step 2,250） | 5090-2:/home/ubuntu/城鄉彰化語音訓練/output_marked/whisper-changhua-marked_20260705/ |
| 格式 | Hugging Face 格式，根目錄即最佳權重，可直接以 from_pretrained() 載入 |
| 備援 checkpoint | 同目錄下 checkpoint-2250/ |
| 發佈狀態 | 僅存於 5090-2 本機，未上傳 Hugging Face Hub |
新模型在醫院名稱、出勤單位與火警類型辨識上取得關鍵性突破
| 優勢領域 | 代表情境 | 前代模型的問題 | 新模型表現 |
|---|---|---|---|
| 醫院名稱 | 彰化基督教醫院、卓醫院 | 「彰化基督教醫院」→「貪化疾病教育」；「卓醫院」→「左駕」 | ✓ 正確辨識，救護車能正確送達目標醫院 |
| 出勤單位 | 彰化92、線西91、和美分隊 | 「彰化92」→「花壇92」（派遣對象錯誤） | ✓ 正確辨識，避免誤派 |
| 火警類型 | 雜草火警 | 「雜草」→「家長」「交通」「交叉」 | ✓ 正確辨識任務類型 |
| 數字資訊 | 患者年齡 98 歲 | 「98 歲」→「90 歲」「九十大歲」 | ✓ 數字精確 |
所有範例均取自公平測試子集（三個模型都未在訓練中看過）
| 模型 | 預測結果 | 評價 |
|---|---|---|
| 基準模型 | 溪州91車上一名男性42歲阿 主訴為*** 貪化疾病教育 中心收到 | ✗ 醫院名完全錯誤 |
| 上次微調 | 溪州91車上一名男性患者年紀約42歲阿 主訴肢體無力 意識清醒 彰化基督教醫院 中心收到 | △ 醫院名正確，「清楚→清醒」小誤 |
| 新模型 | 溪州91車上一名男性患者年紀約42歲 主訴肢體無力 意識清醒 彰化基督教醫院 中心收到 | ✓ 近乎全對 |
| 模型 | 預測結果（節錄） | 評價 |
|---|---|---|
| 基準模型 | …年約九十大歲阿 主訴現在**回答 送北斗 | ✗ 年齡、醫院名皆錯 |
| 上次微調 | …年約90歲 主訴加速跌倒 送左駕 | ✗ 年齡錯、醫院名錯 |
| 新模型 | …年約98歲 主訴家屬跌倒 送卓醫院 | ✓ 年齡、醫院名皆正確 |
| 模型 | 預測結果 | 評價 |
|---|---|---|
| 基準模型 | 阿92線出勤 中心收到 | ✗ 單位遺失 |
| 上次微調 | 花壇92車出勤 中心收到 | ✗ 單位錯誤（花壇≠彰化） |
| 新模型 | 彰化92救護出勤 中心收到 | ✓ 完全正確 |
簡單指令與長句複雜指令的壓力測試
| 模型 | 預測結果 | 評價 |
|---|---|---|
| 基準模型 | 中心社頭17家長火警出勤 | ✗ 火警類型錯誤 |
| 上次微調 | 中心社頭17 交通火警出勤 收到 | ✗ 火警類型錯誤 |
| 新模型 | 中心 社頭17 雜草火警出勤 收到 | ✓ 類型正確 |
| 模型 | 預測結果（關鍵段） | 評價 |
|---|---|---|
| 基準模型 | …執行年輕國小交叉火警…（「雜草」錯成「交叉」×2） | ✗ 任務類型錯誤 |
| 上次微調 | 東區車組查回答 東區現場哪一…年新國小雜草火警… | ✗ 台名錯亂、結構破碎 |
| 新模型 | 東區救災台回答 東區救災台東區車組執行明星國小雜草火警一下火勢熄滅… | △ 結構完整，僅校名一處誤 |
| 模型 | 預測結果 | 評價 |
|---|---|---|
| 基準模型 | …線西91目前準備返隊 線西91收到 | ✗ 結尾單位錯 |
| 上次微調 | …那個會不會分隊表示不需要支援 那線西91目前準備送 線西彰收到 | ✗ 「和美分隊」錯、動作錯 |
| 新模型 | 回答 中心 線西91執行的車禍案件 那個和美分隊表示不需要支援 阿線西91目前準備 線西中心收到 | △ 僅漏「返隊」二字 |
誠實揭露模型與資料層面的邊界
| 限制 | 說明 |
|---|---|
| 音質極差樣本仍會漏內容 | 少數低訊噪比長句（如「漢寶91執行車禍救護 送二林基督教」）三代模型全數失敗，新模型輸出會遺漏中段內容。此為錄音品質問題，建議由現場設備端改善。 |
| 輕微語氣詞增刪 | 「阿」「收到」等語氣詞偶有增刪，不影響指令核心語意。 |
| 訓練資料不含 2024 年錄音 | 校正系統的下載介面按「校正時間」提供資料，人工校正作業自 2025-08 開始、最早被校正的錄音為 2025-06，故 2024 年錄音無人工標註可用。 |
| 頻道分布不均 | channel 2 僅 97 筆（0.6%），該頻道的辨識表現代表性有限。 |
新模型已達部署替換條件，建議按下列優先序推進