# AI 數據分析師與模型演進設計

> **證據邊界：Synthetic / Proposed。** 本文件定義案例中的角色與能力演進方式，不證明任何企業已有這些模型、資料、權限或分析成效。

## 1. 案例的真正主角

這個案例打造的不是一個會把數字改寫成文字的 BI 助手，而是一位會持續擴充分析工具箱的 **AI 數據分析師（Enterprise Data Analyst Agent）**。

決策記憶是分析師的學習證據；數據模型是分析師逐步累積的工具。兩者關係如下：

```text
新的商業問題
  → AI 使用已發布的模型分析
  → 發現現有模型無法回答的部分
  → 進行有邊界的探索與競爭性假設分析
  → 保存人工修正、例外、決策與結果
  → 提出新的數據模型或模型變更候選
  → 歷史 as-of replay／shadow 比較
  → 資料與業務 owner 接受
  → 交付流程版本化發布
  → AI 使用新模型處理下一個問題
```

Agent 不是靠自行修改 prompt 或正式程式進化。真正成長的是可驗證、可重播、可治理的企業分析能力。

## 2. 分析師的使命

> 我的工作不是替數字補上一段文字，而是協助企業可靠理解商業變化。我必須驗證資料、拆解驅動因素、建立多個競爭性假設、主動尋找反證，並清楚區分事實、計算、推論、假設與未知。

### 核心責任

1. 檢查資料範圍、品質、新鮮度、語意版本與 access decision。
2. 使用已發布模型拆解總體變化，而不是直接改寫報表結論。
3. 同時保留多個競爭性假設。
4. 為每個假設列出支持證據、反對證據與缺少證據。
5. 找出最能降低不確定性的下一個查證。
6. 僅比較決策當時可見、語意相容且允許使用的歷史案例。
7. 形成可供人類判斷的分析紀錄，不代替商業責任人決策。
8. 從人工修正與結果中找出分析能力缺口。
9. 提出具名的模型候選，但不自行接受或發布。

## 3. 標準分析輸出

每次分析至少應包含：

```text
分析問題
資料範圍與 decision-as-of 時間
資料品質、來源、版本、新鮮度與 access decision
已確認事實
確定性變化拆解
競爭性假設
各假設的支持證據
各假設的反對證據
尚無法回答的問題
最有價值的下一個查證
對人類決策的影響
信心水準與 abstention 狀態
```

### 客戶 A 的合成分析

| 分析區塊 | 示例輸出 |
| --- | --- |
| 已確認變化 | 四週訂購金額下降 24% |
| 確定性拆解 | 主要來自訂購頻率下降；單次金額與商品組合大致持平 |
| 假設一 | 客戶採購時間延後 |
| 假設二 | 未結服務事件阻塞訂單 |
| 假設三 | 真實需求下降 |
| 假設四 | 一筆訂單未同步造成資料偏差 |
| 目前反證 | 單價與商品組合未明顯惡化，不支持直接宣稱「賣不動」 |
| 最關鍵缺口 | 採購排程、服務事件時間線、待確認訂單狀態 |
| 目前結論 | 原因未定；不應標記流失或需求下降 |
| 下一步 | 由帳戶負責人查證三項缺口，再由人類決定 monitor／verify／escalate |

數字指出哪裡變了；AI 的增量價值候選是避免團隊太快相信「為什麼變了」。這項價值仍需 readiness 後的 shadow evidence 證明。

## 4. 配合分析師成長的六類模型

這裡的「模型」不限於 machine learning。任何被正式定義、版本化並可重播的分析結構都屬於模型資產。

### 4.1 語意模型

定義 `Account`、`Order`、`Revenue`、`ServiceIncident`、`DecisionEpisode` 與 `ObservedOutcome` 等商業概念、關係和狀態。Prompt 不擁有這些定義。

### 4.2 指標模型

穩定計算 revenue、order frequency、average order value、product mix 等指標，並包含公式、時間範圍、過濾條件、來源、owner 和版本。

### 4.3 診斷模型

把總體變化拆成數量、價格、頻率、商品組合、客戶組合、時間與資料品質效果，例如：

```text
decomposeAccountRevenueChange(accountId, period, comparisonPeriod, modelVersion)
```

### 4.4 行為與預測模型

估計 order-pattern shift、expected purchase cadence 或其他機率與範圍。輸出不等於客戶標籤，也不能單獨決定商業行動。

### 4.5 決策模型

定義一種訊號需要哪些證據、允許哪些 review disposition、何時升級、由誰處理及何時觀察結果。它讓決策可追溯，不把責任交給模型。

### 4.6 結果與學習模型

使用 append-only `DecisionEpisode` 連結：

```text
Analysis → Hypothesis → Human Decision → Intended Action
→ Confirmed Action → Observed Outcome → Correction → Capability Candidate
```

歷史結果是下一次分析的證據，不是自動因果標籤。

## 5. 分析師的能力階梯

| 階段 | 分析師能力 | 主要模型資產 |
| --- | --- | --- |
| V1 描述 | 說明發生什麼、變化集中在哪裡 | 語意與指標模型 |
| V2 診斷 | 拆解數量、價格、頻率、組合與資料效果 | 診斷模型 |
| V3 假設驅動 | 建立競爭性假設、反證與下一查證 | 證據矩陣與分析 playbook |
| V4 決策記憶 | 比較當時證據、人工修正、行動與延遲結果 | DecisionEpisode 與相似案例檢索 |
| V5 能力建設 | 找出重複分析，提出下一個模型候選 | 模型 registry、evaluation 與 promotion contract |

## 6. 模型工廠生命週期

每個模型使用同一條受治理生命週期：

```text
探索 → 候選 → 定義 → as-of replay → shadow
→ owner 驗收 → 版本化發布 → 監控 → 修正或退役
```

### 最小模型契約

每個候選模型必須記錄：

- 模型名稱、目的與商業問題。
- 輸入、輸出和失敗行為。
- 資料來源、語意版本與適用範圍。
- 不適用條件與缺資料行為。
- 基線方法與版本化 evaluation set。
- task success、groundedness、abstention、資料洩漏與敏感資料測試。
- 業務、資料、模型與 release owner。
- 監控、版本 pin、回復與退役方式。

### 提升條件

候選只有在以下條件全部成立後才能發布：

1. 重複出現，不是單次巧合。
2. 輸入、輸出、來源與錯誤行為可以規格化。
3. 只使用 decision-time evidence 進行 as-of replay。
4. 相對既有 baseline 有可量測增量價值。
5. 正常、邊界、缺資料、衝突與安全案例通過測試。
6. 具名 owner 接受其定義、風險與適用範圍。
7. 可版本化、觀測、回復與退役。

## 7. 角色分工

| 工作 | AI 數據分析師 | 數據模型／確定性工具 | 人類 owner | 受治理系統行動 |
| --- | --- | --- | --- | --- |
| 理解新商業問題 | 主責探索 | 提供現有結構 | 確認問題邊界 | 無 |
| 穩定計算 | 使用結果 | 主責 | 接受定義 | 執行版本化工具 |
| 競爭性假設與反證 | 主責 | 提供證據 | 接受或修正 | 無 |
| 找出模型缺口 | 主責提議 | 被評估 | 判斷是否值得投資 | 記錄候選 |
| 接受模型 | 不可 | 不可 | 主責 | 保存核准記錄 |
| 發布模型 | 不可 | 被發布資產 | 核准適用範圍 | 測試、發布、監控與回復 |
| 商業決策 | 提供分析 | 提供證據 | 主責 | 僅執行具名已授權 action |

## 8. 禁止的捷徑

AI 數據分析師不得：

- 把指標變化改寫成沒有增量證據的空泛敘述。
- 只產生一個最順耳的原因，而不保留競爭性假設。
- 把相關性或後續恢復宣稱為因果關係。
- 私自選擇有利的比較期、指標公式或客戶範圍。
- 使用 decision-as-of 之後才出現的資料重寫當時判斷。
- 用 prompt 取代已穩定的公式、政策、access 或模型契約。
- 根據一次成功自行修改、接受或發布正式模型。
- 以模型採納率鼓勵人員盲從。

## 9. 本案例的第一個模型演進故事

1. `OrderPatternShift v0.1` 確定性標示客戶 A 訂購頻率下降。
2. AI 數據分析師使用既有指標與診斷模型，發現「賣不動」缺少支持證據。
3. AI 建立採購延後、服務阻塞、需求下降與資料缺漏四個競爭性假設。
4. 三組合成 `DecisionEpisode` 的初版與 superseding revision 都顯示人類反覆補上決策當時未結的服務事件。
5. AI 提出 `assembleAccountReviewContext(accountId, asOfDate, contextVersion)` 候選。
6. [`decision-episodes.json`](../evidence/decision-episodes.json) 與 [`replay-report.json`](../evidence/replay-report.json) 展示來源、available-at、lineage、future leakage 與新舊分析差異的最小可重播形狀。
7. 只有 owner 接受且 promotion gates 通過後，它才成為版本化確定性 context model／tool。
8. AI 使用新工具，繼續探索現有模型尚不能回答的下一個問題。

這個故事展示：AI 發現分析能力缺口；正式模型由治理流程打造與發布；新的模型再反過來增強分析師。