請問2009年第5版FRM Handbook第76頁的10.8%、及同一段的97%及下一段的4.1%，這些數字是怎麼來的？
2009年8月14日（週六）在金融研訓院教完FRM課程後，有位同學問了上列問題。因為下課後接著要主持FRM回訓生的讀書會，無法當場回答這個問題，因此，今天特別將這問題解答po在網站及部落格供同學們參考。
解答：
2009年第5版FRM Handbook p.75到p.76的3.2.2. Choosing Significance Levels for Tests整段都是今年的新增教材。
回答此問題前，我要先指出相關問題段落中的錯誤：p.75從最底下數上來第二段的第四行中間開始及第五、六行整行的一句英文有錯誤。
For a given test, increasing the significance level will decrease the probability of a type 1 error but increase the probability of a type 2 error.
對底下劃線的significance應改為confidence才對。
p.76的10.8%、97%及4.1%的來源如下說明：
風控長或主管機關在回溯測試一個VaR模型是否可接受的步驟如下：
1. 紀錄下過去250天實際發生比99%信心水準所建立的VaR還差的例外次數（或損失）。
2. 若虛無假設是VaR模型為正確建立，則例外次數應遵行二項式分配，且期望值為
E【X】=np=250(1-0.99)=2.5
3. 風控長須找出例外次數超出而可拒絕該模型的臨界值。
4. 型1錯誤的機率是觀察到比臨界值還高的例外次數之機率。
5. 若風控長選擇例外次數的臨界值為n=4，則對應的型1錯誤機率或顯著水準為10.8%，計算如下：
（1）n=0：250！/(250！×0！) ×0.01^0×(1-0.01)^250=0.0811
（2）n=1：250！/(249！×1！) ×0.01^1×(1-0.01)^249=0.2041
（3）n=2：250！/(248！×2！) ×0.01^2×(1-0.01)^248=0.2574
（4）n=3：250！/(247！×3！) ×0.01^3×(1-0.01)^247=0.2149
（5）n=4：250！/(246！×4！) ×0.01^4×(1-0.01)^246=0.1341
1-(0.0811+0.2041+0.2574+0.2149+0.1341)=0.1084
（此10.8%也出現在2009年第5版FRM Handbook的第253頁第一段的最後一句：「若正確設定VaR模型，則觀察到5次或5次以上的例外之數之機率為10.8%。」）
6. 一旦選定此臨界值，則會導致該風控長無法拒絕一個有較低信賴水準（97%）的VaR模型。因為97%信賴水準的p=0.03，因此若型1錯誤機率是拒絕超過n=4的例外次數，則無法拒絕的型2錯誤機率為例外次數未超過n=4的機率：
（1）n=0：250！/(250！×0！)×0.03^0×(1-0.03)^250=0.0005
（2）n=1：250！/(249！×1！)×0.03^1×(1-0.03)^249=0.0038
（3）n=2：250！/(248！×2！) ×0.03^2×(1-0.03)^248=0.0147
（4）n=3：250！/(247！×3！) ×0.03^3×(1-0.03)^247=0.0375
（5）n=4：250！/(246！×4！) ×0.03^4×(1-0.03)^246=0.0717
0.0005+0.0038+0.0147+0.0375+0.0717=0.1282
（此12.8%的數字及圖表分別可參考：Philippe Jorion, Value-at-Risk: The New Benchmark for Managing Financial Risk, 3rd Edition(New York: McGraw-Hill, 2007)第6章回溯測試VaR的p.144與p.145）
7. 若風控長觀察到的觀察值為6次例外，則觀察到6次例外或更多次例外的p-值為4.1%：
若把觀察到n=4的p-值: 0.1084
扣除掉250！/(245！×5！)×0.01^5×0.99^245=0.0666
則得到0.1084-0.0666=0.0418
8. 因為此p-值比所選定的顯著性水準還低，因此該風控長可下結論：該VaR模型為不正確。
