我在四月十四日將「2009年CFA考試將有重大變革」的訊息po在班主任分享後,即有許多學員來電與我討論,問我答案選項由四選一改為三選一後,答題是否比較容易?是否更容易錄取?
有關這些問題在CFA協會的官方網站上皆有說明,所以我特別將其全文翻譯出來給大家參考。
有關考試格式變革的常見四問題:
一、在2009考試的考生是否比之前的考生較占統計上的優勢?
二、為何CFA協會會把四個答案選項改成三個答案選項?
三、你如何主張考試的品質會與使用四個答案選項的考試一樣好或更好?
四、什麼是可信的錯誤答案?
一、在2009考試的考生是否比之前的考生較占統計上的優勢?
CFA考試沒有固定的錄取分數,若有固定的錄取分數,在其他條件不變下,減少答案選項數有可能導致較多考生通過考試。此不適用在CFA考試。任何一次CFA考試的錄取分數是直接與擁有CFA證照的人,在一個正式的標準化設定程序所評估的難度有關。
CFA協會的管理者委員會建立每次考試的最低錄取分數。該委員會在評估每次考試時,端賴廣為接受的修改後安格夫(Angoff)標準設定法,由專業的多計量心理學者(psychometricians)獨立管理與指導的標準設定,是在考試後所執行的一個嚴格程序。每一個標準設定單元引進一個將近30個不同族群的擁有證照者,花一至二天獨立評估每一問題,並判斷是否有一個可正確答對的最低合格考生。設定標準的目的是向委員會建議一個可適當區別顯示熟悉課程的考生與不熟悉課程的考生之最低錄取分數。每一個問題的難度是由每一標準設定者在判斷他對最低合格考生的預期表現所決定。干擾的可信度是由標準設定者所考量的因素,而非答案選項數。此程序考量來自於答案選項數減少的考試難度可能變動,並將此列入建議最低錄取分數的考量。此標準設定程序是一個在評估跨年考生成績可維持一致性與公平性的重要步驟。
當然,對一個CFA方案未準備好的考生而言,增加成功答對一題的機率。但是,此種考生可正確答對足夠次數,以通過考試在數學上的機率是極小的。此對是否有兩個、三個、四個或更多選項皆一樣。同時,一個有足夠知識與技巧,以達到一個合理高分數的考生,可因為只猜對一些問題而達到較高分至少在理論上也是可能的。再一次,注意,考生不需要達到一個固定的分數以通過CFA考試是重要的。標準設定者評估每次考試的難度決定最低錄取分數建議。同時也值得注意,我們每個人可能在我們的CFA考試多少會猜一些答案。此為一個須了解許多不同科目的嚴格考試功能之一部分,而且仍適用在未來。問題的內容不會因為三選一而更簡單。就數學上較易猜對而言,並不意味錄取率較高或不合適的考生會通過CFA考試,此主要理由是考題、答案選項的品質及標準設定的嚴格。
二、為何CFA協會會把四個答案選項改成三個答案選項?
這是我們多年來一直考量的改進。我們已遵循在此領域的令人尊敬的多計量心理學者的研究,並已諮詢其有關此變革的好處。我們在評估CFA考試時,在大部分有選擇性回答的問題(選擇題與題組)的第四個答案選項常是無效的-只吸引相對少的考生。高品質的問題不須四個答案選項,而且,事實上第四個選項的表現常很差。
提醒大家有關上一次CFA協會對考試結構的重大變格。我們在2000年開始加入題組問題。有些考生強烈反對,認為改成題組代表從考題的「弱智化」(dumbing down),題組是短(通常一頁)的個案研究附有6個選擇式回應問題,考生須使用個案提供的資訊來決定正確答案。題組問題逐漸溶入CFA的第二級與第三級考試。從2005後第二級考試完全由題組問題組成。第三級考試有一半是由題組型組成。所有證據指出CFA考試的品質與嚴格並未下降。題組的考生成績與建立的回應題(短文)不相上下。參與這兩種考試的考生與檢驗題組型考題的會員一致地相信這些問題比建立的回應題一樣難或甚至更難。最後,但非最少,變成題組型後,從錄取率可看出CFA考試並未變成更簡單。題組型是可測驗出較高階知識與技巧,包括解決問題與解讀的有效方法。同理,從四選一改成三選一也不會降低問題的品質、內容及嚴格。
三、你如何主張考試的品質會與使用四個答案選項的考試一樣好或更好?
假想你是考生,有一個正確答案與兩個可信而不正確答案之問題是一個有挑戰的問題。由這種問題組成的考試是一個有挑戰性的考試。記住,大部分的四選一問題,包括至少有一個是考生看起來不可信的,而且考生通常不會選的選項。CFA協會已決定著重在確保每一問題有兩個可信的不正確答案的努力,而非浪費時間在寫一個不管多努力,看起來就不可信的第三個不正確答案。
此外,在測驗開發的實證文獻顯示,若只提供兩個不正確答案,而非三個不正確答案,往往對考試的品質沒有可偵測出來的差異。綜合上述,我們相信此舉會導致在區別精通者與非精通者相同有效的一個較高考試品質。
四、什麼是可信的錯誤答案?
一個可信的不正確答案是不經過仔細思考或計算無法刪除的答案,對尚未精通課程內所教的知識與技巧之考生看起來就像正確答案。例如,在一個計算題,不正確答案可能是搞混公式的變數或代表需要二次或以上運算的其中一個計算的結果。不正確的選項常是根據一個特定課程的常見誤解來撰述。經過仔細閱讀問題並適當評估可能的答案,一個充分準備的考生就不會被可信的錯誤答案所誤導。