CISM : 情報セキュリティマネージャー 情報倉庫

スケールドスコアとは?


以下は、ISACAの公式見解でもなんでもない、ただの駄文です。参考までに。



【状況の仮定】
複数の問題(例えば100問) から構成される試験を、大勢の人数で受験する、という状況を仮定します。
個々の問題は、正解か不正解か、という2通りの結果しかあり得ない、とします。
受験者には、その問題を解答するにあたって、能力の低い人から、能力の高い人まで、さまざまな人がいます。
(要するにCISMの試験のようなものですね)



【1個1個の問題の特性について考えてみる】

【図1】
【説明1】
数百人の受験者がいたとして、その受験者の『実力』を横軸に、とある1個の問題の正解率を縦軸に取ります。

【図2】
【説明2】
上の例だと判りにくいと思うので、受験者を実力で10段階に区切ります。
各段階にはそれぞれ数十人がいるので、その人たちの、その1個の問題の平均正解率を求めて、棒グラフにします。
すると、例えば
←このような感じになります。実力の高い人たちの棒では、問題の平均正解率は高くなるハズです。

【図3】
【説明3】
現実にはあり得ませんが、『究極の理想の1問』とでも言うものがもしあれば、
←こんな感じのグラフになるかもしれません。
実力の無い人達の平均正解率は0%で、実力満点の人達の平均正解率は100%になり、その間は直線状になります。

【図4】
【説明4】
こういう問題もあるかもしれません。
実力が、ある閾値を超えたとたんに、正解率が急上昇するような問題です。
『ある程度実力のある人なら、ほぼ間違えないが、実力のない人は、ほぼ解けない』という問題です。

【図5】
【説明5】
こういう傾斜になる問題は、いわゆる『難問』です。実力の相当に高い人だけが正解できます。

【図6】
【説明6】
こういう傾斜になる問題は、いわゆる『やさしい問題』です。実力の低い人でも正解できます。

【図7】
【説明7】
この問題は、実力の低い人は正解しやすいのに、実力の高い人は間違ってしまう、という特性をもった問題です。
いわゆる『悪問、奇問』のたぐいです。




【 『問題の識別力』とは? 】
上記の説明3〜7まで、正解率の分布パターンを5種類、提示してみました。
これらの分布パターンのうち、『適切な問題とは何か?』を考えてみましょう。
そもそも、試験を実施する目的は、『受験者に本当はどれだけ実力があるかを判定したい』からですよね。
ということは、説明7(図7)のパターンの問題は、試験から取り除かれるべきです。

では、説明5の『難問』と、説明6の『やさしい問題』の点数は同じで良いでしょうか?
難しい問題を正解できる人は実力が高い人なので、難しい問題を解けたら高得点を与えるべきですし、
易しい問題は大多数の人が正解できるのですから、実力を判定するためには高い得点を与えてはダメで、低い得点にとどめるべきです。

このように、全ての問題に同じ配点をするのではなく、
難しい問題には高得点を、易しい問題には低得点を、(悪問・奇問には0点を)、
という考え方が『スケールドスコア』の基本的な考え方です。



CISMの試験問題は、このような考え方に基づいて採点されます。単純に『何問正解できたか』では合否は決まりません。

スケールドスコアについて詳しく知りたい方は、Wikipedia の項目応答理論を読んで下さい。



CISM 情報倉庫に戻る