第2回ワークショップ

トップ>イベント>ワークショップ・講習会>第2回ワークショップ

第2回ワークショップ報告
テスト理論をベースとしたテストの設計
~テスト編集者のための実践演習~

企画趣意

テストの理論家(心理測定家)は信頼性とか識別力とか、テスト特有の言葉や数値をよく使います。しかし、普通の人からは、また実際にテスト問題を作り、実施している人からも、「概念としては分かるけど、そうした数値が実際問題にどう役立つの? 別に実施上困ることはないし」、と聞かれることが多いかと思います。実際のテストでは、受験者から返された答案をそのまま採点し、試験の合否や判定を深く考えることもなく、ただ慣習的に繰り返しているのが現状だからです。
項目応答理論(IRT)を応用すれば、様々なテスト情報を利用して、どのような受験者がどのようなテストを受ければ、どんな結果が生ずるか、シミュレーションして予測することが出来ます。そうした体験を踏まえて、テスト作りはどうあらねばならないか考えていただこうというのが今回のワークショップの趣旨です。
講師は学会長の池田央先生が自ら務められ、ご自身が開発されたテスト編集のための検証用ソフトをご提供いただけます。

日 時 2004年11月12日(金)・17日(水)
各日13:00 受付13:30~17:30
会 場 株式会社リクルートマネジメントソリューションズ9階 セミナールーム
東京都港区港南2-15-2 品川インターシティB棟 9階
プログラム 11月12日:第1日目
テストデータに必要な各種基本情報の説明と用意されたプログラム使用法実習
  1. テスト分析に出てくる各種基本情報の出し方と用語の理解
  2. シミュレーションによる受験者サンプルの生成法【実習】
  3. シミュレーションによる解答データの生成法【実習】

11月17日:第2日目
問題編集の違いによるテスト結果の差異比較
  1. 項目バンクの作成とテストの編集
  2. 編集されたテストによる解答データの生成【実習】
  3. 得点データによる学力判定や資格認定と誤判定率の確認(結果妥当性)【実習】
  4. テスト問題の難易度、識別力、選択肢数、問題数等の違いによる誤判定率の比較【実習】
  5. 設定条件と目的関数を変えることによる他問題への応用
講 師 池田 央 先生
(立教大学名誉教授 株式会社教育測定研究所取締役)
お問い合わせ info@jartest.jp

総 括

事務局

パソコンによるシミュレーションを含めながらの実践形式で進められました。実習はIRTの3-パラメータ・ロジスティック・モデルを応用しながら、各テスト項目の難易度、識別力、選択肢数、さらには問題項目数などを変化させることによって、テスト得点の信頼性がどう変わってくるか。また、その結果、入試選抜や資格認定などの判定の正誤がどう影響されるかなどを実験的に確かめることで、テスト問題の作成、編集時の指針としようとするものでした。
受験者の能力分布は正規分布として、実験されましたが、原理はそのまま任意の分布集団にも応用できるものであり、単に理論的な解説だけでなく、結果が目に見える形で示せることができ、参加者に多くの感銘を与えるものとなりました。
20名程度を募集のところ、それを越える応募をいただき、結局、席のやりくりをお願いし29名のご参加となりました。少々手狭になりご迷惑をおかけいたしましたことをお詫び申し上げます。また、難しいテーマにもかかわらず、最後まで熱心に受講いただきありがとうございました。
多大な労力をかけてご準備をいただいた先生にあらためて感謝申し上げます。