| ▶ 一般研究論文 |
|
| 信頼性係数の混合モデルを用いたメタ分析における適切なる変換方法に関するシミュレーション研究 |
| 宮崎康夫1、杉澤武俊2 |
| 1ヴァージニア工科大学、 2新潟大学 |
| 近年教育・心理測定の分野において、信頼性の一般化 (reliability generalization)と呼ばれる概念が提案され注目を集めている。この概念は、より一般的には多くの研究結果を計量的にまとめるメタ分析と呼ばれる技法において、注目している統計量が尺度の信頼性係数であるケースと考えることができる。信頼性一般化の概念・技法は比較的新しいため、その標準的な統計分析手法はまだ確立されておらず、特にどのような形の信頼性係数の変数変換をメタ分析の従属変数として、即ち信頼性係数の標準効果量として用いるのが適切であるかは、研究者の間で議論の別れる所である。そこで本論文では、どの形の変換がより適切であるかを、メタ分析を混合モデル（または、階層線形モデル（Hierarchical linear model））の枠組みで、シミュレーションを用いて検討した。６つの変換の性能を母数の復元精度の観点より比較した結果、対数変換または３乗根変換のいずれかが無変換を含む他の変換よりもより高い性能を示した。対数変換または３乗根変換のどちらを選択するかは母数復元精度の観点からは任意であるが、分散の安定化を考慮すると、分散安定変換である対数変換がより望ましいと考えられる。 |
| キーワード：信頼性係数，信頼性の一般化，メタ分析，混合モデル，階層線形モデル |
| ▶ 事例研究論文 |
|
| わが国の公的試験における試験問題公開の判断基準―情報公開制度における事例― |
| 若林昌子、杉光一成 |
| 一般財団法人 知的財産研究教育財団 |
| 試験問題公開の是非の判断については，特に公的試験においては様々な考えがあり，試験に関わる立場や試験に対する価値観の違いを考慮して議論されることはあまりなかった．本研究では，わが国の公的試験の例として，情報公開制度において試験問題を対象とした複数の事例について調査し，俯瞰して考察することにより，試験問題公開の判断基準を得ることを目的とした．その結果，次の５つの観点が得られた． 1) 過去の試験問題の公開を透明性確保の必要条件とするかどうか，(2) 将来の試験のために，過去の試験問題を再利用するかどうか，(3) 過去の試験問題を活用した試験対策を許容するかどうか，(4) 新しい試験問題を開発するための労力増加を受容するかどうか，(5) 過去の試験問題の情報を管理しているかどうか．これらの観点においては，試験に関わる立場や試験に対する価値観の違いによって判断が異なっていることから，試験問題公開の判断基準になると考えられた． |
| キーワード： 試験問題， 公開， 基準，公的試験，再利用 |
| ▶ 事例研究論文 |
|
| わが国のTIMSS2011数学データにおける多次元IRTを使った妥当性の検証について |
| 坂本佑太朗 |
| 株式会社リクルートマネジメントソリューションズ |
| 科学的な根拠に基づいた教育論議が求められている中で，テストの品質保証という観点もまた重要である．現状としても，構成概念を精緻に測定することの重要性が再認識される必要があり，先行研究自体も不足していることが指摘されている．そこで本研究では，多次元IRTを使ってわが国のTIMSS2011中学校2年生数学データにおける構成概念妥当性の「構造的な側面」について検討した．その際，TIMSS2011の「認知的領域」である「知識」「推論」「応用」が持つ下位領域特有の影響について双因子モデルを用いることで項目情報量の観点から検証することを試みた．その結果，下位領域特有の影響が相対的に大きい項目は214項目中23項目存在し，通常のIRT分析では拾えなかった下位領域に関する特徴を定量的・定性的に確認することができた．つまり，この結果は多次元IRTにより構成概念についての測定論的な特徴を詳細に表現出来たことを意味し，今後のさらなる応用可能性が示唆された． |
| キーワード：構成概念妥当性，多次元IRT，双因子モデル |
| ▶ 展望論文 |
|
| パフォーマンス評価のための項目反応モデルの比較と展望 |
| 宇都雅輝、植野真臣 |
| 電気通信大学 |
| 近年，大学入試や人事考課，学習評価などの様々な評価場面において，受験者の実践的かつ高次な能力の測定を目指すパフォーマンス評価が注目されている．パフォーマンス評価では，受験者を複数の課題に取り組ませ，その過程や成果物を複数の評価者で採点することが一般的である．しかし，このようなパフォーマンス評価では，評価の信頼性が課題や評価者の特性に強く依存する問題が指摘されてきた．この問題を解決する手法の一つとして，評価者と課題の特性を考慮して受験者の能力を推定できる項目反応モデルが多数提案され，その有効性が報告されてきた．これらの項目反応モデルでは，考慮される評価者や課題の特性がモデルごとに異なるため，評価場面の特性に合った適切なモデルを選択することが信頼性の改善において重要となる．そこで，本論文では，評価者と課題の特性を考慮した既存の項目反応モデルについて，それらの特徴を比較し整理する．さらに，その結果に基づき，評価場面の特徴に応じた適切なモデルの選択法について述べる．また，本論文では，実際のパフォーマンス評価への適用例を通して，これらの項目反応モデルが評価の信頼性改善に与える影響について評価する． |
| キーワード：項目反応理論，パフォーマンス評価，信頼性，評価者特性，多相データ |
