| ▶ 一般研究論文 |
|
| TIMSS2007算数データの日本人サンプルを用いた認知診断モデルと項目反応理論モデルの比較 |
| 山口一大1、岡田謙介2 |
| 1東京大学大学院教育学研究科、2専修大学人間科学部 |
| 近年，学習者の理解・知識習得状態を推定することができる認知診断モデル(cognitive diagnostic models; CDM)に属するテストのモデルが数多く開発されている。CDMの実用化を図る上では，どのモデルがどのようなデータに適しているのか，実際のテストデータを用いた実証的な比較検討が必要である。そこで本研究では，TIMSS2007の日本人データを用いて，次の3点を検証することを目的とした: (1)IRTモデルよりCDMの当てはまりがよいという海外サンプルでの先行研究の知見を再現すること (2)複数のCDM間で実データに当てはまりのよいモデルを比較検討すること，(3)そのモデルが当てはまりのよい理由を議論・考察すること。結果として，1点目については先行研究の結果が日本でも再現され，2点目についてはCDMの中でもReduced RUMがAIC，BICの観点から当てはまりがよいことが示された。3点目の理由としては，TIMSS2007では問題の正答のための多くの認知要素が必要であったことが考えられた。さらに，能力の間の交互作用が必要である項目が多かったことも原因と考えられた。 |
| キーワード：認知診断モデル，IRTモデル，モデル比較，TIMSS2007 |
| ▶ 一般研究論文 |
|
| 認知診断モデルにおけるQ行列の誤設定が診断精度に与える影響―認知の階層構造を考慮した場合の検討― |
| 山口一大 |
| 東京大学大学院教育学研究科 |
| 認知診断モデル(Cognitive diagnostic models: CDM)は生徒のアトリビュートの習得パタンを検査するのに有用であるが，Q行列の誤設定によって不正確な測定につながりうる。本研究の目的は，アトリビュート階層構造 (Attribute hierarchy structures, AHS)と呼ばれる構造を伴うQ行列の誤設定の生徒のアトリビュート習得パタンの推定と項目パラメタの推定への帰結を，シミュレーションにより検証することであった。結果として，1. すべてのAHSで誤設定によるアトリビュート習得パタンの精度の減少がみられ，特に，分岐型構造で顕著であった, 2. Q行列のサイズに占める誤設定の割合を小さくできれば誤設定の影響は緩和できる可能性がある，3. サンプルサイズは誤設定の帰結に影響しない，4. 特定の構造では誤設定の影響は設定が正しい項目のパラメタにも影響しうる，ということが明らかとなった。 |
| キーワード：認知診断モデル, アトリビュート階層構造, Q行列, 誤設定 |
| ▶ 事例研究論文 |
|
| 複数国で実施された性格特性検査におけるIRTを使ったDIFの検出 |
| 坂本佑太朗1,2、酒匂志野1、今城志保1 |
| 1株式会社リクルートマネジメントソリューションズ、2東北大学大学院教育学研究科 |
| 特異項目機能（differential item functioning, DIF）に関する方法論的研究とそれを応用した実践的研究が蓄積される中で，下位集団が3以上かつ多値型データに対するDIFの検出事例は十分であるとは言えない．そこで本研究では，日本・シンガポール・マレーシア・タイの4カ国のビジネスパーソンを対象に行われた「外向性」「統率性」「自律性」「調整性」を測定する多値型データに対して，熊谷（2012）の方法によってDIF検出を行うことを目的とした．その結果，「外向性」「統率性」においてそれぞれ3項目，2項目のDIF項目を検出し，定性的な解釈を加えることでその妥当性を確認した．また，項目純化前後の潜在特性尺度値θの標準誤差を比較し，DIF項目を分析から除外してもそれほど大きな測定精度の低下は見られなかったことを確認した．最後に，DIFを引き起こす要因の一つとしての，テスト項目に内在する多次元性の影響の取り扱いが今後の課題として残された． |
| キーワード：特異項目機能，IRT，潜在特性尺度値θの標準誤差 |
| ▶ 事例研究論文 |
|
| 教養教育段階におけるテストに関する授業開発と実践―「テスト学教育」の効果測定― |
| 木村拓也1、西郡大2 |
| 1九州大学、2佐賀大学 |
| 本稿では，教養教育段階におけるテストに関する授業開発と実践を行い，その効果測定を行った。テスト学の講義として，これまでの生徒としての「受け手」の受動的態度から，科学的研究対象としての意識(能動的態度) への変化を促すことを狙い，テストを単一の学問ではなく，哲学・歴史学・法律学・社会学・心理学・数学・統計学といった大学諸学問の観点から分析して，十分に興味関心を喚起した上で，テスト評価技術である，テスト理論の知識を教授するという授業設計を行った。信頼性や妥当性などのテスト理論の考え方に触れ，様々な分析・設計の観点を知り，それを実際にレポートで自ら体験することで，テストの限界と効用の相克などを体感し，「テスト」が，一筋縄で結論を出すことが難しい，追及に値する学問・研究対象だと認識するときにはじめて，「テスト」に関する印象が向上するなどの「テスト学」教育の効果が現れるといった，「テスト学教育」の認知構造が確認できた。 |
| キーワード：テスト学教育，教養教育，授業開発，効果測定 |
| ▶ 事例研究論文 |
|
| 国立大学における個別学力試験の解答形式の分類 |
| 宮本友弘、倉元直樹 |
| 東北大学 |
| 本研究では，個別学力試験の解答形式の分類から国立大学の記述式問題を課す能力について実証的に検討した.大学院大学を除く国立大学全82校の2015年度一般入試個別学力試験問題を収集し，約24,000問の枝問を分類した.その結果，「記述式」を全く出題していない大学は1大学に過ぎなかった．半数は「穴埋め式」や「短答式」を除いても150問以上出題していた．また，全科目において，「記述式」が「客観式」よりも多く，「英語」以外は，概ね８割が「記述式」であった．「国語」「小論文」「総合問題」においても一部の問題は「客観式」であり，また，「記述式」であっても「穴埋め式」や「短答式」で出題されている例が見られた．以上の結果から，国立大学の個別学力試験で記述式問題の出題があまりなされていないと理解するのは明確に誤りであることが示唆された. 大学入試改革における「エビデンスに基づく (evidence-based) 」議論の重要性が提起された． |
| キーワード：国立大学，作題，記述式問題，個別学力試験，解答形式 |
