日本テスト学会誌 Vol.5 No.1 要旨
日本テスト学会誌 Vol.5 No.1
| ▶ 一般研究論文 | |
|---|---|
| 相互情報量を用いた項目識別力の過大推定の検出 | |
| 佐野 真 | |
| プロメトリック株式会社テスト工学研究所 | |
| 項目反応理論を適用する場合，一般に局所独立を仮定する.一方で,Chen and Thissen(1997)は項目ペアの局所依存性について2つのモデルを提案しており,このうちSurface Local Dependence(SLD)の局所依存性を持つ項目ペアが含まれるテストに対して項目反応理論を適用した場合,この項目の識別力母数は真値に比べて過大に推定されることを示している.本研究ではSLDの局所依存性の強さと識別力母数の推定に与える影響をシミュレーションにより調べ,相互情報量を用いたSLDの検出手法と従来手法をjIRTNew(Tsai&Hsu,2005b)0.35により比較した.またSLDの検出と併せて識別力母数の過大推定を検出することも試みた.結果,相互情報量を用いた手法は,従来手法よりも項目識別力の過大推定の検出において優位性があることが示唆された. | |
| キーワード：項目反応理論,局所依存,相互情報量 | |
| ▶ 一般研究論文 | |
| 履修状況を考慮した2段の項目反応モデルとその適用 | |
| 萩原康仁 | |
| 国立教育政策研究所 | |
|
教育課程に基づいた学習の実現状況を把握することを冒的としたテストによる大規模な標本調査では,受検者である児童生徒は,学校(あるいは学級)という集団に属する個人として抽出される また,このような調査では,すべてのテスト項目について履修済みであることが仮定できない場合,個々の項目の履修状況についての情報が教師から得られることがある このような調査のデータは,児童生徒のテストの解答部分は集団に属する個人レベルのものであり,教師の履修状況の回答部分は集団レベルのものである点で,階層的なものである 本研究では,このテータの階層性と履修状況の両方を考慮した2段の項目反応モデルを挙げ,実データを分析した この結果,本データセットでは,履修の有無によって潜在的な特性値の高低が説明されるというよりは,多くの項目で,履修していない学級は履修している学級に比べて,特性値が同程度でも正答することは難しいことが示唆された. |
|
| キーワード：マルチレベル分析,履修状況,教授に敏感な項目,教育課程,中学生 | |
| ▶ 一般研究論文 | |
| 不完全データに基づく平均への回帰を考慮したテストデータの解析 | |
| 河田祐一1、岩崎 学2 | |
| 1中外製薬株式会社、2成蹊大学 | |
| ある正答数以下の学生に対して補習を行い,その学習効果を補習後のテストで確認するような状況を考える。本論文では,テストの正答数の分布にベータニ項モデルを当てはめる。ある正答数以下の学生のデータが得られている場合の補習後のテストの正答数の分布を,補習前後で問題数が必ずしも同じではないモデルを考え,補習後ならびに補習前後の変化量の期待値と分散を提示する。この期待値と分散を用い,また,データの不完全陸の程度を3種類(選択・打ち切り・トランケーション)に分類し,それぞれの状況ごとにモーメント法によるパラメータ推定方法を提案する。特に選択と打ち切りの間では,パラメータ推定精度に違いが少なく,実用的であることがわかった。また,いずれのパラメータ推定方法においても,平均への回帰を考慮した検定を適用した結果,良好な結果カミ得られ,妥当な検定の適用が学習効果を正確に把握するために重要であることが示唆された。 | |
| キーワード：ベータニ項分布,処置前後研究,選択,打ち切り,トランケーション | |
| ▶ 一般研究論文 | |
| 項目形式とその応答法が項目値に及ぼす影響について | |
| 張 一平 | |
| 教育テスト研究センター | |
| 本研究は、項目形式とその項目に対する応答法が測定効果にどのように影響するかに関する研究である。穴埋め形式と多肢選択形式を比較した結果、穴埋め形式の場合の項目の困難度が多肢選択形式より高いことが見出されたが、識別力においては明確な差は示されなかった。また、項目の形式をかえても、テストが測定する能力はほとんど変化しないことが示された。さらに、適切な選択肢を用意すれば多肢選択形式は穴埋め形式より高い項目識別力が期待できること、また採点の段階数が多い応答法を利用すれば、テストから得られる情報量が増えることも示された。 | |
| キーワード：穴埋め形式、多肢選択形式、正答選択法、確信度テスト法、項目パラメータ、情報量 | |
| ▶ 一般研究論文 | |
| ニューラルテスト理論の応用可能性－方法論的課題の考察と多値型モデルの適用例－ | |
| 宇佐美慧 | |
| 東京大学大学院教育学研究科・日本学術振興会 | |
| 近年,教育測定・心理計量の領域で話題になっている統計手法の一つにニューラルテスト理論(Neural Test Theory:NTT)がある.NTTでは,受験者を離散的な潜在ランクに割り当てる点が一つの大きな特徴である. NTTは現段階では,潜在ランクおよび項目参照プロファイルの推定精度,項目サンプリングを超えた潜在ランクの推定値の一貫性,異なる最適化基準に基づく推定値の比較,分析モデルの構築・改良などの方法論的課題を中心に検討すべき課題があった.本論文ではまず,項目サンプリングを超えた潜在ランクの推定値の一貫性について,順序データ用の多値型NTTを用いた方法と,項目和得点を基準に潜在ランクの度数分布が一様になるように分割した方法との比較をシミュレーションにて検討した.そして,実際の小論文データへの多値型NTTの適用例を示し,また項目和得点や項目反応理論に基づく分析結果との簡単な比較検討を行った. | |
| キーワード：ニューラルテスト理論 順序データ 小論文試験 教育測定 | |
| ▶ 一般研究論文 | |
| 面接試験の印象を形成する受験者の心理的メカニズム－大学入試における適切な面接試験設計をするために－ | |
| 西郡 大 | |
| 佐賀大学アドミッションセンター | |
| 本研究は,実際に受験した面接試験の印象を形成する受験当事者の心理的メカニズムを検討した。その結果,「面接試験肯定感」「試験後達成感」を中心とする面接試験の印象には,構造的要因に関する試験実施手続きよりも,面接者の受験者への接し方や面接試験の雰囲気といった「社会的要因」に関する手続きに対する認知が直接的にも間接的にも影響を与えていることが示された。また,面接試験を受験した「面接受験者」と受験しなかった「面接非受験者」の面接試験一般に関する公平・公正性の認識および親和性の程度の比較では,前者において,公平・公正性認識,親和性ともに高いことが確認され,受験者集団によって面接試験に対する認識の素地が異なることが示された。 | |
| キーワード：大学入試,面接試験,手続き的公正,構造的要因,社会的要因 | |
| ▶ 事例研究論文 | |
| 外部試験を活用した大学英語カリキュラム改革－茨城大学共通テストと外部試験との関連－ | |
| 斉田智里1、小林邦彦1、野ロ裕之2 | |
| 1茨城大学、2名古屋大学大学院 | |
| TOEFLやTOEICといった外部試験を活用した英語カリキュラム改革を行う大学が増加している。大学英語教育における外部試験活用事例を概観し,外部試験の機能をまとめた。次に茨城大学における英語教育改革と学内共通テストの活用事例を報告した。茨城大学では平成17年度に新英語カリキュラム「総合英語教育」を全学開始以来,教材付属のテストを「共通テスト」として年3回履修者全員に実施している。この共通テストは,教育内容に準拠しており実用性も高いことに加え,外部試験としての機能の多くを果たしているが,他の外部試験との関連が不明であった。そこで共通テストと外部試験との関連で妥当性の検討を行った。共通テストと大学センター試験英語得点(リスニング含む圧縮点)間には.65,TOEIC IPとの間には.65, TOEFL ITP (Level 1)との間には.62の中程度の相関があった。回帰式を求め,外部試験と共通テストとの得点対応表を作成した。共通テストの有用性を高めることができた。 | |
| キーワード：大学英語カリキュラム改革,大学入試センター試験,TOEIC IP, TOEFL ITP,茨城大学共通テスト | |
| ▶ 事例研究論文 | |
| 初学者向けの項目反応理論分析プログラムEasyEstimationシリーズの開発 | |
| 熊谷龍一 | |
| 新潟大学 | |
|
本論文では,初学者でも容易に入手および操作が可能となるような,IRT分析プログラムの開発を行った。開発に当たっては,a.直感的に理解しやすいGUIを備え,操作方法が簡易であること, b.フリーソフトとして開発し,誰もが容易に入手できること,が必要な要件として定められた。 また,開発されたプログラムの計算結果の妥当性をみるために,既存プログラムとの比較が行われた。その結果,既存プログラムの計算結果と同等の数値が得られることが確認された。 |
|
| キーワード：項目反応理論,コンピュータ・プログラム, | |
| ▶ 事例研究論文 | |
| 問題解決型学習は如何なる能力を育んでいるのか（新しい教育方略の評価について）－共用試験CBTとOSCEの評価する能力と比較して－ | |
| 宮本 学1、森 禎章2、窪田隆裕1,2、米田 博1,3 | |
| 1大阪医科大学 教育センター、2生理学教室、3精神神経科学教室 | |
| 新しい教育方略であるPBL(問題解決型学習)で評価される能力が共用試験CBTとOSCEで評価される能力とどのように関連しているかを調べることを目的とした。PBLは、出席、パフォーマンス、発表、宿題作成とブロック筆記試験で評価する。一方外部判定基準である共用試験において、CBTはブロック1から4と5,6の2つの小計、 OSCEはcompetenceの細目集計とレーティングスケールにより評価される。主成分分析と構造方程式モデル解析により得点全体のデータは、PBL評価で最もうまく説明できた。そして潜在因子としてのPBL能力はOSCE能力と0.39、 CBT能力とは0.16の相関があることを示した。PBL能力からPBL各項目への標準化回帰係数は0.45から0.92の範囲を示した。とくに「発表」がPBL能力をよく表わしていた。これらの成績から受験者を分類すると知識形成能力はあるが筆記試験に必要な能力がないグループがあった。結論として、問題解決や自己学習を求めるPBL能力とCBT能力やOSCE能力の3つは互いに関連が薄い評価となっていた。 | |
| キーワード：問題解決型学習,共用試験,CBT, OSCE,主成分分析 | |
| ▶ 事例研究論文 | |
| 法科大学院適性試験が測定している能力・特性に関する実証的検討 | |
| 杉澤武俊1、内田照久2、椎名久美子2 | |
| 1新潟大学、2独立行政法人大学入試センター | |
| 法科大学院適性試験が測定している能力や特性について実証的に検討するために,いくつかのテストや質問紙尺度との関連について調べた。その結果,第1部,第2部とも基本的な論理判断能力や語彙力と関連が見られた一方で,目常的な意識や態度に関する尺度とは関係が見出せなかった。特に「推論・分析力」を測定するための第1部は論理判断能力，「読解・表現力」を測定するための第2部は語彙力と強く関連しており,それぞれの下位テストがほぼ意図通りに機能していることが示唆されたさらに,異なる年度の試験で論理判断饂力と語彙力との関係にっいて追試を行ったところ,同様の結果が得られたことから,法科大学院適性試験が測定している能力はある程度安定していることが示唆された。 | |
| キーワード：法科大学院適性試験,論理的思考力,語彙力,批判的思考態度,妥当性研究 | |
| ▶ 事例研究論文 | |
| 小論文課題の評価における熟達者に対する非熟達者の評価特性の検出 | |
| 奥村太一 | |
| 上越教育大学大学院学校教育研究科 | |
| 小論文課題の評価を行う場面では,信頼性の高い評価を行うことのできる熟達した評価者をいかに養成するかということがしばしば問題になる。本研究では,熟達者の評価に対して非熟達者の評価がどのようなバイアスをもっているのか,また答案のどのような特徴にバイアスが左右されるのかを階層的線形モデルを用いて記述し,実際にある特定の非熟達者がどのような評価特性をもっているのかを検出する試みを行った。その結果,具体的に評価者自身も気づいていなかったいくつかの評価特性について検討することができた。こうした情報を評価の非熟達者にフィードバックすることは,小論文評価の専門家を効率的に養成していく上で有意味なものであると考えられる。 | |
| キーワード：小論文課題,評価,熟達者,非熟達者,訓練,階層的線形モデル | |
| ▶ 事例研究論文 | |
| コンピュータ適応型テストCASECにおける項目の長期使用の影響について | |
| 野上康子 | |
| 株式会社教育測定研究所 | |
| コンピュータ適応型テスト(Computerized Adaptive Testing:CAT)を運用するにあたって,長期的な実施による試験問題の漏洩が大きな間題となる.本報告では,(株)教育測定研究所によって運用されているCATであるCASECの受験者の応答データを分析し,シミュレーションによって得られる結果と比較することにより,項目の提示頻度および繰り返し受験が項日の正答しやすさおよび受験者の能力推定に及ぼす影響について検討した.その結果,CASECに関して言えば,項目が何度も提示されることの影響はそれほど深刻なものではないということが示唆された. | |
| キーワード：コンピュータ適応型テスト,項目提示頻度,項日の汚染 | |