日本テスト学会誌 Vol.4 No.1 要旨

トップ>学会誌>既刊号一覧>既刊号(4-1)>要旨

日本テスト学会誌 Vol.4 No.1

▶ 一般研究論文  
個人間比較の測定から個人内変化の測定へ~パラダイム・シフトが必要なテスト研究とその実施~
池田 央
株式会社教育測定研究所
日本のテスト研究の主流は長らく比較のための個人差の測定にあった.素点や偏差値に代表されるそれらは教育評価,入学入社選抜,昇進・配置,資格・検定,進路適性相談などの相対的評価に多くの貢献をしたが,その反面,教育の世界における過度の競争意識の助長,成長諾達量の認知困難,異集団・異テスト間の比較不良といった問題も残している.これからのテストは客観的基準を基礎とした個入内変化や集団の時系列的変化の査定に役立つ尺度構成を目指さなければならない.しかしそれには技術的に困難な課題を多く抱えている.それを克服するための条件を考え,解決のための産官学を含む学際的な協力体制の必要性を訴える.
キーワード:偏差値方式、共通尺度、測定尺度の不変性、変化の測定、作間技術の開発、集個採点支援システム
▶ 一般研究論文  
事後予測分布を利用した探索的測定デザイン決定法
奥村 太一
東京大学大学院教育学研究科・日本学術振興会
本研究では,古典的テスト理論にもとついた反復測定デザインにおいて事後予測分布を用いて測定デザイン(サンプルサイズと測定回数)を決定する方法を提案した。事後予測分布からデータのサンプリングを繰り返すことで,被験者の真値の信頼区間幅の平均を一定の基準以下に一定の確率以上で抑えるための測定デザインを決定することができる。この方法は,事前情報の不確実性を考慮できるだけでなく,数値的手法を用いていることから,初歩的なプログラミング技術さえあれば誰でも簡単に使用でき,また様々な研究場面や目的に柔軟に対応できるといラメリットがある。一方で,数値計算にかかる時間が,利用する計算機の性能に大きく依存することに注意する必要がある。
キーワード:反復測定,測定デザイン,事後予測分布,古典的テスト理論
▶ 一般研究論文  
一般化可能性理論による日本語口頭プレースメントテストの検討
坂野 永理
岡山大学
本研究は、日本語の口頭プレースメントテスト分析における一般化可能性理論の適用の可能性を検討する。研究の目的は、一般化可能性理論を使用し、受験者、評定者、設問とそれぞれの交互作用がテストの分散にどの程度寄与しているかを調べ、このテストに最適な設間数と評定者数を見いだすことにある。61人の評定者が6入の中国人話者の口頭テストを評価した。テストは3つの設問から成る。結果は、受験者のテスト得点がその口頭能力によりうまく散らばっていることが判明したが、評定者一入、設間数一間というテスト形式では、受験者の能力以外の要因によりテスト得点に誤差の生じる可能性が少なくないことも明らかになり、複数の評定者と設問が必要であることが示唆された。また、テストに関わる様々な要因を考慮した結果、本プレースメントテストの最適な評定者数は二人、設間数は二間という結論を得た。本研究は一般化可能性理論が口頭テストの分析及び開発にとって有用であるということを示すものである。
キーワード:口頭テスト、プレースメントテスト、一般化可能性理論、信頼性、日本語
▶ 一般研究論文  
医学部卒業試験の成績による医師国家試験合否の予測
宮本 学1、森 禎章2、窪田 隆裕1,2、西村 保一郎1,3、米田 博1,4
1大阪医科大学教育センター、2生理学教室、3数学教室、4神経精神医学教室
満を持して世に送り出した卒業生が、医師国家試験に不合格であることは稀ではない。しかし、合格確率が極めて低い学生を卒業させた結果として多くの不合格者を出した場合は、反省し改善の必要がある。そこで、6年次における後期試験と総合試験の成績から判別分析を用いて国家試験の合否の予測を試みた。(1)医師国家試験を受験した平成10~18年度の卒業生を分析対象とした。(2)各年度の国家試験合否予測と実際の合否を、6年次後期の後期試験と総合試験の成績と国家試 験合否の結果をもとに線形判別関数を用いて検討した。(3)医師国家試験全受験者のうち、合格予測での合格者は83.3%、不合格予測での不合格者は7.9%であり、正判別率は91.2%であった。一方、不合格予測での合格者は7.9%、合格予測での不合格者は0.9%であり、誤判別率は8.8%であった。(4)合格予測で合格者の合格予測確率の平均値は、0.922(標準偏差0.120:n=744)で、例数は、予測確率が0.9-1.0で最も多く、それより低くなると急激に減る。大半の学生は余裕をもって合格している。不合格予測で不合格者は、0.092(標準偏差0.140:n=71)であった。(5)総合試験と内科学(1)は、判別関数に与える重み(標準化係数)が大きく、因子分析でも大きな固有値を持つ第一因子群に属していた。
キーワード:後期試験,総合試験,医師国家試験合否予測
▶ 一般研究論文  
学習者の自己イメージ・学習スタイルと英語の読解・聴解試験成績
内田 照久、杉澤 武俊、椎名 久美子
大学入試センター研究開発部
本研究では,英語の聴解・読解成績と,学習者の性格特性や学習スタイルとの関係性について,大学1年生を対象として行ったモニター実験調査のデータを基に検討した.英語成績の指標として,平成18年度のセンター試験に新たに導入されたリスニングテストを含む英語の試験を用いた.学習者の性格については,性格特性5因子モデルに基づくBig Fiveの性格特性尺度を用いて質問紙調査を行った.英語の学習スタイルについては,聞く・話す能力,読む・書く能力を陶冶すると考えられる学習方法に関する評定項目を作成し,音声技能強化型,大意推量把握型,語彙文法重視型の3つの因子を尺度化した.分析では,性格特性の5指標,学習スタイルの3指標,英語試験成績の2指標を対象としてパス解析を行った.その結果,学習者が取りがちな英語の学習スタイルは,個々の性格特性ごとの特徴に呼応して,それぞれ一定の方向性を持って異なる様相が見いだされた.そして,学習スタイルの違いは,総合成績や筆記と聴解の学力パターンに関係があることが示唆された.
キーワード:大学入試センター試験,リスニングテスト,性格特性,Big Five,学習スタイル
▶ 一般研究論文  
統合型eテスティング・システムの開発と実践
ソンムァン ポクポン、植野 真臣
電気通信大学大学院情報システム学研究科
本論では,eテスティングの利点をすべて統合的に有し,さらに実用的なeテスティング・システムの開発を目的とする.具体的なシステムは,1.項目作成支援システム,2.アイテム・バンク,3.テスト実施システム,4.テスト構成支援システム,5.テスト・データベース,6.データ分析システム,7.適応型テストシステム,によって構成されている.統合的システムを開発することにより,1)過去に蓄積されたテスト・データが,各機能に一貫して自動的に配分され,テスト分析,項目分析,テスト構成支援,適応型テストなど様々な機能に利用することができる,2)多様な機能を持ち,一っのシステムで多様な目的(入試,能力測定,形成的評価,自己評価や遠隔授業評価,eラーニング)のテストを実施すること輝できる,という利点を持つ.さらに,実際に教員に実践的に利用してもらい,本システムが単なるプロトタイプではなく,十分実践的に役立つシステムであることを示した.
キーワード:e-テスティング,コンピュータ・テスティング,CBT,テスト構成システム,適応型テスト
▶ 一般研究論文  
動作時系列データからのスキルの自動評価の一試み
小方 博之1、山本 紗恵子2
1成蹊大学理工学部、2成蹊大学大学院工学研究科(現・(株)IHI)
スポーツやもの作りなどに関する受験者のスキルを評価するには実際に課題を実演してもらう実技試験が有効だが、実技試験のCBT化はあまり進んでいない。本論文では、ゴルフのパタースイングを例に、動作データから受験者のスキルを自動的に評価する方法を議論する。筆者らは、以前、動作データから主要な姿勢を抽出してスキルを評価する方法を検討したが、その方法では受験者の動作のタイミングや途中経過が考慮されていない。これらを考慮して評価を行うには、動作データを時系列として扱うことが必要と考える。動作時系列データから直接評価を行う手法としてリカレントニューラルネットワーク (RNN)を用いることを提案する。 RNNの学習の高速化に準Newton法を用い、構造の決定にMinimum Description Length規準を用いた。実際に受験者のデータを用いてスキルの評価を行い、本手法の有効性を確認した。
キーワード:実技試験、スキル評価、ベクトル時系列解析、リカレントニューラルネットワーク、モーションキャプチャ装置、パタースイング
▶ 一般研究論文  
小論文試験の採点における文字の美醜効果の規定因-メタ分析および実験による検討-
宇佐美 慧
東京大学大学院教育学研究科
小論文試験の採点において問題視される文字の美醜効果が,実際に生じるか否かに関しては一貫した知見が得られていない.そこで本研究では,文字の美醜効果を規定しうる要因として,(1)項目の解答内容の自由度,(2)受験者の年齢,(3)採点者のスキルの3つの要因をとりあげた.本研究ではまずメタ分析を実施して,3つの要因が文字の美醜効果に及ぼす影響を調べた.その結果,受験者の年齢が低いほど,文字の美醜効果の影響が大きいことが示唆された.そこで次に,受験者の年齢は,受験者の作成する文章の質の差を介して文字の美醜効果の影響度を規定するという仮説を立て,その仮説を検討するために実験的に20名の採点者に小論文試験の採点をさせた.採点結果を従属変数とし文字の美醜と文章の質を要因とした2要因分散分析の結果,2つの要因間に交互作用は見られず,文章の質が文字の美醜効果を規定していない可能性が示唆された.
キーワード:小論文試験 テスト 文字の美醜 メタ分析 誤差
▶ 一般研究論文  
並列型のマルコフ連鎖モンテカルロ法によるRaschモデルの母数推定の試み
佐藤 喜一1、村木 英治2
1宮城工業高等専門学校、2東北大学
本論文の目的のひとつは,RWMHアルゴリズム (random-walk Metropolis-Hastings algorithm)における提案分布のスケール調整の自動化とマルコフ連鎖の収束判定の自動化をはかることである.そのため,Gelman,Roberts&Gilks(1996)に示唆されたアイディアに基づく並列型のMCMCアルゴリズム(Markov chain Monte Carlo algorithm)を提案する.提案アルゴリズムの新しい特徴は,提案分布のスケール調整とマルコフ連鎖の収束の確認が同時に完了し,その後ただちに有効なサンプルを得ることができる点である.本論文のもうひとつの目的は,提案アルゴリズムを項目反応モデルのひとつであるRaschモデルの母数推定に応用することである.シミュレーションの結果, Parallel-SCRWMHアルゴリズム (parallel single-component random-walk Metropolis-Hastings algorithm)によりRaschモデルの項目困難度母数を適切に推定できることがわかった.
キーワード:項目反応理論,Raschモデル,ベイズ推定,マルコフ連鎖モンテカルロ法,並列アルゴリズム
▶ 一般研究論文  
適性試験の成績に基づく法科大学院別の新司法試験合格率の予測-既修および未修コースに関する検討-
椎名 久美子、杉澤 武俊、小牧 研一郎、櫻井 捷海
独立行政法人大学入試センター
本稿では,各法科大学院の入学者集団に着目して,大学入試センター法科大学院適性試験の予測妥当性に関する検討を行った.法学既修者については,適性試験得点が法科大学院共通のある閾値を超えた者が新司法試験に合格するという仮定のもとに,複数年の新司法試験を積算した合格率の推定式を定義して,適性試験の成績と複数年の新司法試験の積算合格率の関係をモデル化した.モデル式は,既修者に関する複数年の新司法試験の積算合格率をある程度予測することができた.また,予定年限で新司法試験に合格するための適性試験得点の閾値が,平成16年度と平成17年度の既修コース入学者で安定していることが示された.法学未修者については,既修者に関するモデルに,適性試験得点が法科大学院共通のある閾値を超えた者が予定年限で課程を修了して新司法試験の受験に至るという仮定を加えた.モデルによって,未修者が予定年限で新司法試験に合格するための適性試験得点の閾値が,同じ入学年度の既修者に比べて非常に高いことが説明された.
キーワード:法科大学院適性試験,新司法試験,妥当性
▶ 一般研究論文  
3PLMにおける能力値の簡易推定のための効果的な重みについて
荒井 清佳1、Chen Wei2、前川 眞一1
1東京工業大学、2日立製作所
項目反応理論では,受験者の能力値θは反応パタンからMLEやEAPとして推定される。しかし,θを重み付き総得点からEAPとして推定することも可能である。たとえば2パラメタロジスティックモデルでは,識別カパラメタを重みとして用いれば,重み付き総得点の条件付きのθの平均が通常の反応パタンに基づくθの推定値と同じになることが知られている。重み付き総得点は算出が簡単であるが,3パラメタロジスティックモデル(3PLM)でどのような重みが最適であるかは分かっていない。 本研究では,重み無しの正答数得点よりもθの事後標準偏差が小さくなるような,3PLMに適した重みを探した。14種類の重みを通常のθの推定値との近さと推定の安定性の観煮から比較した。その結果,いわゆる最適重みに基づいて算出される重みの結果が最も良いことが分かった。また,能力値が低い水準では推定の安定性が良くないことが示唆された。
キーワード:項目反応理論,3パラメタロジスティックモデル,最適重み
▶ 一般研究論文  
名義カテゴリモデルによる多枝多答式項目を含むテストデータの分析
大久保 智哉、荘島 宏二郎、石塚 智一
独立行政法人大学入試センター
本研究では多枝多答式項目を含むテストを名義カテゴリモデルによって分析した.その結果,各項目ごと各選択枝の選ばれやすさが潜在特性値の関数として表現された.そこから,項目のいくつかには「魅力的な誤答となる選択枝」があることが確認された.また,誤答分析や多枝選択式項目の分析において有用であるとされている名義カテゴリモデルが,複数の正答パタンを持つような多枝多答式項目についても有用な知見をもたらすことが確認された.さらに,多枝多答式項目を分析する際のデータのコーディング方法について検討が加えられた.その結果,名義カテゴリモデルを用いて回答パタンごとにパラメタを推定するような方法が最も情報量が大きくなることが確認された.
キーワード:項目反応理論,名義カテゴリモデル,誤答,多枝多答式項目
▶ 一般研究論文  
選抜試験における得点調整の有効性と限界-合否入替りを用いた評価の試み-
倉元 直樹1、西郡 大1、木村 拓也2、森田 康夫1、鴨池 治1
1東北大学、2長崎大学
本研究は,倉元他(2008)が提案した合否入替りによる得点調整の評価法について,その背景と考え方を理論的に説明し,実際に入試データに適用して得点調整の評価を試みた.日本の大学入試における科目選択では,等化の前提条件を満たせない.その代わり,テスト実施後に素点の調整が行われることがある.素点の調整は社会的問題でもある.本研究では,過去に起こった得点調整をめぐって矛盾した世論が喚起されたケースに対して,社会心理学的公正研究の観点から考察を加えた.さらに,個別試験では,公正さの担保は得点そのものよりも合否という判定結果にあることを論じ,合否入替りを用いた得点調整の評価法について解説を行った.東北大学の入試データを用いて個別試験理科の得点調整について合否入替りの観点から分析を加えた.その結果,合否入替りという観点から,素点による評価の不公平性を是正することには量的に成功していることが確認された.反面,調整の結果として合否が逆転した受験生の成績プロフィールが,大学側が望んでいる学生像と異なっている可能性が指摘された.
キーワード:大学入試,合否入替り,得点調整,公平性,選択科目