| ▶ 一般研究論文 |
|
| 項目反応カテゴリ特性曲線による一対比較型テストモデルの提案 |
| 豊田秀樹1、佐々木研一2 |
| 1早稲田大学文学学術院、2早稲田大学文学研究科 |
| 項目反応理論を用いた一対比較型テストのモデルを提案し、入社試験時のデータを用いて検証を行った。最初にモデルを定める母数である識別力と閾値、社会的望ましさの推定を行った。次に、推定時とは別のデータを用いて、推定値の交差検証を行い、十分に安定した推定値が得られていることが確認できた。社会的望ましさについては、設問内容からも妥当性があることが示された。得られた定数を固定母数として扱い、尺度値の推定を行い、得られた推定値と加減で求められるテスト得点との比較をした結果、両者に高い相関があることが確認できた。また、得られた固定母数を所与として、理論的なテスト特性曲線を構成し、別のデータを用いて数値的なテスト特性曲線を構成し、両者を比較した結果、概ね一致しており、理論的なテスト特性曲線の予測精度の高さが示された。 |
| キーワード：一対比較法、項目反応理論、項目反応カテゴリ特性曲線、反応歪曲、社会的望ましさ |
| ▶ 一般研究論文 |
|
| 多次元項目反応理論モデルの制約付き同時最尤推定における解の回転 |
| 土方啓一郎1、岡田謙介1 |
| 1東京大学 |
| 多次元項目反応理論(MIRT)モデルは，項目反応理論モデルのパラメータを多次元化した統計モデルである．Chen, Li and Zhang (2019)は制約付き同時最尤推定(CJMLE)というパラメータ推定方法を考案し，かつその項目パラメータの推定量はデータの個体数と項目数が同時に無限大に近づくとき，ある回転方法の下で一致性を持つことを証明した．しかしその回転方法はパラメータの真値を用いるため真値が未知である実際の応用場面では使用できないという問題がある．そこで本研究ではシミュレーションにより個体数と項目数が同時に増大する状況を設定し，応用上実行可能な単純構造を志向する回転方法の下でのCJMLEの回転後の解と真値との乖離の推移を調べた．結果，単純構造を志向する回転方法の下では乖離の減少はせず，原因として，乖離の評価対象が標準化された真値でありそれが単純構造を持たないことが挙げられた． |
| キーワード：多次元項目反応理論、最尤推定、同時推定、回転、単純構造 |
| ▶ 一般研究論文 |
|
| 項目反応理論におけるモデル変換 |
| 前川眞一1
|
| 1東京工業大学（名誉教授） |
| 項目バンクを構築する際にどのような項目反応モデルを選択するかは大切である。しかし、どのように注意深く項目反応モデルを選択したとしても、様々な理由で、その変換を強いられる場合が存在する。また、項目反応モデル間の比較を行う際には、あるモデルの項目特性に最も近い他のモデルを見つける必要があるが、本稿では、様々な項目反応モデル間の変換を行うための方法を開発し、それを R のパッケージとして実装した上で、人工データと実データを用いた数値例を提示した。 |
| キーワード：項目反応理論、項目反応モデル、多値項目、モデル変換、モデル比較、累積正規モデル |
| ▶ 事例研究論文 |
|
| 小論文と総合問題からのセンター試験得点率の推定 高知大学医学部医学科AO入試Ⅰの事例 |
| 関安孝1、山下竜右1、畠山豊1、大塚智子2、武内世生3瀬尾宏美3 |
| 1高知大学 医学部 医学教育IR室、2高知大学 学び創造センター 教育企画部門 アドミッションユニット、3高知大学 医学部附属病院 総合診療部 |
| 大学入学者選抜において，選抜方法がアドミッションポリシーに沿った方法かどうかを明らかにすることは重要である。高知大学医学部医学科では，2段階選抜のAO入試Ⅰ（現，総合型選抜Ⅰ）を実施してきたが，これまで第1次選抜の小論文と総合問題の結果をほかの入試と比較することが出来ず，アドミッションポリシーで定める知識や思考力との整合性を確かめることが困難であった。この論文では，AO入試Ⅰの1次選抜の結果からセンター試験の得点率を推定する方法を提案する。この推定値をロジスティック回帰分析した結果，AO入試Ⅰの1次合格の確率が50 %となるセンター試験得点率は82 % であることがわかった。独自の入学者選抜から，信頼性が高く，受験者が多いセンター試験の得点率を推定することは，アドミッションポリシーに基づく選抜方法の評価に有用であると結論する。 |
| キーワード：AO入試、大学入試センター試験、ロジスティック回帰 |
| ▶ 事例研究論文 |
|
| CBTにおけるロックダウンブラウザの試行と考察――試験実施者の設定方法と受検者の利用方法に着目して―― |
| 寺尾尚大1、西郡大2、石井秀宗3、木村智志4、播磨良輔4 |
| 1独立行政法人 大学入試センター、2佐賀大学、3名古屋大学、4九州工業大学 |
| Computer Based Testingを実施する場合，解答に必要のない標準搭載機能やアプリケーションの利用を禁止したり，受検者端末のハードウェア設定の一時変更等を行ったりする目的で，ロックダウンブラウザを使用することがある。本研究は，すでに誰でも利用可能となっているロックダウンブラウザとして，Take a Test appとSafe Exam Browserの2つを取り上げ，その基本的機能や特徴，試験実施者による効果的な設定方法，受検者への簡便な配布・利用方法について整理する。その際，大量端末の効率的な管理運用を可能にするモバイル端末管理の機能の有効活用も含めて検討する。最後に，試験実施者の作業・受検者の操作の簡便性に関する観点別の比較検討と，わが国の試験・学力調査におけるロックダウンブラウザの利用シーン別の比較検討を行い，ロックダウンブラウザの設定・利用方法に関する示唆を得る。 |
| キーワード：Computer Based Testing、ロックダウンブラウザ Take a Test app、Safe Exam Browser、モバイル端末管理 |
| ▶ 事例研究論文 |
|
| 学力テストの結果解釈における下位領域の取り扱い――TIMSS2003中学2年生理科データを用いた実証的検証―― |
| 坂本佑太朗1 |
| 1株式会社リクルートマネジメントソリューションズ |
| 本研究の目的は，学力テストに設定される下位領域に着目し，学力テストの結果をどのように捉え，それを活用していくことが望ましいかについての指針を得ることであった。実証的に検証するため，わが国におけるTIMSS2003中学校2年生理科データを用いて，下位領域に焦点を当てたマルチレベル分析を行いながら検討した。その結果，下位領域特有の学力に対する規定要因からの影響は限定的であった。このことから，当該テスト結果の解釈では一次元の学力の存在を前提に，それに加えて下位領域ごとの特徴を参考程度に参照することが心理測定学的に支持されることが明らかになった。本研究での結果は，心理測定技術と教育社会学的なアプローチをハイブリッドしてはじめて得られるものであり，下位領域が設定されるさまざまなテスト活用場面における検証アプローチとしての有効性を示し，本研究の意義として議論された。 |
| キーワード：下位領域、項目反応理論、bi-factorモデル、学力テスト |
| ▶ 事例研究論文 |
|
| 大学入学者選抜における基礎学力把握のための検査に関する特徴分類の試み |
| 椎名久美子1、荒井清佳1、伊藤圭1、桜井裕仁1、大塚雄作2 |
| 1独立行政法人大学入試センター 研究開発部、2国際医療福祉大学 赤坂心理・医療福祉マネジメント学部 |
| 総合型選抜および学校推薦型選抜で課される「基礎学力把握のための筆記またはCBTによる簡易な検査」（「検査」と略記）に関して，「検査」の名称に含まれる語に着目して四つのグループに分け，それぞれのグループの「検査」の特徴を教科・科目への言及に着目して分析した。「検査」の名称に「学力」という語を含むグループでは，総合型選抜でも学校推薦型選抜でも，特定の教科・科目に基盤をおいて基礎学力を評価しようとする傾向が非常に強くみられた。「検査」の名称に「学力」という語を含まないグループについては，学校推薦型選抜では，教科・科目に基盤をおく「検査」が実施される傾向が強いのに対して，総合型選抜では，教科・科目に言及しない「検査」を実施する大学数が学校推薦型選抜より多い。募集要項等では，「検査」に関して，基礎的な問題を出題することや，出題範囲や分野の限定，教科書を参照した難易度の目安の説明などがみられる。 |
| キーワード：基礎学力、適性検査、総合型選抜、学校推薦型選抜 |
| ▶ 事例研究論文 |
|
| 米国における大規模学力パネル調査の特徴――全米教育統計センターが実施する調査を事例に―― |
| 垂見裕子1、川口俊明2、西徳宏3 |
| 1武蔵大学、2福岡教育大学、3大阪大学 |
| 本稿の目的は，全米教育統計センター（NCES）が実施する大規模学力パネル調査の特徴を整理し，そこから日本の学校を対象とした大規模学力調査の在り方に関する示唆を得ることである。具体的には，以下の3点から整理を行う。（1）米国のNCESが実施する大規模パネル学力調査は1970年代以降，どのように発展・変化してきたのか。（2）これら大規模学力パネル調査を実施するために，どのような調査実施体制がとられているか。（3）NCESが実施する大規模学力パネル調査の主たるテーマである「格差」の視点が調査設計にどのように表れているか。分析の結果，日米の大規模学力パネル調査の蓄積に大きな差があること，その差は彼我のテスト文化の違いのみならずテストを支える体制・雇用慣行の違いによること，何のために学力テストを実施するのかという目的意識が重要であること等が示された。 |
| キーワード：大規模学力調査、パネルデータ、米国、全米教育統計センター、インタビュー |
| ▶ 事例研究論文 |
|
| 教科横断的に育成される思考力の測定に向けたアセスメント開発――内容領域の設定ならびに項目の作成・評価―― |
| 渡邊智也1、小野塚若菜1、野澤雄樹1、泰山裕2 |
| 1ベネッセ教育総合研究所、2鳴門教育大学 |
| 平成29年告示の中学校学習指導要領の要諦のひとつである「思考力・判断力・表現力等」（以下，思考力とする）の育成は，各教科等のみならず，教科等横断的に身につけていく力とを相互に関連付けながら行う必要があるとされている。本研究は，教科横断的に育成される思考力の学習達成を測定する総括的アセスメント開発に向けた環境整備を目的とし，第一に教科共通の「思考スキル」という理論的枠組みを用いて具体化した，思考力の学習到達の目標である思考力Can-do Statementsに基づき，アセスメントの測定対象領域を整理した。第二に，問題項目の試作版を開発した。第三に，そのアセスメントの受検対象者となる中学生の解答時の発話プロトコルデータによる項目分析，および量的な解答データによる項目分析の結果に基づき，項目の妥当性の証拠および項目を改善するための手がかりの収集を試みた。 |
| キーワード：思考力、学習指導要領、Can-do Statements、項目開発、思考発話、項目分析 |
| ▶ 展望論文 |
|
| CBT領域におけるプロセスデータ利活用研究の動向 |
| 北條大樹1, 2 |
| 1ベネッセ教育総合研究所、2東京大学 |
| 本研究では，教育アセスメント，特にCBTにおけるプロセスデータ（ログファイル）に関する研究を（1）プロセスデータとログファイルの定義と両者の違い，実務で使用されるプロセスデータの種類，（2）プロセスデータ研究の主な目的，（3）プロセスデータの統計解析と統計モデル，（4）Evidence centered designに基づいたプロセスデータの妥当性に関する議論，の4つの観点から概観した。そして最後に，今後のプロセスデータ研究について，学術的な観点と倫理的な観点から議論を行った。プロセスデータを用いた研究を実施するためには，多くの課題があるものの，CBTの継続的な発展を支えるために，テスト領域全体として研究成果を蓄積していくことが必要であり，重要であるだろう。 |
| キーワード：プロセスデータ、ログデータ、ログファイル、CBT |
| ▶ 展望論文 |
|
| コンピュータを用いたアセスメントに関する研究トピックの整理と最新の動向 |
| 分寺杏介1 |
| 1神戸大学、1ベネッセ教育総合研究所 |
| 本稿では，コンピュータを用いたアセスメント（computer-based testing［CBT］）の理論的側面に関する各領域の研究を概観するとともに，最新の研究動向を紹介する。CBTに関する主要な研究トピックのうち「紙筆式（PBT）による得点との比較可能性」「適応型テスト」「新しい形式の項目」「オンライン試験における不正行為とその対策」「ログデータの活用」「特別な配慮」の6点について，これまでの知見および最新の動向を紹介した。また，CBTの発展に関する先行研究の予測に従い，CBTに関する研究の今後の方向性についての展望を「妥当性」「テスト不安」「自動化」という3つの観点から論じた。 |
| キーワード：computer-based testing、モード効果、適応型テスト、technology enhanced items、不正行為、ログデータ |
