CEFRレベル分け作業と今後の展望

東京外国語大学　根岸雅史

この秋に、英国のケンブリッジ大学とベッドフォードシャー大学を訪問した。目的は、日本人英語学習者のスピーキングおよびライティング・パフォーマンスをCEFR（Common European Framework of Reference for Languages）レベル別に分け、その中からレベルごとの典型的な例を見つけることである。

CEFR研究では、これまでその能力記述としての「記述文（descriptor）」の分析が中心となってきたが、どの技能でもそれぞれのレベルの実際のパフォーマンスを見ることはとても重要である。筆者の経験でも、記述文からイメージされるものは人によってかなり異なっていることがあるからだ。その意味では、CEFRに関しては、すでに様々なレベル別のパフォーマンス例が用意されてはいる。たとえば、Cambridge ESOLからは、これまでDVDによって配布されていたCambridge Examinationsから集められたスピーキング・パフォーマンスがあったが、最近ネット上でも同様のものが見られるようになった¹。ただし、これらの例を見ていて思うのは、日本人英語学習者とは多くの点で異なるために、なかなか日本人学習者に当てはめた場合のイメージが得にくいということだ。たとえば、DVD版ではB1にロシア人とブラジル人の女性英語学習者の例が載っているが、彼らは放っておけばいつまででも会話を続けるために、日本人研究者の中にはこれをB2以上と判断してしまう者も少なくない。ちなみに、DVD版には、A2にMasaki君という日本人の高校生が出ていたが、今回ネットで公開されたものには日本人英語学習者は入っていない（CEFRのレベルについてはこちらのP24を参照）。

このため、CEFRの各レベルにおける日本人のパフォーマンス・サンプルを用意することは、今後の日本でのCEFRの普及には重要であると思われる。そこで、今回の訪英では、（株）ベネッセコーポレーションから提供されたGTEC（社会人版）のスピーキングおよびライティングの解答と、統計的に処理された受験者のテスト・データを持っていった。このテスト・データには、それぞれの技能のテスト結果から推定される受験者のCEFRレベルも含まれていた。ただし、このレベルは、複数のタスクに対するパフォーマンスの結果から推定されたものであり、個別のタスクに対するパフォーマンスの評価ではない。余談であるが、日本人の受験者の多くは、Aレベルであり、Bレベルは多少いるが、Cレベルはほとんど存在しないといってよい。ただし、それぞれのレベルの代表例を探すという目的のために、上のレベルに関しても、できるだけ多くのものを用意した。

テスト・データのCEFRレベル分けの作業は、ベッドフォードシャー大学のTony Green博士とともに、次のような方法で２日間行われた。初日はライティング答案の仕分け作業、２日目はスピーキング答案の仕分け作業が行われた。ライティング答案の仕分けにあたっては、まず出題された問題をGreen博士に説明し、次にCEFRのライティングに関連のある記述文を見ながら、１つ１つの答案に実際に目を通し、レベルを確定していった。スピーキング答案の仕分けでも、ほぼ同様の手続きがとられた。スピーキング答案は音声データであるために、実際の音声を聞きながら判断を行った。

まず、はじめに問題となったのは、タスクのレベルである。ライティングでもスピーキングでも、これらはCレベルを判断するには問題の難易度が足りないというものだった。この点について、今回はCレベルを判断するには十分な難易度の受験者のテスト・データを入手できなかったという制約があったため、Cambridge ExaminationsのうちCレベルに該当するCPEやCAEの問題例などと較べ、難易度は低いと判断された。この根底にあるのは、それぞれのレベルの判断はそのレベルに相当するタスクを課して判断するという、ケンブリッジ大学を中心とする研究者たちの見解である（ちなみに、ベッドフォードシャー大学もこちらの一派と考えられる）。つまり、Cambridge Examinationsでは、CEFRのそれぞれのレベルに対応した試験を受験者自身が選択して受験し、そのレベルに達しているかが判断される。Cレベルであるかどうかを判断するには、Cレベルのテストを受けることになるのである。これに対して、項目反応理論を使った適応型のGTECは、項目への反応具合を判断しながら、テスト項目のレベルを上下させることで受験者の能力に合った出題をしている。一方、TOEIC®は全ての受験者に対して、様々な難易度のテスト項目からなる共通のセットを課し、その全体の出来からレベルを判断している。いずれにしても、こちらの持ち込んだテストのタスクの難易度が十分ではなかったために、こちらの当初の想定ではCレベルとなっていたものもB2以上という判断しかできなかった。ここで再確認したのは、CEFRのレベル判断は、その学習者がタスクとして何ができるかというfunctionalな判断によって行われるということである。これは個別言語によらない共通の参照枠としては、ある意味当然のことかもしれない。

このように、それぞれの技能における、CEFRレベルの日本人英語学習者の典型例をどうにか決定し、帰国することができた。しかし、今ここに1つの疑問が生じている。Cambridge ESOLでは、現在English Profileというプロジェクトが進められている。このプロジェクトは、CEFRの各レベルの英語学習者の言語的な基準となる特性（criterial features）を特定していこうとするものである。プロジェクト自体はまさに進行中であるが、すでにある程度の成果も出てきている。このプロジェクトからCEFR各レベルの基準特性の全貌が明らかになってくると、奇妙な問題に出くわすことになる。というのも、これまでのCEFRレベルの解釈はタスクに依存していたが、いわゆる「言語の質」を詳しく見ることでそのタスクのレンジを外れたレベルであっても、ある程度判定が可能となるからだ。今回のスピーチ・サンプルの中には、私自身が用意した最もレベルの高いと思われる日本人学習者のものも含まれていた。上述のように、今回のテストのタスクの難易度が十分ではなかったためB2以上と判断されたわけであるが、ここでは現在Cレベルの基準特性とされる関係詞²が短い発話の中に何度も用いられていた（ちなみに、今回私が持ち込んだスピーチ・サンプルの中で関係詞が用いられていたのは、この学習者のものだけである）。English Profileプロジェクトが進み、各レベルの基準特性がある程度の詳細さをもって明らかになれば、学習者のパフォーマンスにおける言語的特性からCEFRレベルの判断が可能となるかもしれない。

※English Profileについての詳細は以下の「2009年度第2回研究会レポート　CEFRがヨーロッパに与えたインパクトと日本の英語教育への示唆」をご参照ください。
https://www.arcle.jp/report/2009/0002.html