【PROGOS】AIスピーキングテストの精度は？他試験と比較します【英検1級合格者】

(2023年2月4日追記) TOEIC Speakingの受験結果を掲載しました

(2024年1月31日追記)【PROGOS】B1 highを超えられない？ B2をとるには？

PROGOSとは

レアジョブ社の子会社によるAIスピーキングテスト

レアジョブ社の子会社であるPROGOS社によるAIスピーキングテストです。

公式HP によると、以下の特徴があります。

｢日本で最も年間受験者数の多いスピーキングテスト｣

｢AIビジネススピーキングテスト｣

以下で詳しく解説していきたいと思います。

他のスピーキングテストとの比較

ポピュラーなスピーキングテストと比較しました。

筆者はTOEICスピーキング以外は受検経験があります。

各項目をひとつずつ見ていきます。

試験時間 : 20分→他の試験と同等

PROGOSは20分で試験が終わります。

試験時間については、どの試験も15-30分なので大きな差はありません。

試験費用 : 1回550円 → 他の試験より格安

PROGOSは1回550円で受検できます。

また、毎月1回、好きな日に受けられるというのもメリットです。

採点者 : AI → 人が見ているわけではない

PROGOSの採点はAIが自動で行います。

他のテストは人が行うので、ここが大きな違いになります。

採点期間 : 1分以内に結果をみられる → 他の試験より圧倒的に早い！

PROGOSでは受験後1分以内に結果がわかるのも大きなメリットです。

他の試験では結果が数日後にわかるので、AIの効果が出ています。

採点基準 : CEFL(セファール)準拠

採点は8段階評価で行われます。

公式HP によると、次の様なものです。

CEFL(セファール)による以下の6つの指標に基づいています。

表現の幅、正確さ、流ちょうさ、やりとり、一貫性、音韻

これら6指標がそれぞれ、8段階評価され、

総合得点として、｢A2 High｣などと、8段階評価で表示されます。

英検1級合格者のPROGOS受検結果

1回目 : B1 High = 最高評価のひとつ下

筆者が英検1級合格を達成したのと同時期の受験結果です。

B1 Highは7段階目の評価なので、最高評価はとれていません。

2回目もB1 High = 英検1級に合格できる実力

1回目の受検から半年後に、再度受験しました。

半年間、英語学習としては、通勤中に瞬間英作文をやっていました。

しかし、結果はB1 Highで変わりませんでした。

よって、以下の関係が成り立ちます。

B1 High = 英検1級に合格できる実力

CEFRと英検1級の関係を示すこちらの表によると

英検1級合格はCEFRでC1とあります。

PROGOSではB2 and aboveにあたります。

英検1級合格者がPROGOSで最高評価をとれない原因は以下が考えられます。

• 日本人の特徴としてRLとSWのバランスが悪いこと
• 英検1級に合格するためには面接慣れすれば良いこと
• 英検1級はトピック暗記でのりきれること

よって、真の実力のある英検1級合格者は最高評価がとれると思います！

筆者はトピック暗記で英検1級をのりきったので、まだまだですね^^;

レーダーチャートを作ってみた

私はPROGOSでレーダーチャートをみていないので、自作しました！

1回目の方が2回目よりも若干成績は良かったようですが、

総合評価はどちらもB1 High でした。

どちらも正確さ(Accuracy)に課題があるようですね！

最高評価のポイントはCAF

英会話を上達させる上でCAFというポイントがあります。

Complexity(複雑さ)

Accuracy(正確性)

Fluency(流ちょうさ)

面白いのは、

｢Fluencyを伸ばそうとするとAccuracyが落ちる｣

みたいに、3つの能力が脚を引っ張り合うことです(表現が^^;)

よって、スピーキング力をUPするためには、

CAFの3つの能力を同時に伸ばすことが重要です。

(簡単にできれば苦労しないのですが…^^;)

PROGOS受験結果と他のテスト結果との比較

英検1級の面接合格のボーダー = PROGOS B1 High

私は英検1級2次試験の面接に、

1回目は1点差で落ち、2回目はトピック暗記がヒットして合格しました。

この実力がPROGOS B1 Highであると考えて良いと思います。

E-CAT ではB1 = PROGOS B1 High (AI精度は悪くはない)

こちらはE-CATというスピーキングテストです。

E-CATは｢専門資格を有した認定グレーダー｣による採点が行われます。

筆者のE-CATの評価は｢B1｣でした。

PROGOSの評価は｢B1 High｣だったので、

PROGOSのAIの精度は悪いものではなさそうです。

TOEIC スピーキングでは140点=B1

(2023年2月4日追記)
B1 High を4回続けてとった状態で、TOEIC Speaking&Writingを受験しました

TOEIC公式が、TOEICスピーキングとCEFRの対応表を作っており、
TOEIC S 120ー150でB1,
TOEIC S 160ー170でB2
だそうです。

TOEICスピーキングは結果の返送が17日と遅い分、
信頼性が高いのが魅力ですが、
PROGOSの評価とおおよそ一致しています。

PROGOSの精度もなかなかですね。

PROGOSのメリット

試験結果が1分でわかる

他のスピーキングテストにはない最大の特徴です。

また、自宅からでも気軽に受けられるのも魅力。

受検費用が550円と安い

受検費用が他の試験よりも格安なのはとてもありがたいですね♪

AIを導入したことで人件費が削減されています。

PROGOSのデメリット

評価精度にはやはり不安が残る

AIによる評価なので、精度には不安が残ります。

筆者としては、AIは短い文章などを聞き取るのがうまくいかない印象があります。

長い文章は文脈から意味を類推出来るからです。

人による評価であれば、採点者が受験者の意図を理解するために意識が働くのに対し、

AIは時制の一致等を機械的に判断するというのも違いだと思います。

知名度が低いため他の試験との比較が難しい

PROGOSによるAIスピーキングテストは2020年6月と比較的最近導入されたこともあり、

TOEICやTOEFLに比べて知名度が低いのも現状の課題です。

｢PROGOSでB1だった｣というのが他の試験でどれくらいなのかがわかりにくいのが難点。

なので、私の場合のように、PROGOSと他の試験を比較するのは、

貴重なデータなのではないかと思います。(自分で言っていく^^;)

まとめ : PROGOSは結果が1分でわかるスピーディーさが最大の魅力！

• PROGOSは結果が1分でわかるのが最大の魅力のスピーキングテスト
• AIによる評価は不安が残るが、精度はそれほどまで悪くはない

以上が、2回のPROGOS受検と、E-CATや英検の面接を通して感じた特徴です。

皆様の参考になれば幸いです。

今後も英会話を含めた勉強の情報を発信していきたいと思いますので、

宜しくお願い致しますｍ（＿　＿）ｍ

(2024年1月31日追記)【PROGOS】B1 highを超えられない？ B2をとるには？

2024年1月31日 【PROGOS】B1 Highを超えられない？ B2をとるには？【英会話】【TOEIC Speaking】