ジャッジテストの採点プロセス

ジャッジテストを受ける人にとっては、ジャッジテストがどのように採点されていくのかが気になる、という声を何名かの方に頂いたので書きたいと思います。

ジャッジテストは最初のアロケーションを決める、そしてその後のジャッジブレイクにもかかわってくる重要なファクターなのですがどのように採点されているのでしょうか。ここでは私がACだったときの話や、他の人がACをしているときのやり方をベースに書かせて頂くので、全員のACにおいて当てはまる話ではないと思います。

1. ジャッジテストの採点方針を決める
ACとしてどのようなところに気をつけてジャッジテストを採点するのか話し合います。例えば、以下のようなことが決められます。

・Voteがどれ程ACとあっているのかを重要視するのか？（UADCだとこれはかなり重視される傾向があるようです。また、BPの大会ですと「このチームが１位なのはクリアだが、２・３・４位はクロース」のようにグラデーションをつける場合もあります。だいたいReasonをかなり重視する形には落ち着いている気がします。）

・どこを見るか？→ちゃんとScoringまで総合的にみよう、等

・この際、２－３個ジャッジテストを全てのACが見ることによって点数基準を揃えます。その基準点をベースに採点を行います。

2. AC 2人が採点

・コンフリクトに気をつけた上でACの１人が、採点者としてAC２人をランダムに振り分けていきます。

・大会によってはジャッジテストを記入した人の名前をわからないようにして番号を振り分けます。(ABP, UADC, NEAO等)

・点数とコメントをつけて、Google Docs上のスプレッドシートに書き込みます。自分の分が書き込み終わったら背景を黒にしてもう一人の採点者が見えないようにします。（だいたい実際のAdjudication Feedback Systemに準じて行います。ex. 論理的か？包括的か？具体的か？等...）

・2人の間で大きな点数差があったら話し合うか、3人目のACが見て最終的な点数を決めます。

3. (返却)

・大会によってはジャッジテストを添削やコメントという形で返却します。
私見ですが、特に「ジャッジの権利」や「学ぶ機会の提供」「アカウンタビリティ」などさまざまな観点で行うべきだと思います。

・また、全体的なコメントとしてAC見解を出すこともあります。



なお、この後のプロセスは、こちらになります。