フィードバックについて

CodeIQのフィードバックは1提出につき1回のみ

CodeIQはそもそも転職を希望する人向けのサービスですので、問題に挑戦したときのフィードバックについても、基本的には企業から問題の挑戦者に対して何らかのアプローチを行うことを目的としています。たとえば、「採用をしたい！」みたいな文言を入れて挑戦者の誰かに送ったとします。受け取った人は、その申し出を受ける受けないに限らず、「自分の事を採用する意思がある」と理解します。もしその後、「ごめん、やっぱり今のはナシで！」なんて通知が来たら、これは信用問題ですよね。真剣に職を求めている人にとっては重大な問題です。
そんな背景もあって、『フィードバックは1回の提出に対して1回限り』・『修正は不可』という、少し厳しいルールがあります。

※ここから先に書かれている内容は、私が出題する問題に限っての話ですので、CodeIQで出題されている他の出題者とは無関係です。

挑戦期間中に行うフィードバック

私の出題する問題では、2種類のフィードバックを行っています。

(1)出題期間中のフィードバック

出題期間中にご提出いただいた解答をチェックし、もし不正解の解答を見つけたら、フィードバック行う場合があります（必ずというわけではありません）。たとえば、出題期間が3週間くらいあって、最初の1週間くらいで不正解の解答を見つけた場合は、まだ修正する時間が十分にありますからフィードバックを行うことが多いです（提出数が多すぎて忘れることもありますが）。逆に、提出期限まであまり時間がない（あと1・2日くらいしかない）ような場合は、フィードバックしないことが多いです。
この理由は、私の出題する問題ではバッジ付与が関わっていることが多いので、できるだけ多くの人にバッジを獲得して貰いたいからです。

それ以外に、「ショートコーディング問題」のように、1Bでもソースコードが短くなったら提出するタイプの問題の場合、状況が確認できるようにするためのフィードバックを行う場合もあります。ただし、前述の通り1提出につき1回しかフィードバックできませんので、2回以上ご提出いただいている場合に限っています。具体的には、2回ご提出いただいたら、1回目と2回目の記録を1回目のご提出分に対するフィードバックとし、3回ご提出いただいたら、1回目・2回目・3回目の記録を、2回目のご提出分に対するフィードバックとしています。

(2)出題期間後のフィードバック

こちらがメインのフィードバックです。問題の解説記事は大体CodeIQ MAGAZINEでしっかり書くので、問題の内容に関することはできるだけ簡潔に書くようにしています。出題期間中と違い、採点・解説記事作成を終えてからの作業になりますので、全体を通しての感想とか反省を書いたり、個別のメッセージを書いたりします。

ルールは試行錯誤中

ここまで書いてきたルールは、今後変更していくことになると思います。CodeIQのシステム自体が変わる可能性もあるでしょうし。「挑戦者から見て便利」であることを目指しつつ「出題者として一番やりたいことをやる」ために、もう一工夫・二工夫していきたいところです。

【3月10日追記】出題期間中のフィードバックについて

提出数が多くなってきましたので、出題期間中のフィードバックの送信ルールを少し変更しました。

・提出回数に関係なく、不正解の場合はフィードバックを送信します。
・正解の場合で複数回ご提出いただいている場合、最終から2番目の提出のみにフィードバックを行います。つまり、前回のフィードバックから今回の採点時までに10回くらいご提出いただいていても、同じような内容のフィードバックが9回も来るわけではなく、1回だけ来ることになります。

相変わらず複雑で恐縮ですが、簡単に言うと「不正解の場合は必ずご報告します」・「正解の場合は適当にまとめてお知らせします」ということです。