9/12 22:00 自己申請による失格について再度検討を行った結果を追記しました
9/12 18:00 平文での格納について一部表現を変更しました
9/11 21:38 本選出場の取り消し無効にする対応を追記しました
9/11 17:30 bcrypt についての一部表現を訂正しました
9/11 17:09 経緯についての追記を行いました
ISUCON9 予選においてレギュレーション違反があり、本選出場者の繰り上がり対応を行いました。
経緯としては、マニュアルの制約事項にあった「パスワードを平文で保存すること禁止する」が該当しました。パスワードの保存の規定については、ISUCONの競技の性質上すべてをチェックすることは難しく、参加者の申告に基づき判断をしております。そのため、競技終了後すぐに判断することは出来ずこのタイミングとなりました。
[9/11 17:30 追記]
運営の対応についていくつかのポイントで説明責任があると考え、追記いたします。
◾️ 問題作成の経緯について
課題アプリケーションのパスワード保存にbcryptを採用した経緯ですが、参考実装を提供する各言語で実装があり、saltの付与やストレッチングが可能であり安全なアルゴリズムとして広く利用されていると判断し、採用しました。
ベンチマークの試行中において、キャンペーン機能による大量の購入リクエストを行うため、ログインが多く発生するようになっています。その結果として課題アプリケーションに問題作成者自ら取り組んだところでも、bcryptによるCPU使用率が目立つことは認識しておりました。
bcryptによる負荷の対処方法として、サーバを追加、軽量なハッシュ関数での代替、あるいは平文での保持を開発チームにおいて想定しましたが、現実の問題として、パスワードなどの情報流出などの事件が発生しており、安全性の高くないアルゴリズムの利用、平文での格納は一般的に推奨されない実装方法だという認識を同時に持ちました。
※9/12 18:00 一部表現を変更しました
ISUCONの課題アプリケーションとして、bcrypt の負荷を解決し高いスコアを出す方法がサーバの追加の一つだけであることは避けたく、bcryptの変更禁止ではなく軽量なハッシュ関数での代替を可能とする、「平文での格納を認めない」という文言をマニュアルに追加しました。例え、bcryptの維持であってもそれを検証することは難しく、参加者からの申告をもって失格の判定を行えば十分であろうと想定しておりました。
※bcryptについて、一部表現を訂正しました
■競技中に繰り返し質問をしたにも関わらず回答が得られなかった内容で失格とするのは問題があるのではないかという意見について
当日のサポートチャットのログを掲載しながら説明いたします。このサポートチャットはそれぞれの日に参加している参加者全員が見ることができるもので、 #general という参加者全員が参加しているチャンネルでのやりとりです。該当のレギュレーションについては何度かサポートチャットで話題にあがりました。
12:12 表記について指摘があり説明を行いました
14:34 表現について指摘があり修正をすることになりました
14:41 #announce という運営からのお知らせのみを発信するチャンネルにて、マニュアルの更新を行ったことを案内しました
15:16 該当チームより質問がありましたが回答しませんでした
16:00 再度、該当チームより質問がありましたが回答しませんでした
当日、2度に渡りメンションがありましたが、回答がされていないことを確認しました。未回答となったことについては不親切であり、参加者の方には不満と感じる点であったかと思います。申し訳ありません。
背景を説明させていただきますと、競技の前提条件をまとめた予選マニュアルにこのように記載しています。
マニュアルに記載があること以上の情報を提供することは1日目と2日目の情報量に差が出てしまうため慎重に行いたいというのが運営側の姿勢です。競技中もDMにて質問が寄せられることが多いため「個人情報やアカウント情報のやりとり以外の、問題に関するお問い合わせはDMではなく #general にお願いします」といったアナウンスも行っています。
とはいえ、全ての質問に答えないということはもちろんなく、マニュアルの記載ミスやバグと思われる挙動についてはサポートチャットにて回答を行っていました。該当チームより質問があった際は「明確に定義して回答するべきものではない」「マニュアルに書いてある以上のことは答えようがないから未回答でよい」という運営側の判断がありましたが、参加者にとっては不親切であったかと思います。答えられません、といった回答をするべきであったと考えます。
■ ブログに書いてあったことを根拠として処理するのは問題があるのではという意見について
書いてあることが全てではないと考えますので、該当チームの方へ連絡する際にはこのような文面でありました。事実でない場合は失格処分の取り消しを行う体制でした。
■ レギュレーション確認が出来ないポイントについて、ブログで情報を公開したことにより後出しで失格となるのは問題があるのではないかという意見について
ブログについては運営から「是非ブログを書いてください」と促しているように、積極的に情報を共有していただき次回の参加者やご自身の振り返りのためにお願いしていることですので問題としては切り分けて考えていただきたいと思っています。ブログを書くと失格になるというのは間違いであり、内容に問題があれば対処を行うというだけですので誤解のないようお願いいたします。
イベントのハッシュタグがついた状態でブログエントリが公開された段階で運営側で協議を開始し対応を行った形ですが、他の参加者の方から「不正行為にあたるのではないか」「データベース上の領域に平文の文字列はそのままの形で保存されるのは平文で保存ではないか」「平文がそのまま保存されているのは明確にルールに違反する」といった連絡が運営側に寄せられました。
前述したように「参加者からの申告をもって失格の判定を行う」というスタンスであったため、公開された情報を元に別のチームの参加者からの問い合わせに応えるという形で失格という判断にいたりました。
追記は以上となります。これまでに9回開催した全てのISUCONの運営窓口を担当していますので、参加者の皆さんが本気で問題と向き合っていることや、一年に一度の楽しみとして参加していただいているのは実感しています。参加者の皆さんには出来るだけ公平な状況で競技に臨んでいただきたいという運営側のスタンスが強く出てしまった点があったかと思いますが、今回のような望まない形で話題になってしまうのは本意では有りません。
これまでにISUCONの運営に関わってきていただいた多くの皆さん、楽しいと言ってくださる参加者の皆さんに対して誠意を持って運営を行ってきたと思いますので、これからも楽しく、挑戦しがいのある問題や環境を作っていけるよう、皆様のご協力をいただければ幸いです。
ISUCON9 運営実行委員会 櫛井
[9/11 21:38 追記]
運営チームで協議をおこない、本選出場者の繰り上がり対応が適切ではないと判断したため本選出場の取り消しを無効とすることとしました。なお、繰り上がりとなったチームについてはそのまま本選出場できるものとします。
自己申告により本選出場辞退されたチームについては意向を確認中で、希望されれば本選出場できるものとします。特にレギュレーションなどで定義していませんが、運営判断ということでご理解いただければと思います。
[9/12 22:00 追記]
チーム「H::W::A::Abyss::Abyss::Abyss」は競技後にレギュレーション違反の自己申請があり失格とさせていただきました。レギュレーション違反対応の再検討の際、自己申請による失格についても再度検討を行い、運営の方針変更による失格とさせていただきました。
9/12 18:00 平文での格納について一部表現を変更しました
9/11 21:38 本選出場の取り消し無効にする対応を追記しました
9/11 17:30 bcrypt についての一部表現を訂正しました
9/11 17:09 経緯についての追記を行いました
ISUCON9 予選においてレギュレーション違反があり、本選出場者の繰り上がり対応を行いました。
経緯としては、マニュアルの制約事項にあった「パスワードを平文で保存すること禁止する」が該当しました。パスワードの保存の規定については、ISUCONの競技の性質上すべてをチェックすることは難しく、参加者の申告に基づき判断をしております。そのため、競技終了後すぐに判断することは出来ずこのタイミングとなりました。
[9/11 17:30 追記]
運営の対応についていくつかのポイントで説明責任があると考え、追記いたします。
◾️ 問題作成の経緯について
課題アプリケーションのパスワード保存にbcryptを採用した経緯ですが、参考実装を提供する各言語で実装があり、saltの付与やストレッチングが可能であり安全なアルゴリズムとして広く利用されていると判断し、採用しました。
ベンチマークの試行中において、キャンペーン機能による大量の購入リクエストを行うため、ログインが多く発生するようになっています。その結果として課題アプリケーションに問題作成者自ら取り組んだところでも、bcryptによるCPU使用率が目立つことは認識しておりました。
bcryptによる負荷の対処方法として、サーバを追加、軽量なハッシュ関数での代替、あるいは平文での保持を開発チームにおいて想定しましたが、現実の問題として、パスワードなどの情報流出などの事件が発生しており、安全性の高くないアルゴリズムの利用、平文での格納は一般的に推奨されない実装方法だという認識を同時に持ちました。
※9/12 18:00 一部表現を変更しました
ISUCONの課題アプリケーションとして、bcrypt の負荷を解決し高いスコアを出す方法がサーバの追加の一つだけであることは避けたく、bcryptの変更禁止ではなく軽量なハッシュ関数での代替を可能とする、「平文での格納を認めない」という文言をマニュアルに追加しました。例え、bcryptの維持であってもそれを検証することは難しく、参加者からの申告をもって失格の判定を行えば十分であろうと想定しておりました。
※bcryptについて、一部表現を訂正しました
■競技中に繰り返し質問をしたにも関わらず回答が得られなかった内容で失格とするのは問題があるのではないかという意見について
当日のサポートチャットのログを掲載しながら説明いたします。このサポートチャットはそれぞれの日に参加している参加者全員が見ることができるもので、 #general という参加者全員が参加しているチャンネルでのやりとりです。該当のレギュレーションについては何度かサポートチャットで話題にあがりました。
12:12 表記について指摘があり説明を行いました
14:34 表現について指摘があり修正をすることになりました
14:41 #announce という運営からのお知らせのみを発信するチャンネルにて、マニュアルの更新を行ったことを案内しました
15:16 該当チームより質問がありましたが回答しませんでした
16:00 再度、該当チームより質問がありましたが回答しませんでした
当日、2度に渡りメンションがありましたが、回答がされていないことを確認しました。未回答となったことについては不親切であり、参加者の方には不満と感じる点であったかと思います。申し訳ありません。
背景を説明させていただきますと、競技の前提条件をまとめた予選マニュアルにこのように記載しています。
サポートは事前に連絡のあったDiscord のチャンネルにて行いますが、基本的に、予選環境の構成・操作方法やベンチマーカーの処理内容については返答しません。 また、以下のURLにこれまで返答された質問などがまとめられています。 何かある時には一度ご覧ください。ISUCONでは基本的にマニュアルに記載があることについての質問には未回答としたり「マニュアルを読んでください」という回答を行うことが多くあります。
マニュアルに記載があること以上の情報を提供することは1日目と2日目の情報量に差が出てしまうため慎重に行いたいというのが運営側の姿勢です。競技中もDMにて質問が寄せられることが多いため「個人情報やアカウント情報のやりとり以外の、問題に関するお問い合わせはDMではなく #general にお願いします」といったアナウンスも行っています。
とはいえ、全ての質問に答えないということはもちろんなく、マニュアルの記載ミスやバグと思われる挙動についてはサポートチャットにて回答を行っていました。該当チームより質問があった際は「明確に定義して回答するべきものではない」「マニュアルに書いてある以上のことは答えようがないから未回答でよい」という運営側の判断がありましたが、参加者にとっては不親切であったかと思います。答えられません、といった回答をするべきであったと考えます。
■ ブログに書いてあったことを根拠として処理するのは問題があるのではという意見について
書いてあることが全てではないと考えますので、該当チームの方へ連絡する際にはこのような文面でありました。事実でない場合は失格処分の取り消しを行う体制でした。
ブログに書かれているパスワードの保存の実装が事実であれば、運営チームで
協議した結果としては失格に相当だと判断いたしました。
■ レギュレーション確認が出来ないポイントについて、ブログで情報を公開したことにより後出しで失格となるのは問題があるのではないかという意見について
ブログについては運営から「是非ブログを書いてください」と促しているように、積極的に情報を共有していただき次回の参加者やご自身の振り返りのためにお願いしていることですので問題としては切り分けて考えていただきたいと思っています。ブログを書くと失格になるというのは間違いであり、内容に問題があれば対処を行うというだけですので誤解のないようお願いいたします。
イベントのハッシュタグがついた状態でブログエントリが公開された段階で運営側で協議を開始し対応を行った形ですが、他の参加者の方から「不正行為にあたるのではないか」「データベース上の領域に平文の文字列はそのままの形で保存されるのは平文で保存ではないか」「平文がそのまま保存されているのは明確にルールに違反する」といった連絡が運営側に寄せられました。
前述したように「参加者からの申告をもって失格の判定を行う」というスタンスであったため、公開された情報を元に別のチームの参加者からの問い合わせに応えるという形で失格という判断にいたりました。
追記は以上となります。これまでに9回開催した全てのISUCONの運営窓口を担当していますので、参加者の皆さんが本気で問題と向き合っていることや、一年に一度の楽しみとして参加していただいているのは実感しています。参加者の皆さんには出来るだけ公平な状況で競技に臨んでいただきたいという運営側のスタンスが強く出てしまった点があったかと思いますが、今回のような望まない形で話題になってしまうのは本意では有りません。
これまでにISUCONの運営に関わってきていただいた多くの皆さん、楽しいと言ってくださる参加者の皆さんに対して誠意を持って運営を行ってきたと思いますので、これからも楽しく、挑戦しがいのある問題や環境を作っていけるよう、皆様のご協力をいただければ幸いです。
ISUCON9 運営実行委員会 櫛井
[9/11 21:38 追記]
運営チームで協議をおこない、本選出場者の繰り上がり対応が適切ではないと判断したため本選出場の取り消しを無効とすることとしました。なお、繰り上がりとなったチームについてはそのまま本選出場できるものとします。
自己申告により本選出場辞退されたチームについては意向を確認中で、希望されれば本選出場できるものとします。特にレギュレーションなどで定義していませんが、運営判断ということでご理解いただければと思います。
[9/12 22:00 追記]
チーム「H::W::A::Abyss::Abyss::Abyss」は競技後にレギュレーション違反の自己申請があり失格とさせていただきました。レギュレーション違反対応の再検討の際、自己申請による失格についても再度検討を行い、運営の方針変更による失格とさせていただきました。