出題担当のfujiwaraです。

ISUCON3予選にご参加いただいた皆様、ありがとうございました。 本選進出者の皆様、おめでとうございます！

おかげさまで大きなトラブルもなく、無事に2日間の予選を終えることができました。楽しんでいただけたでしょうか。

出題内容

今回の予選問題は以下のようなWebアプリケーションを題材としました。

• 要するにGithub Gistのようなもの
• ログイン機能がある。Cookieによるセッション維持が必要
• プライベート投稿機能がある。プライベート設定されたものはログインしているユーザにしか見えない
• Markdown形式で投稿できる

過去のISUCON1,2での題材はユーザごとのログインという機能がなかったため、その点が大きく異なる部分ですね。

詳細については、問題作成に協力してもらった同僚 @acidlemon が解説記事を書いていますのでご参照ください

講評

予選参加者の皆さんから提出された AMI から運営がインスタンスを起動してベンチマークを行い、予選期間中に記録された最高スコアに近い値が計測されたのを確認して本選進出確定、というレギュレーションでしたので、こちらでベンチマークを実行しつつ内部を軽く見せていただきました。それを元に講評したいと思います。

アプローチとしては大きく分けて三つあったようです。

1. アプリケーションを再実装しオンメモリにデータを保持して高速に処理する実装を作り上げる
2. フロント(nginx, varnishなど)でキャッシュを積極的に行い性能を出す
3. アプリケーションを着実に改善していくことで性能を出す

スコアが20,000以上の上位チームの中では、「山形組」「ぜかまし」が1.のアプローチ、それ以外が2.のアプローチのようでした。

1.のアプローチについては、今回の初期データが200MB、数万件程度でメモリに十分保持できるサイズだったこともあり、非常に高速に動作させられるようですね。 アプリケーションの変更点が大きくなるため、時間内に作り上げるのはなかなか困難だと思いますがそれをやりきって速度を出した2チームでした。

2.のアプローチですが、フロントでキャッシュするといっても、今回の設問はログイン中ユーザに配信するページにはそれぞれのユーザ名が書き込まれているなど、キャッシュすることがなかなか難しい作りです。

ただし /recent/* という投稿された一覧画面のみ、非ログイン状態のクライアントが大量にアクセスしてくる作りになっています。(一部、ログインセッションを持ったクライアントもアクセスします)

櫛井です。

オンライン予選後、事前に告知していたレギュレーションに則り、参加者から提出された AMI を元に主催者が実行し競技時間中に計測された性能値に近い値が再現できるかを確認いたしました。その結果、本選出場者は以下となります。

本選出場者

以下、順位・予選スコア・チーム名となります。

一般枠
1. 33830 勝浦タンタンメン （予選１日目 １位）
2. 32486 ぜかまし（予選１日目 ２位）
3. 32270 山形組（予選１日目 ３位）
4. 30090 進撃の超大型パティスリー兄弟（予選２日目 １位）
5. 29263 オシャレ怪盗スワロウテイル（予選２日目 ２位）
6. 20599 The Revenge of Mr. Frank & Co.（予選１日目 ４位）
7. 19412 くらげとみかんと江戸幕府（予選１日目 ５位）
8. 14379 チームたこやき（予選２日目 ３位）
9. 13192 チームぽわわ2（予選２日目 ４位）
10. 12595 Third Party Cookies（予選２日目 ５位）
11. 11249 潰すつもりで来てください
12. 10846 坂パスタ
13. 10813 白金動物園
14. 10787 50ms or die.
15. 10784 └('-'└)
16. 9732 :ok_woman:
17. 9268 Noder
18. 9061 335
19. 8756 Miami
20. 8255 Fulab ※繰り上がり当選


共催枠
LINE選抜「チーム生ハム原木」
カヤック選抜「既婚1人 + その他2人」


学生枠
1. ( (0) / (0)) ☆祝☆
2. かまたまうどん ※繰り上がり当選
3. aky ※繰り上がり当選


以上、25チームとなります。
開催のお知らせでも書きましたが、本選は11月9日(土)に LINE株式会社の渋谷ヒカリエオフィスにて行います。本選参加は当日渋谷ヒカリエにお越しいただける方のみとし、オンラインでの参加は不可とします。また、予選と本選でチームメンバーの交代は出来ませんのでご注意ください。


一般枠から暫定本選出場予定だったチーム「緊急ファイナル」については、[FAIL] invalid Cache-Control header などが大量に発生し、ベンチマークが5回連続でスコア0でfailしたため、残念ながら失格とします。

また、学生枠で暫定本選出場予定だった「魔王」は、OS起動直後にはPerl実装がsupervisordから起動していました。--init内でPerl実装を止めてforemanを起動しているところで正常に起動しなかったようで、ベンチマークが5回連続スコア0でfailしたため残念ながら失格とします。参考までに、foremanを単独で手動起動して計測したところ 16952.5 のスコアが出ました。

櫛井です。
「オンライン予選の利用言語比率を見たい」というご要望をいただいたので、アンケート結果よりまとめてみました。

オンライン予選 利用言語比率

利用率の全体ランキングは以下の通りです。利用言語は複数選択可となっています。

21.13% Perl
18.31% Ruby
12.68% PHP
7.04% Python
4.23% Node.js
4.23% Go
43.66% 未回答


本選出場の25チームに絞ると以下のようになります。
40.00% Perl
32.00% Ruby
8.00% Python
8.00% Go
4.00% PHP
4.00% Node.js
12.00% 未回答

オンライン予選 順位別利用言語

「順位別の利用言語も知りたい」という声もありましたので発表いたします。TOP10はすでに発表済みですのでチーム名も併記しています。
（当初発表時、1位チームの使用言語を間違えておりました。失礼しました。）

1 Python (勝浦タンタンメン)
2 Python,Go (ぜかまし)
3 Perl (山形組)
4 Perl (進撃の超大型パティスリー兄弟)
5 Ruby (オシャレ怪盗スワロウテイル)
6 Ruby (The Revenge of Mr. Frank & Co.)
7 未回答 (くらげとみかんと江戸幕府)
8 Perl (LINE選抜「チーム生ハム原木」)
9 PHP (チームたこやき)
10 Perl (チームぽわわ2)
11 Ruby
12 Perl
13 Perl
14 Perl
15 Ruby, Go
16 Perl
17 Perl
18 Ruby
19 Node.js
20 Perl
21 未回答
22 Ruby
23 Perl
24 未回答
25 Node.js
26 Ruby
27 Ruby
28 未回答
29 未回答
30 Ruby
31 Ruby
32 未回答
33 未回答
34 未回答
35 Ruby
36 Perl
37 Perl
38 Python
39 Go
40 未回答
41 未回答
42 Python
43 未回答
44 未回答
45 未回答
46 未回答
47 PHP
48 Perl
49 PHP
50 未回答
51 PHP
52 未回答
53 未回答
54 未回答
55 未回答
56 未回答
57 未回答
58 PHP
59 未回答
60 未回答
61 未回答
62 未回答
63 Node.js
64 Ruby
65 未回答
66 Perl, Ruby, Python, PHP
67 PHP
68 PHP
69 PHP
70 未回答
71 未回答
72 未回答
73 未回答
74 未回答


以上です。

ご参加いただいた皆さんの感想などはこちらにまとめています。
・ISUCONオンライン予選 関連エントリまとめ : ISUCON公式Blog