バンディットアルゴリズムはもともと、ギャンブルに対する最適な戦略を考えることから始まったのです。統計や確率論もギャンブルで勝つために始まったのは人間味があって私は好きです　笑。さて話を戻して。バンディットアルゴリズムは複数の選択肢がある場合、どのように選択を行うのが効率的なのか？という問題を解決するための手法です。

Googleアナリティクスのウェブテストにおいても多腕バンディットテストをその基盤の統計手法と位置づけています。WEBへの活用としては、サイトのコンテンツが複数あるとき、どれをどの割合で示せば全体で多く閲覧されるかを、自動的に導き出す手法となります。ややこしいですね。

具体的には、複数パターンを出し分け、ユーザーの反応を把握する作戦です。反応が良いパターンは多く出し、そうでないものは少なく出すようにしていく。「複数銘柄にどう投資していけば最大の成果が得られるか」という株式などの投資ポートフォリオの最適化に通じる考え方。バンディットアルゴリズムは「活用」と「探求」の２つから構成されます。活用は現時点で最も良いとされている腕を使うことであり、探求は候補の腕の中でどれが最も優れているかをテストすること。

キャンペーンサイトを例に挙げますね。

1,000人にA案サイトを別の1,000人にB案のサイトを閲覧させ、それぞれの応募率を測定することを「探求」と呼びます。いわば２つのキャペーンのお試しテストの事です。そのテストの後に反響率の高かったキャンペーンサイトを公開し続けることを「活用」と呼びます。「テスト」によって得られた結果を元に収益を最大化する行為のことです。ものすごく簡単な行為ですよね。

ここで重要なのは、「探求」と「活用」にはトレードオフが存在するということです。例えば1,000人ずつにサイトを閲覧させるところを10,000人ずつに公開する、つまり「探求」を長く行っていたらどうでしょうか。そうすると反応の多かった案を表示できる期間、つまり「活用」の期間が短くなります。「活用」の期間が短くなるということはそれだけ収益も減るということを意味するのです。

では逆に1,000人ずつに閲覧させる所を100人ずつにしていたらどうでしょうか。「活用」の期間が短くなるから収益が増えるのでしょうか？残念ながら一概にそうとは言い切れません。100人ずつの閲覧ではサンプルの母数が少なすぎる可能性があるからです。絶対的な母数の欠落。

本当はAサイトの方が効果が良いはずなのに、Bサイトを採用してしまう、といったケースが考えられるということです。効果の低いＷＥＢサイトを採用してしまったら、いかに「活用」の期間が長くとも、収益は増えるどころか減ってしまう結果になってしまいます。このように「探求」と「活用」にはトレードオフが存在し、いかに両者の均衡を図ることが重要かということになるのです。

やはりこのあたりは経験値か。職人技の見せどころですね！