ニューヨークを拠点にするインタラクティブアートディレクター Lim Si Pingは、インタラクティブメディア作品「Facebook」を公開した。

このインタラクティブメディアでは、顔認識で読者のデータをトラッキングすることで、この読者をリアルタイムで物語の主人公にすることができるという。

対象となる読者がインタラクティブブックを開くと、カメラは顔認識システムを利用して、読者のプロフィールと検索エンジンでトラッキングしたデータを合致させる。そしてこの本は、バックエンドのアルゴリズムを描き出して、読者の名前、年齢、性別、場所、生年月日で物語の空白部分を埋めてくれるのだ。

ページをめくるごとに物語が展開されるので、読者はこれが自分自身に関する物語だと気づくことになる。いわば「データ駆動型物語」であり、本と相互作用する各人のユニークな物語が目の前で展開され、個人データにもとづいて内容が影響されるのだ。

開発は、電子アートのプログラミング言語 Processingを使ってRekognition APIデータを変換し、2つのスケッチから、はじめにユーザーの顔の輪郭をトレース。ついでこのデータを物語のプロットに投影する。クライアントとサーバー間で、このProcessingで描画したスケッチ2つを使用する仕組みのようだ。

1台目のWebカメラは、NyARToolkit for processing でマーカーを使って本をめくるユーザーをトラッキング。2台目のWebカメラは顔をトラッキングし、顔認識から事前に保存したデータを取り出して本に投影している。