本研究では、FPGA(Field Programmable Gate Array)と呼ばれるプログラム可能な回路を使って、球体のスクリーンに映像を投影するシステムを作っています。この球形のスクリーンを使うことで、見る人がその場に入り込んだような体験ができると期待されています。このようなディスプレイを没入型ディスプレイと呼ぶこともあります。そして、遠隔で乗り物を操作するような、リアルタイムでの反応が重要なシーンで、操作する人が利用する画面として役立てることを目指しています。
球形のスクリーンに映像を映すと、映像が歪んでしまうため、この歪みを正しく調整する必要があります。この調整を含む処理をFPGAで行うことで、処理の遅れをできるだけ減らし、回路もコンパクトにすることを目指しています。
運転支援システムの実証実験では、無人車を遠隔で操作する環境が提案されています。この環境の利点として、操縦者が事故に巻き込まれるリスクがないことや、シミュレーション用のデータをあらかじめ準備する手間が不要であることが挙げられます。
無人車から送られてきた映像データは、操縦者側で球面ディスプレイに投影する際に歪みを補正する必要があります。リアルタイムに近い操作ができるよう、FPGAを使って低遅延な処理を実現しています。さらに、FPGA上では回路の小規模化を図り、操縦者の視線に合わせた映像圧縮も行うことで、効率的なデータ伝送を目指しています。
球面ディスプレイでは映像が垂直方向に歪むため、その歪みを補正するには映像を垂直下向きに少しずらします。どのくらいずらすかは事前に計算して、FPGAにデータとして保存しておくことで、処理時間を短縮しています。
さらに、FPGAで使用するデータのバッファ領域を減らす工夫もしています。図に示される垂直変化量αは、ディスプレイの中央では小さく、周辺に向かうほど大きくなります。そのため、列ごとに画素データを保存し、中央部分のバッファを小さくすることで、データ領域を元の約6割にまで削減することが可能です。
現在のシステムは、視点位置に基づいた圧縮処理と歪み補正処理を元の映像に加え、それを球面ディスプレイに投影しています。各処理の時間を計測したところ、歪み補正回路はほとんど遅延がないものの、圧縮回路とアイトラッカーによる視点位置検出がボトルネックになっています。特に、視点位置の検出から映像への反映、さらにプロジェクタなどの入出力デバイスの遅延が影響し、合計で約90ミリ秒かかっています。これによりフレームレートは約11fpsとなり、滑らかな映像表示には十分ではありません。
FPGA単体では120fps以上の演算性能を達成可能であるため、アイトラッカーやセンサーなどの外部入力や、映像出力を含めたシステム全体でのさらなる遅延削減が課題です。