KAJI LABORATORY

正式な研究室名は行動情報科学研究室です.行動をセンシングし,行動をデザインする研究室です. スマートフォン等の各種センサを用いた屋内位置推定・行動認識技術の追求と,それに基づいた人間拡張や行動変容に資するシステムの実現を目指します

MRひっぱるーむ:現実空間をゲームの要素として活用するMR ゲーム

現実空間の壁や家具をゲーム要素として利用し,ハンドトラッキングによるボール操作を通じて空間理解を促進する MR ゲーム

研究の概要

本研究では,現実空間をゲームの要素として活用する Mixed Reality(MR)ゲーム「MRひっぱるーむ」を提案する.本システムは Apple Vision Pro 上で動作し,ハンドトラッキングを用いて仮想ボールを掴み,引っ張り,放すという直感的な操作によりボールを射出する.射出されたボールは ARKit のシーン再構築機能によって取得された現実空間の壁や床などのポリゴンメッシュを反射面として移動し,ユーザは現実の部屋全体をゲーム空間として利用できる.RealityKit による物理演算を用いてシステムを実装し,ユーザ評価実験を通して体験の有効性を検証した.その結果,プレイヤーが周囲の空間構造や家具配置を意識しながらプレイする傾向が確認され,MR 環境が空間理解や探索行動を促進する可能性が示された.一方で,ボール挙動の制御や操作支援,マルチユーザ対応などの課題が明らかとなった.今後はこれらの改善を通じて,より発展的な MR ゲーム体験の実現を目指す.

図1.png (1.6 MB)

phoneSynth: スマートフォンの姿勢変化で操作する演奏機能の分離された楽器アプリケーション

スマートフォンのセンサを用いたシンプル操作と「演奏機能の分離」により,複数人で手軽に協調演奏できる電子楽器アプリを提案・開発した。

研究の概要

独自の演奏インタフェースを持つ電子楽器は,操作性と表現方法を自由に設計できる利点がある一方,しばしば操作が複雑になる傾向がある. そこで本制作では,普及率の高いスマートフォンを楽器として活用し,より多くの人々にとって魅力的で手軽な楽器演奏の入り口となるよう設計する.スマートフォンのセンサや通信機能を活かした演奏方法と,本制作で提案する「演奏機能の分離」というコンセプトを図に示す.これらを実現する楽器アプリケーションphoneSynthをAndroid上で制作した. 演奏方法の基本構成は,センサによって得られる端末の傾きを,シンセサイザの各パラメータにマッピングする方式である.また,ここでの「演奏機能の分離」とは,一つの楽器の演奏要素を音高,音量,音色などに細分化し,複数人で分担する協調演奏の形態としている.このアプローチは,複数人での共同作業という新たな演奏体験を提供するだけでなく,奏者の熟練度のばらつきに対して柔軟な対応を可能にし,奏者間のコミュニケーションを促進する効果が期待できる.

⽣体情報を活⽤したインタラクティブシステムの研究

人間の生体情報を利用したインタラクティブなシステムの提案を行う。

研究の概要

近年,ウェアラブルデバイスの普及に伴い,心拍数や加速度などの生体情報をリアルタイムに取得することが可能となっている.これらの生体情報は健康管理や運動支援といった分野で活用されることが多いが,エンターテインメント分野においても新たな体験価値の創出に寄与する可能性を有している.しかし,従来のエンタメシステムの多くは,ユーザの入力操作に依存しており,身体状態や行動の変化をリアルタイムに反映する仕組みは十分に確立されていない. 本研究では,ユーザの行動認識および生体情報に基づき,インタラクティブな体験を提供するエンタメシステムの拡張を目的とする.具体的には, Pixel Watchから取得した心拍数データをRaspberry Pi上のサーバへ送信し,その変化量をリアルタイムに解析するシステムを構築した.取得した心拍数データはWeb APIを介して管理され,ターン制のゲーム進行に応じて特定のユーザのデータのみを取得・保存することで,生体情報に基づくインタラクションを実現している.

image.png (295.2 kB)

同一現実空間での仮想的なコンテンツの共創を支援する複合現実システムに関する研究

研究の概要

仮想空間技術を利用したコンテンツはこれまでも盛んに制作され、多くの人が体験している.その仮想的なコラボレーションを,現実環境を共有する複数のユーザ同士が現実空間に物理的に存在するオブジェクトと仮想的なコンテンツの位置関係の整合性を重視し,インタラクティブにコンテンツの創作が可能な仕組みを提案する.この仕組みによって現実空間のオブジェクトを扱いながら,仮想的な共創を実現できる.そのための基盤としてMR共創環境においてスケッチによる共創が可能となるシステムを作成した.座標交換やRPCの仕組みによって2人で仮想的なコンテンツをMR空間上に共有して編集する仕組みを導入した.この仕組みは同一空間内でのコンテンツの共創に有効であると確認した.

one_page-0001.jpg (269.9 kB)