Project North Starとは
Project North StarはLeap Motion社(現Ultraleap)が100ドルで作れるARデバイスとしてオープンソースで開発を進めていたARヘッドマウントディスプレイです。
オープンソースといっても中々個人で部品を調達するハードルはかなり高かったのですが、日本ではExiii社がAmazonで買える部品で作れる簡易版North Starの作り方を公開したり、Psychic VR Lab社がキャリブレーション方法などを公開したことで比較的容易に作れる環境が整っていました。
2018年は今のようにハンドトラッキングをサポートしているXRデバイスは殆どなく、Hololensもジェスチャ操作のみ、VRのヘッドマウントディスプレイではみなLeap motionを筐体に貼り付けて力業でハンドトラッキングを行うような時代でした。そういった中で光学シースルー型のARデバイスでハンドトラッキングが出来るNorth Starはかなり画期的なデバイスとしてXR界隈では一世を風靡していました。
製品ではなく、あくまでホビー的な側面が強いプロジェクトであったためなかなか表舞台では姿を見ませんでしたが個人的には大好きなプロダクトです。
Project North Starのイマ
元々Leap Motion社のプロジェクトとして始まった本デバイスですが、現在は有志によるコミュニティを中心に開発が進められています。
North StarコミュニティはDiscordサーバーでコミュニケーションが行われており、僕も2018~2019年にNorth Starを使ったプロジェクトをいくつか行っており、その頃に情報収集のため参加しました。
特に積極的に参加することもなく半年に1回ぐらい覗いていたりしてたのですが、いくつか面白いプロジェクトがあったのでこの機会に紹介しようと思います。
現在のProject North Star関係のプロジェクトはこちらのページにまとまっています。
■ ハードウェア
現在はNoah Zerkinさんが開発したDeck Xと呼ばれるシリーズが展開されています。以前の記事(Project North Star Kit一式を揃えるのに掛かったお金)で僕が購入したように完成品を購入することも出来ますし、本家のProject North Starと同様に3Dデータも公開されているのでレンズや制御基盤、センサーだけを購入することもできます。
Deck Xの大きな特徴としては本体からPCに繋がるケーブルの数がDP(ディスプレイポート)とUSBの2本になったということです。今まではLeap motion、Real Sense、ディスプレイ、ディスプレイの電源供給用のUSBの4本出ていて、なかなか取り回しが大変だったのですが、Deck XではNorth Star Integratorと呼ばれる基盤が載っておりそこに集約される形になっています。
Deck Xはsmart prototypingから購入することができます。(執筆現在購入はできませんが、、、)
■ ソフトウェア
・Steam VR
North Starは自分で作るARデバイスという特性上アプリストアのようなものがなく、自分でアプリケーションを作って終わりということが多いです。
そういった弱点を克服できるプロジェクトとしてNorth StarをSteam VR上で動作させようといった動きがあります。
まだまだ開発中のプロジェクトということもあり、僕も試してみましたが途中でハマってしまい断念しました。。。(是非どなたかリベンジしてください)
このような感じでSteam VRにNorth Starが認識されます。
・Project Esky
こちらはNorth Starを初めとした自作ARデバイスをMR Tool Kit上で動かすことを目的としたプロジェクトです。
MR Tool KitはUnityで利用できるMRアプリ開発用のパッケージでMR開発に必要な機能が色々と用意されており、Hololensを始めMeta Quest等でMRコンテンツの開発ができます。
North Starの特性上、Leap motionやReal Senseなどの各種センサーの組み込みは自前で実装する必要がありましたがProject Eskyではそういったレイヤの問題を吸収してくれ、アプリ開発に集中することができます。
Project Eskyを使ってMR Tool Kitのサンプルシーンを動かしてみました。
Eskyの使い方は別記事として後日投稿予定です。
2022年現在North Starでアプリ作りを始めるならこれ一択のような気がします。
気になった人はProject Eskyに関する論文も投稿されていたので是非ご覧ください。
Project Esky: Enabling High Fidelity Augmented Reality on an Open
Source Platform
Project Esky: an Open Source Software Framework for High
Fidelity Extended Reality
おまけ
最後に自分が学生時代に取り組んだNorth Starを使ったプロジェクトを2つ紹介(供養)して終わりにできればと思います。
Aerial Steer
World Hapticsという国際学会の中の学生コンテストみたいな枠で発表した作品です。ワイヤ駆動型の触覚提示装置とARを組み合わせて、物理的な手応えも変化するインターフェースの提案を行いました。
North Starは動画の1分ぐらいに登場します。
AR技術を用いたデバイス基準の拡張UIとのインタラクションにおける触覚提示部位の予備的検討
スマホにARで拡張されたインターフェースがついた時にどのように触覚提示すれば良いかを検討した研究です。
