Oculus Quest（元のモデルと2番目のモデルの両方）に(second model)は、ハードウェアが世に出てからずっと後に追加された機能の興味深い歴史があります。これらの中で最も有名なのはOculusLinkで、これは(Oculus Link)クエスト(Quest)を効果的にOculusRiftに変え(Oculus) ます(Rift)。この機能は非常に成功したため、Oculusは(Oculus)Quest以外のすべてのヘッドセットを廃止することにしました。
ハンド(Hand)トラッキングは、Oculus Linkのようなスプラッシュにはなりませんでしたが、それでも多くの可能性を秘めた素晴らしい機能です。手動追跡を使用すると、コントローラーはまったく必要ありません。あなた自身の手がVRの世界にデジタル化されます！
クエストをお持ちの場合、またはクエスト(Quest)の購入を検討している場合は、ハンドトラッキングがどのように機能し、VR体験に何をもたらすことができるかを知る価値があります。
クエストが世界を追跡する方法
Oculus Questは、モーショントラッキングに向けた革新的なアプローチを使用しています。これは、一般に「裏返し」トラッキングと呼ばれ、これまでのモーショントラッキングの仕組みとは大きく異なります。
2010年代半ばに最初の次世代ヘッドセットがリリースされたとき、それらは1つ以上の外部追跡カメラを利用していました。ヘッドセットの特別なモーショントラッキングライトは、ヘッドセットがそれに対してどこにあるかをカメラに正確に伝えました。いくつかの巧妙な計算により、そのデータは3D空間で非常に正確なモーショントラッキングに変換できます。これが、プレミアムVRヘッドセットが6DoFとしても知られる「6自由度」を提供する方法です。
Questは、カメラセンサーをヘッドセット自体に移動します。この場合、カメラセンサーをデバイスの戦略的な場所に配置します。他のヘッドセットは、精度を向上させるためにさらに多くのカメラを使用する場合があります。これらの4台のカメラにより、クエスト(Quest)はあなたの周りの現実の世界を見て、その空間内でのあなたの位置を判断できます。
それが、クエスト(Quest)が自己完結型でポータブルであることを可能にするものです。そもそもOculusでのハンドトラッキングを可能にする機能でもあります。
標準(Standard Oculus Touch Controllers)のOculusタッチコントローラー
Oculusのハンドトラッキングが非常に印象的である理由を理解するには、OculusQuestに付属しているかなりありふれた物理コントローラーから始める必要があります。それぞれが内部センサーと特別なモーショントラッキングマーカーによって完全にモーショントラッキングされ、コントローラーがヘッドセットに対してどこにあるかをクエストの車載カメラに知らせます。
タッチコントローラーをVRで保持している場合、それらは驚くほど正確に追跡されます。コントローラーのグリップボタンとトリガーボタンを使用して、VRソフトウェアはアイテムをつかんで操作する説得力のある体験を作成できます。これは、 Half-LifeAlyx(Half-Life Alyx)やTheClimbなどのゲームで大きな効果を発揮するために使用されます。このゲームでは、VRの世界でアイテムをつかむことがゲームプレイの中心的な部分です。
タッチコントローラー(Touch Controllers)は、「リニアアクチュエーター」と呼ばれるデバイスのおかげで触覚フィードバックも提供します。これにより、物にぶつかったり、振動したり、その他のタッチ感覚を物理的に感じることができます。サムスティックとボタンは、実際の空間で物理的に動き回ることができないときに、VR空間を動き回るおなじみの方法も提供します。
ハンドトラッキングと比較した場合のこれの主な欠点は、手用のフックがあることです。仮想の手で簡単なピンチ動作を実行できますが、それはその範囲です。ゲームがコントローラーを中心に設計されている場合、それは大きな制限のようには感じられませんが、ハンドトラッキングはVRの新しい可能性のスペクトルを開きます。
Oculusハンドトラッキングの機能
ハンドトラッキングを有効にすると、VRの世界で実際の手の正確な表現が表示されます。指や手首の各動きは、仮想ドッペルゲンガーに反映されます。
ハンドトラッキングは、 (Hand Tracking)Questのベータ機能ではなくなりました。現在、オペレーティングシステムと多くのファーストパーティのQuestアプリケーションに統合されています。ここでの最初の主な利点は、クエスト(Quest)をすばやく実行してVRで映画を見たり、アプリストアを閲覧したりする場合に、タッチコントローラーをストラップで固定する必要がないことです。手だけでシステムメニューにアクセスし、簡単にナビゲートできます。
ハンドトラッキングがQuestの公式機能になったので、サードパーティのアプリ開発者はそれを自分のアプリに追加できます。Oculusのハンドトラッキング機能をうまく利用するアプリはすでにたくさんありますが、開発者は、直接のハンドトラッキングがVR体験を変えることができるもっとエキサイティングな方法を見つけると確信しています。
Oculusハンドトラッキングのしくみ
手作業による追跡の結果は非常に素晴らしいですが、実際にはどのように機能しますか？明らかに、 Oculusは独自のソリューションの正確な詳細を公開するつもりはありませんが、関連するテクノロジーと原則は知っています。
まず、オンボードカメラは手動追跡を機能させるために不可欠です。立体的な深度情報だけでなく、マシンビジョンで処理するための視覚データも提供します。マシンビジョンとは何ですか？これは人工知能(artificial intelligence)の分野であり、具体的には機械学習として知られる分野です。これは、携帯電話のカメラアプリで写真の顔をすばやく識別できるのと同じテクノロジーです。
基本的に、ソフトウェアは、カメラによって提供される画像データの何が手であり、何が手ではないかを学習する必要があります。これはおそらく、部屋の他のすべてのものと区別するための高速で効果的な方法を確実に理解できるようになるまで、さまざまな環境でソフトウェアに何千もの手を見せることによって行われました。
ソフトウェアがあなたの手の正確なリアルタイム仮想モデルを作成できるようになると、アプリ開発者はそれらを考えられるあらゆることに使用できます。VRでオブジェクトを正確に操作できるようになりました！
試してみる価値のある手作業による体験
Oculus Questを所有している場合は、特定のアプリを購入しなくても、 Oculusハンドトラッキング機能を試すことができます。上記のように、メインのQuest環境といくつかのファーストパーティアプリで動作します。サードパーティのエクスペリエンスに関しては、強調する価値のあるものがいくつかあります。
The Lineは4.99ドルのナラティブ体験であり、ハンドトラッキングの完璧な技術デモとしても機能します。時計仕掛けと線路を走るスケールモデルの町の物語です。
私たちのヒーローペドロは(Pedro)ローザ(Rosa)に恋をしていますが、彼は運命から逃れることはできません。ある日何か新しいことが起こるまで。手を使ってノブを回したり、レバーを引いたり、できることすべてをいじったりすることで、スケールモデルの世界と対話します。これは直線的で短い体験ですが、約15分で非常に面白い方法でハンドトラッキングを披露することができます。
Waltz of the Wizard（$ 9.99）は、このテクノロジーのもう1つの優れたショーケースです。手を使って呪文を唱えたり、周囲のVR世界のほぼすべてのものとやり取りしたりできます。手から照明のボルトを撃つことができる魔法使いになるというファンタジーを生きたいと思ったことがあるなら、これはあなたのためのゲームです！
クエスト(Quest)でのハンドトラッキングについてどう思いますか？試しましたか？どのゲームをお勧めしますか？コメントであなたの洞察を共有してください。(Share)
How Oculus Quest Hand Tracking Technology Works
The Oculus Quest (both the original and second model) have an interesting history of features being added long after the hardware is out in the wild. The most famous of these is Oculus Link, which effectively turns the Quest into an Oculus Rift. This feature was so successful that Oculus decided to discontinue all their headsets but the Quest.
Hand tracking hasn’t made quite the splash Oculus Link did, but it’s still an amazing feature with lots of potential. With hand-tracking you don’t need controllers at all. Your own hands are digitized into the VR world!
If you have a Quest or are thinking of buying one, it’s worth knowing how hand tracking works and what it can bring to the VR experience.
How Quest Tracks the World
The Oculus Quest uses an innovative approach towards motion tracking that’s commonly referred to as “inside-out” tracking, which is very different from how motion tracking worked in the past.
When the first next-generation headsets were released in the mid-2010s, they made use of one or more external tracking cameras. Special motion tracking lights on the headset told the camera exactly where the headset was in relation to it. With some clever math, that data could then be converted to very accurate motion tracking in 3D space. This is how premium VR headsets offer “six degrees of freedom”, also known as 6DoF.
Quest moves the camera sensor onto the headset itself, in this case placing them in strategic spots on the device. Other headsets may use even more cameras to improve accuracy. These four cameras let the Quest look at the real world around you and determine what your position is within that space.
That’s what allows the Quest to be self-contained and portable. It’s also the feature that allows for hand-tracking with the Oculus to be possible in the first place..
The Standard Oculus Touch Controllers
To understand what makes Oculus hand tracking so impressive, we have to start with the rather mundane physical controllers that come with the Oculus Quest. Each one is fully motion-tracked by internal sensors and special motion tracking markers that tell the Quest’s onboard cameras where the controllers are relative to the headset.
When you’re holding the touch controllers in VR, they’re tracked with uncanny accuracy. Using the grip and trigger buttons on the controller, VR software can create a convincing experience of grabbing and manipulating items. This is used to great effect in games such as Half-Life Alyx and The Climb, where gripping items in the VR world is a central part of gameplay.
The Touch Controllers also offer haptic feedback thanks to devices called “linear actuators”, which can create physical feelings of bumping into things, vibration and other touch sensations. Thumbsticks and buttons also offer a familiar way to move around a VR space when you can’t physically move about in your real space.
The main disadvantage of this compared to hand-tracking is that you have hooks for hands. You can perform simple pinching movements with your virtual hands, but that’s the extent of it. It doesn’t feel like a major limitation when games are designed around the controllers, but hand tracking opens a spectrum of new possibilities in VR.
What Oculus Hand-Tracking Does
When hand tracking is enabled, you’ll see an accurate representation of your real hands within the VR world. Each movement of your fingers or wrist will be reflected in their virtual doppelgangers.
Hand Tracking is no longer a beta feature of Quest. It’s now integrated into the operating system and many first party Quest applications. The first major benefit here is that if you just quickly want to put on your Quest and watch a movie in VR or browse around the app store, you don’t have to go through the effort of strapping on the touch controllers. Using just your hands, you can access system menus and navigate around with ease.
Now that hand-tracking is an official feature of Quest, third-party app developers can add it to their apps. There are already a number of apps that make excellent use of the Oculus hand-tracking feature, but we’re sure developers will find many more exciting ways in which direct hand-tracking can transform the VR experience
How Oculus Hand-tracking Works
The results of hand-tracking are pretty amazing, but how does it actually work? Obviously Oculus isn’t going to publish the exact details of their proprietary solution, but we do know the technologies and principles involved.
First, the on-board cameras are essential to making hand-tracking work. Not only do they provide stereoscopic depth information, but also visual data for processing by machine vision. What’s machine vision? It’s a branch of artificial intelligence, specifically a field known as machine learning. It’s the same technology that lets your phone’s camera app quickly identify faces in a photo.
Essentially, the software has to learn what in the image data provided by the camera is a hand and what isn’t a hand. This was probably done by showing the software thousands and thousands of hands in different environments until it could reliably figure out a fast and effective way of telling them apart from everything else in your room.
Once the software can create accurate, real-time virtual models of your hands, app developers can use them for anything they can think of. You can now precisely manipulate objects in VR!
Hand-tracked Experiences Worth Trying
If you own an Oculus Quest you can try out the Oculus hand-tracking feature without having to buy any particular app. As mentioned above, it works in the main Quest environment as well as a few first-party apps. When it comes to 3rd-party experiences, there are a few worth highlighting.
The Line is a $4.99 narrative experience that also serves as a perfect tech-demo for hand tracking. It tells the tale of a scale model town that runs on clockwork and tracks.
Our hero Pedro is in love with Rosa, but he can’t escape his fate. Until something new happens one day. You interact with their scale model world by using your hand to turn knobs, pull levers and fiddle with everything that you can. It’s a linear, short experience, but can show off hand-tracking in a very entertaining way in about 15 minutes.
Waltz of the Wizard ($9.99) is another excellent showcase of the technology. You can use your hands to cast spells and interact with just about everything in the VR world around you. If you’ve ever wanted to live out the fantasy of being a wizard who can shoot bolts of lighting from their hands, this is the game for you!
What do you think of hand tracking on Quest? Have you tried it? Which games would you recommend? Share your insights in the comments.
