3teneの対応機器について

キーボードもしくはUSB接続のゲームパッド

ショートカット機能（モーションや表情変化等）をキーやボタンに割り当てる事で
モデルを動かす事が可能です。

3tene のウインドウが非アクティブだとショートカットが動作しません。
(フォーカスに依存します。)

MIDI機器

ゲームパッドと同様にショートカット機能を割り当てて使用します。
ノートオンが発生するMIDI機器であれば利用可能です。

3tene のウインドウが非アクティブの場合でもショートカットが動作します。
(フォーカスに依存しません。)

MIDIコントローラや鍵盤楽器が使いやすいと思います。

ウェブカメラ（USB接続の汎用カメラ）

顔認識を可能にします。
まぶた、口、顔の向き、上半身の傾きを認識し、モデルに同じ状態を再現します。
また、プロ版では背景にウェブカメラ映像を使う事が可能です。

解像度QVGA(320x240)に対応しているウェブカメラが推奨です。
QVGA に非対応のウェブカメラでも動作しますが速度や精度が低下する場合があります。
※縦長の解像度には対応していません。

ウェブカメラは UVC (USB Video Class) 対応品が対象となります。
一般的なビデオキャプチャボード等は UVC 非対応もありますので注意してください。

ウェブカメラの選定についてはこちらを参照してください。

動作確認済みの機器

下記のウェブカメラで動作確認をしています。

Logicool HD Webcam C270
BUFFALO BSW20KM05
Elecom UCAM-DLV300T
CIO CIO-WC1080P3

LeapMotion (USB接続の専用カメラ)

※3teneFREE は標準対応。3tenePRO はモーションアプリ連携で動作。

腕および手を認識し、指の動きまでモデルに同じ状態を再現します。
モデルの上半身だけ表示させるアナウンサーのようなスタイルにはお勧めです。
モデル全体を表示させる用途に使用するには難しいかも知れません。
顔認識機能は無いのでウェブカメラ等と組み合わせて使います。

デスクトップモード、ヘッドマウントモードに対応しています。

※USB 3.x での接続が必須となります。

iPhoneX 以降（スマートフォン＋専用アプリ）

※3teneFREE は非対応。

専用アプリにて iPhoneX 以降(※)に搭載された TrueDepth を使用した顔認識を行い、
その認識結果を WiFi で PC (3tene) に送信する事により顔認識を行います。
ウェブカメラ使用時と同等の機能があり、ウェブカメラよりも高精度で
目の動きを再現するアイトラッキングが使用可能になります。

iPhone を手に持たず、台座や首掛け式の自撮り棒等で固定して使用する事をお勧めします。

動作確認表

Sony mocopi (全身センサー)

※3teneFREE は非対応。モーションアプリ連携で動作。

演者に６つのセンサーを取り付けて、ボディトラッキングを実現します。
別途、mocopi の専用アプリをインストールした高性能スマートフォンが必要になります。
スマートフォンの対応機種はmocopi 公式ページ にて確認してください。

mocopi の仕様により時間の経過と共に計算誤差が蓄積されズレが発生してしまうため、
15分に一度直立の姿勢をとってポーズリセット(アプリもしくはセンサーボタン)、
30分に1度、アプリからキャリブレーションする事が推奨されています。

mocopi とスマートフォンは Bluetooth で接続される為、
Bluetooth の電波状況が悪いと動作が不安定になります。

※別途、mocopi のスマホアプリ(無料)もしくはPCアプリ(サブスク550円/月)が必要です。

Azure Kinect (USB 3接続の専用カメラ)

※3teneFREE は非対応。モーションアプリ連携で動作。

深度カメラで体全体を認識し、ボディトラッキングを実現します。
広さを優先した広角モードと奥行きを優先した狭角など、
用途に合わせてモードが変更できます。

※USB 3.x での接続が必須となります。
使用するには動作クロックが 3GHz 以上（2GHz では不足。）のＣＰＵと
NVIDIA 製のグラフィックボード(GPU) GeForce GTX 1070 相当を必要とします。
※DirectML に対応したＧＰＵでも動作する可能性があります。（未確認）
※GeForce RTX 3000 シリーズを使用する場合はドライバ R456 以降が必要です。

Kinect の Firmware は 1.6.110079014 で確認をしています。

RealSense + Nuitrack (USB接続の専用カメラ)

※3teneFREE は非対応。モーションアプリ連携で動作。

Nuitrack (有料ソフトウェア、別途購入が必要) と専用の深度カメラを使用します。
Nuitrack が深度カメラから得た情報を解析し、骨格トラッキングによりモデルに同じ状態を再現します。

Nuitrack が提供するフェイストラッキング機能にも対応していますが、
深度カメラに全身を写す必要があるため、深度カメラから離れると顔認識が難しくなります。

※1 RealSense だけでなく Nuitrack (有料ソフトウェア)の購入が必要です。
※2 使用には広い空間(2メートル×3メートル程度)が必要かと思います。

動作確認表

※USB 3.x での接続が必須となります。

HTC Vive, Valve Index (VR機器)

※3teneFREE は非対応。モーションアプリ連携で動作。

ゴーグル（頭）、コントローラー（手）×２、室内センサー×２を使って、
頭と手の位置でモデルを動かします。またモデルの移動が可能になります。
コントローラーのボタンで表情等を操作する事も可能です。
トラッカーを３つ追加し、腰、足×２に割り当てると
全身の動きをモデルに再現する事が可能になります。
※使用には広い空間(2メートル×2メートル以上)が必要かと思います。

USB 3.0 と WiFi は干渉します。
トラッカーを使う場合にはドングルとヘッドセットのケーブルを近づけないでください。

ベースステーション（室内センサー）は赤外線を使用して動きを検知しています。
窓からの日光はカーテン等で遮断し、赤外線を発生する装置は設置しないようにしてください。

動作確認表

HTC Vive Pro はアップグレード、フルセットどちらでも動作します。

Valve Index について

HTC Vive と同じ構成なのでほぼ同じ用に扱えます。
SteamVR のバージョンが古いと動作が不安定になる場合があるようです。

トラッカーについて

Oculus Rift (VR機器)

※3teneFREE は非対応。モーションアプリ連携で動作。

ゴーグル（頭）、コントローラー（手）×２、卓上センサー×２を使って、頭と手の位置で
モデルを動かします。モデルの移動は可能ですが足の完全な制御はできません。
コントローラーのボタンで表情等を操作する事も可能です。
※使用には広い空間(2メートル×2メートル以上)が必要かと思います。

動作確認表

※Oculus Rift は Windows のみ対応の為、 Mac では動作しません。

PICO (VR、MR機器)

※3teneFREE は非対応。モーションアプリ連携で動作。
動作確認をしていません。

動作確認表

Perception Neuron (全身装着型センサー - 3teneSTUDIO のみ対応)

顔以外の全身モーションキャプチャが可能。
指にも対応しています。（Perception Neuron Pro は指に非対応。）
Perception Neuronについて

製品の仕様により磁気に弱いという性質があり、
電気製品などが無い部屋を用意する必要があるかと思います。

詳しくは注意事項 | Perception Neuron by Noitomを参照してください。
複数の Perception Neuron は下記２つの方法で使用する事が可能です。

1. 複数の PC で制御する。
   　Perception Neuron と同じ数の PC を用意してローカルネットワークで
   　Axis Neuron, Axis Neuron PRO, Axis Studio と接続します。
   　※Perception Neuron V2、Perception Neuron PRO などの混合使用も可能です。

2. １台の PC で制御する。
   　１つの Axis Neuron, Axis Studio で複数の Perception Neuron を認識させる。
   　※Perception Neuron PRO でこの方法は使用できません。
   　※異なる Perception Neuron (V2,PRO,Studio) を混合使用する事はできません。

動作確認表

※Axis Studio は 3teneSTUDIO v1.10.20 2020/02/14 以降で対応。

指操作用グローブ (3teneSTUDIO のみ対応)

指が操作できないボディトラッキングの機器と合わせて使用します。
※複数の接続は不可。

動作確認表