「ペンタVR」タグアーカイブ

Unityからペンタブレットのマルチタッチ機能を利用する方法

2015-12-07 waffle_maker コメントする

この記事はOculus Rift Advent Calendar 2015の6日目です。

はじめに

ペンタVRというVRお絵描きツールを開発しているのですが、今回はお絵描き以外でも使えそうなペンタブレットのマルチタッチ機能の利用方法についてご紹介させていただきます。

ペンタブレットのマルチタッチ機能が使えると何が嬉しいかというと、既に絵描きさんの間に広く普及していおり、同じ理由で比較的安価に入手することができます。
また、iOS/Androidのタブレットで実装する場合と比較すると、iOS/Android側からPCに情報を送信するアプリを別途開発する必要がないため、実装は少なくて済みます。

※もちろんペンで直接お絵描きできますが、それについてはこちらを参照ください。

今回は、Unity 5.0.3p3 64ビット版とWACOM Intuos Proを使用します。

マルチタッチをC#から利用する方法については以下の記事を参考にしました。

マルチタッチの基本部分を実装してみる

2つめの記事からサンプルコードをダウンロードして、下記クラスをプロジェクトに追加します。

FeelMultiTouchAPIConst.cs
MemoryUtil.cs
MTAPI.cs

上記のクラスはそのまま使えますが、初期化などは下記コードを参考にして、TabletTouchクラスとして実装します。

MainWindow.xaml.cs

クラスフィールド

そのままコピペで大丈夫です。

    // タブレットデバイスのID配列
    private int[] mIdArray = null;

    // 選択しているタブレットデバイスの情報
    private WacomMTCapability mCapability;

    // ウインドウハンドル
    private IntPtr mHwnd = IntPtr.Zero;

    private int mSelectedDeviceID = -1;
    private IntPtr mHitRectPtr = IntPtr.Zero;
    private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

    // 設定中のウインドウハンドル
    private IntPtr mSelectedHwnd = IntPtr.Zero;
    // 設定中のフィンガーコールバック
    private WMT_FINGER_CALLBACK mFingerCallback = null;

// タブレットデバイスのID配列

private int[] mIdArray = null;

// 選択しているタブレットデバイスの情報

private WacomMTCapability mCapability;

// ウインドウハンドル

private IntPtr mHwnd = IntPtr.Zero;

private int mSelectedDeviceID = -1;

private IntPtr mHitRectPtr = IntPtr.Zero;

private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

// 設定中のウインドウハンドル

private IntPtr mSelectedHwnd = IntPtr.Zero;

// 設定中のフィンガーコールバック

private WMT_FINGER_CALLBACK mFingerCallback = null;

UpdateDeviceListメソッド

UpdateDeviceListメソッドは、リストボックスにデバイス一覧を表示する機能ですが、今回はリストボックスを使用せずデバッグログのみ出力します。
また、後ほど最初に見つかったデバイスを利用するように実装したいと思います。

    private void UpdateDeviceList()
    {
        // タブレットデバイスのID取得.
        mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

        // IDからタブレットデバイスをリストアップする.
        foreach (UInt32 i in mIdArray)
        {
            string devName = "Tablet Device #" + i;
            Debug.Log(devName);
        }
    }

private void UpdateDeviceList()

{

// タブレットデバイスのID取得.

mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

// IDからタブレットデバイスをリストアップする.

foreach (UInt32 i in mIdArray)

{

string devName = "Tablet Device #" + i;

Debug.Log(devName);

}

MainWindowメソッド

MainWindowメソッドはコンストラクタですが、Unityのライフサイクルに則りAwakeメソッドとして実装しましょう。

    public void Awake()
    {
        // MultiTouchAPIの初期化.
        try
        {
            // TouchAPIの初期化処理.
            WacomMTError res = MTAPI.WacomMTInitialize();

            if (res == WacomMTError.WMTErrorSuccess)
            {
                // タブレット一覧の更新
                UpdateDeviceList();
            }
            else
            {
                // 初期化処理に失敗.
                throw new Exception("WacomMTInitialize error : " + res);
            }
        }
        catch (Exception ex)
        {
            // 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.
            Debug.LogError(ex.Message);
        }
    }

public void Awake()

{

// MultiTouchAPIの初期化.

try

{

// TouchAPIの初期化処理.

WacomMTError res = MTAPI.WacomMTInitialize();

if (res == WacomMTError.WMTErrorSuccess)

{

// タブレット一覧の更新

UpdateDeviceList();

}

else

{

// 初期化処理に失敗.

throw new Exception("WacomMTInitialize error : " + res);

}

catch (Exception ex)

{

// 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.

Debug.LogError(ex.Message);

}

UnregisterEventメソッド

UnregisterEventメソッドは、マルチタッチ機能の終了処理です。
見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void UnregisterEvent()
    {
        if (mSelectedHwnd != IntPtr.Zero)
        {
            MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);
            mSelectedHwnd = IntPtr.Zero;
        }
        if (mFingerCallback != null)
        {
            MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);
            mFingerCallback = null;
        }

        // HitRectの開放
        if (mHitRectPtr != IntPtr.Zero)
        {
            MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);
        }

        mSelectedDeviceID = -1;
    }

private void UnregisterEvent()

{

if (mSelectedHwnd != IntPtr.Zero)

{

MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);

mSelectedHwnd = IntPtr.Zero;

}

if (mFingerCallback != null)

{

MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);

mFingerCallback = null;

}

// HitRectの開放

if (mHitRectPtr != IntPtr.Zero)

{

MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);

}

mSelectedDeviceID = -1;

}

MainWindow_Closingメソッド

MainWindow_Closingメソッドは、OnDisableメソッドに置き換えます。

    public void OnDisable()
    {
        UnregisterEvent();
    }

public void OnDisable()

{

UnregisterEvent();

}

RegisterEventメソッド

RegisterEventメソッドは、マルチタッチ機能の開始処理です。
今回は、モードはWMTProcessingModeNoneに、イベントタイプはコールバックを残して削除します。
また、見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void RegisterEvent()
    {
        // タッチデバイスのイベント解除
        UnregisterEvent();

        try
        {
            // タブレットの情報を取得し、画面上に表示する
            mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

            // 選択中のタッチデバイスのID
            mSelectedDeviceID = mCapability.DeviceID;

            // モードの選択
            {
                // モードをWMTProcessingModeNoneに設定
                mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;
            }

            // イベントのタイプを選択
            {
                // タッチエリアの設定
                WacomMTHitRect hr;
                hr.originX = 0;
                hr.originY = 0;
                hr.width = (float)tabletWidth;
                hr.height = (float)tabletHeight;

                mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

                // コールバックの設定
                mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);
                MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);
            }
        }
        catch (Exception ex)
        {
            Debug.LogError("RegisterEvent : " + ex.Message);
        }
    }

private void RegisterEvent()

{

// タッチデバイスのイベント解除

UnregisterEvent();

try

{

// タブレットの情報を取得し、画面上に表示する

mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

// 選択中のタッチデバイスのID

mSelectedDeviceID = mCapability.DeviceID;

// モードの選択

{

// モードをWMTProcessingModeNoneに設定

mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

}

// イベントのタイプを選択

{

// タッチエリアの設定

WacomMTHitRect hr;

hr.originX = 0;

hr.originY = 0;

hr.width = (float)tabletWidth;

hr.height = (float)tabletHeight;

mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

// コールバックの設定

mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);

MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);

}

catch (Exception ex)

{

Debug.LogError("RegisterEvent : " + ex.Message);

}

MainWindow_Loadedメソッド

MainWindow_Loadedメソッドは、OnEnableメソッドに置き換えます。

    public void OnEnable()
    {
        RegisterEvent();
    }

public void OnEnable()

{

RegisterEvent();

}

wmtFingerCallbackメソッド

wmtFingerCallbackメソッドは、タブレットに触れている間のみコールバックが呼び出されます。
ただし、コールバックメソッド内はメインスレッドではなく、Unityの機能が利用できないため、受け取った情報をフィールドに保持しておきます。
また、コールバックとUpdateメソッドでは呼ばれるタイミングが異なるため、受け取った情報に更新があるかどうかをフラグに持たせます。

    private WacomMTFinger[] fingers;
    private bool isFingersChanged;

    /// <summary>
    /// フィンガーデータのコールバック
    /// </summary>
    /// <param name="fingerPacket"></param>
    /// <param name="userData"></param>
    /// <returns></returns>
    private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)
    {
        // コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう
        WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));
        fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);
        isFingersChanged = true;
        return 0;
    }

private WacomMTFinger[] fingers;

private bool isFingersChanged;

/// <summary>

/// フィンガーデータのコールバック

/// </summary>

/// <param name="fingerPacket"></param>

/// <param name="userData"></param>

/// <returns></returns>

private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)

{

// コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう

WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));

fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);

isFingersChanged = true;

return 0;

}

マルチタッチの可視化とタップの検出

ここからは重要では無いのですが・・・

TouchButtonクラス

作成したボタンにはTouchButtonコンポーネントをアタッチしておきます。
OnTapメソッドを作成し、呼び出されたらデバッグログを出力するようにしておきます。

using UnityEngine;
using System.Collections;

public class TouchButton : MonoBehaviour {
    public void OnTap() {
        Debug.Log(name + " OnTap.");
    }
}

using UnityEngine;

using System.Collections;

public class TouchButton : MonoBehaviour {

public void OnTap() {

Debug.Log(name + " OnTap.");

}

マルチタッチの可視化

フィールドに保持したマルチタッチ情報を可視化します。
プロットする指の数は毎フレーム異なるため、GameObjectを使用せず、DrawMeshメソッドで直接描画を行っています。
なお、マトリックスからトランスフォームを取り出すのにはこちらを参考にしました。

    public int tabletWidth = 640;
    public int tabletHeight = 480;
    public float guiWidth = 0.1f;
    public float guiHeight = 0.075f;
    public LayerMask layerMask;
    public Material cursorMaterial;
    public Mesh cursorMesh;

    public void Update()
    {
        // タッチの状態に変化が無い場合はスキップ.
        if (!isFingersChanged)
        {
            return;
        }

        // 指が1つも見つからない場合はスキップ.
        if (fingers == null || fingers.Length == 0)
        {
            return;
        }

        // 指を全て表示.
        foreach (WacomMTFinger finger in fingers)
        {
            // 指のマトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);
            Matrix4x4 matrix = matrix1 * matrix2;

            Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

        }

public int tabletWidth = 640;

public int tabletHeight = 480;

public float guiWidth = 0.1f;

public float guiHeight = 0.075f;

public LayerMask layerMask;

public Material cursorMaterial;

public Mesh cursorMesh;

public void Update()

{

// タッチの状態に変化が無い場合はスキップ.

if (!isFingersChanged)

{

return;

}

// 指が1つも見つからない場合はスキップ.

if (fingers == null || fingers.Length == 0)

{

return;

}

// 指を全て表示.

foreach (WacomMTFinger finger in fingers)

{

// 指のマトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);

Matrix4x4 matrix = matrix1 * matrix2;

Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

}

タップの検出

最初に検出した指でタップ処理を実装します。
可視化で使用したのと同様のマトリクスを元にRayを飛ばしてボタンを特定し、さらに指を離した際にボタンのOnTapメソッドを呼び出しています。

        // 1つめの指を採用.
        {
            WacomMTFinger finger = fingers[0];

            // レイの発信元マトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);
            Matrix4x4 matrix = matrix1 * matrix2;

            // マトリクスからレイの発信元トランスフォームを取得.
            Vector3 position_ = GetPosition(matrix);
            Quaternion rotation_ = GetRotation(matrix);

            // レイを飛ばしてオブジェクトを特定.
            Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;
            Vector3 dir = rotation_ * Vector3.forward * 0.25f;
            float maxDistance = 0.5f;
            dir.Normalize();
            Ray ray = new Ray(origin, dir);
            //Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);
            RaycastHit hitInfo;
            bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

            if (isHit)
            {
                TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

                // タッチリリース時にタップイベントを発生させる.
                if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)
                {
                    button.OnTap();
                }
            }
        }
        isFingersChanged = false;
    }

// 1つめの指を採用.

{

WacomMTFinger finger = fingers[0];

// レイの発信元マトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);

Matrix4x4 matrix = matrix1 * matrix2;

// マトリクスからレイの発信元トランスフォームを取得.

Vector3 position_ = GetPosition(matrix);

Quaternion rotation_ = GetRotation(matrix);

// レイを飛ばしてオブジェクトを特定.

Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;

Vector3 dir = rotation_ * Vector3.forward * 0.25f;

float maxDistance = 0.5f;

dir.Normalize();

Ray ray = new Ray(origin, dir);

//Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);

RaycastHit hitInfo;

bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

if (isHit)

{

TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

// タッチリリース時にタップイベントを発生させる.

if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)

{

button.OnTap();

}

isFingersChanged = false;

}

シーンの構成

以下の様にシーンに、TabletTouchオブジェクトと、その子としてTouchButtonオブジェクトを作成し、各コンポーネントをアタッチします。

実行すると、マルチタッチの可視化と、タップの検出が出来ていることが確認できます。

やったー！

最後に

このようにUnityから簡単にマルチタッチ機能を実装することができました。

ただし、VRで使う場合は、以下の様な欠点がありますが、そこは使い所と工夫次第なのかなと思います。

タブレット自体の位置や傾きが取れない
タブレットに触れるまで指を検出できない

もし面白いVRコンテンツを思いついたらご相談ください。
技術的な協力など出来るかもしれません。

次は、pafuhana1213さんの2015年の私とOculusRift　 (VRに関する資料・投稿記事・作品まとめ)です。

Unity, 未分類

UnityからWintab APIを利用する方法

2015-10-01 waffle_maker 1件のコメント

WintabをC#から利用する方法については以下の記事を参考にしました。

上記の記事で提供されているソースコードはほぼ改変の必要ありませんが、一点だけ問題があります。
UnityのC#ではウインドウプロシージャが存在しないため、別の方法でWindowsメッセージを受信する必要があります。

そこで、以下の様にuser32.dllをDLLImportすることで、UnityからWindowsメッセージを受信することが出来ます。
※ただし、32ビット版のUnityエディタでしか動作しません。

using UnityEngine;
using System.Collections;
using System;
using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

    [DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]
    public static extern System.IntPtr GetForegroundWindow();

    [DllImport("user32.dll")]
    static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);
    
    [DllImport("user32.dll")]
    static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);
    
    [System.Runtime.InteropServices.DllImport("user32.dll")]
    private static extern System.IntPtr GetActiveWindow();

    private IntPtr hMainWindow;
    private IntPtr oldWndProcPtr;
    private IntPtr newWndProcPtr;
    private WndProcDelegate newWndProc;

    // Use this for initialization
    void Start () {
        // ウインドウハンドルの取得
        IntPtr hWnd = GetWindowHandle ();

        // ウインドウプロシージャをフックする
        hMainWindow = GetForegroundWindow();
        newWndProc = new WndProcDelegate(wndProc);
        newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);
        oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);
    }
    
    // Update is called once per frame
    void Update () {
    
    }

    public static System.IntPtr GetWindowHandle() {
        return GetActiveWindow();
    }

    private static IntPtr StructToPtr(object obj)
    {
        var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));
        Marshal.StructureToPtr(obj, ptr, false);
        return ptr;
    }
    
    private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)
    {
        Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

        return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);
    }

    void OnDisable () {
        SetWindowLong(hMainWindow, -4, oldWndProcPtr);
        hMainWindow = IntPtr.Zero;
        oldWndProcPtr = IntPtr.Zero;
        newWndProcPtr = IntPtr.Zero;
        newWndProc = null;
    }
}

using UnityEngine;

using System.Collections;

using System;

using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

[DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]

public static extern System.IntPtr GetForegroundWindow();

[DllImport("user32.dll")]

static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);

[DllImport("user32.dll")]

static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);

[System.Runtime.InteropServices.DllImport("user32.dll")]

private static extern System.IntPtr GetActiveWindow();

private IntPtr hMainWindow;

private IntPtr oldWndProcPtr;

private IntPtr newWndProcPtr;

private WndProcDelegate newWndProc;

// Use this for initialization

void Start () {

// ウインドウハンドルの取得

IntPtr hWnd = GetWindowHandle ();

// ウインドウプロシージャをフックする

hMainWindow = GetForegroundWindow();

newWndProc = new WndProcDelegate(wndProc);

newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);

oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);

}

// Update is called once per frame

void Update () {

}

public static System.IntPtr GetWindowHandle() {

return GetActiveWindow();

}

private static IntPtr StructToPtr(object obj)

{

var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));

Marshal.StructureToPtr(obj, ptr, false);

return ptr;

}

private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)

{

Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);

}

void OnDisable () {

SetWindowLong(hMainWindow, -4, oldWndProcPtr);

hMainWindow = IntPtr.Zero;

oldWndProcPtr = IntPtr.Zero;

newWndProcPtr = IntPtr.Zero;

newWndProc = null;

}

※参考にしたURLを紛失してしまったのですが、恐らくここを見て実装したと思われる。
http://forum.unity3d.com/threads/recieve-window_commands-in-unity.213741/

コンポーネントをGameObjectにアタッチして実行すると、以下の様なログが出力されます。

Oculus Rift, Unity, VR

ペンタVRの実装方式について

2015-10-01 waffle_maker 3件のコメント

ペンタVRとは？

VRHMDとペンタブレットを利用して、仮想空間でお絵描きをする仕組みのことです。

発端となったのは、よー清水さんの下記ツイート

VRエンジニアの皆様にはぜひこういう、仮想空間で快適な創作環境を作ってくれるシステムを実現して欲しいです pic.twitter.com/4QJOgSa6tD

— Yo_Shimizu よー清水 (@you629) January 15, 2015

ペンタVRの海外向けイメージ。このシステムの最大のメリットは、周囲の環境を参考にすることはもちろん、任意の位置に資料や３Dモデル、アニメーションを配置して、原寸の大きさを感じて創作に生かすことができる点です。#ペンタVR pic.twitter.com/ZS2a5pMBrh

— Yo_Shimizu よー清水 (@you629) January 19, 2015

一連の流れは、栗坂こなべさんが纏めてくれています。

よー清水さんの提案する仮想空間お絵描きVRシステムと実現方法について #ペンタVR

最新の情報はTwitterのハッシュタグ #ペンタVR で確認できます。

ペンタブレットの基本的な使い方、各部名称についてはこちら

ペンタブレット-基本的な使い方

開発環境

OS : Windows
ゲームエンジン : Unity
VRHMD : Oculus Rift
ペンタブレット : Intuos

どうやって実現するか？

ペンタブレットの情報を取得する方法

マウスの座標を利用
Unity標準のInput.mousePositionからマウスの座標として取得することが出来ます。
筆圧などの付加情報が不要な場合はこちらでも良いではないでしょうか。
Wintab APIを利用 ※こちらを採用しました。
WACOMさんが提供しているWintab APIを利用することで、各種情報を取得することが出来ます。
各種情報はWindowsメッセージとして送られてきますが、UnityからWindowsメッセージを取得するには一工夫必要になります。
おまけ：Macの場合
マウスイベントに筆圧情報が入ってくる様ですが、Unityから利用するにはNative Pluginの実装が必要となりそうです。
- Macintosh Developer’s Guide to the Wacom Tablet

ペンタブレットを位置を現実とVRで関連づける方法

多くのOculus Rift向けVRコンテンツでは、仮想空間内のカメラ位置にプレイヤーを一致させますが、
今回は、タブレットの上部にOculus Riftの赤外線カメラを固定することで、現実の赤外線カメラとHMDの相対位置をそのまま仮想空間に持ち込みます。
これにより、現実と仮想空間でタブレットの位置を一致させることが出来ます。
ただし、タブレットの傾きは反映されません。

キャンバスを管理する方法

キャンバスの管理方法は、大まかに2つに分類できます。

既存のお絵描きアプリでキャンバスを管理
デスクトップのキャプチャ画像をテクスチャに貼り付ける方式です。
既存のお絵描きアプリの機能をそのまま仮想空間に持ち込むことが出来ますが、現状では遅延が大きく使い物にならないようです。
- キャプチャアプリからGPU側のテクスチャ情報を直接更新できれば、遅延が改善するかも知れません。
- 平面のお絵描きに限定すれば、APIを提供することでお絵描きアプリ側にペンタVR連携機能を組み込むことが出来る可能性があります。
新規のVRアプリでキャンバスを管理 ※こちらを採用しました。
ゲームエンジンの機能を利用してテクスチャの更新を行う方式です。
お絵描きアプリをフルスクラッチで実装するような手間が掛かりますが、VRならではの表現を行いやすいメリットがあります。

具体的な実装方法については次回以降に行いたいと思います。