HMCNキックオフ:モーションセンサー業界のトップエンジニアらがKinectなどセッション(資料あり)

写真拡大

9月12日、広島市中区の広島工業大学広島校舎でHiroshima MotionControl Network(HMCN)がキックオフイベントを開催しました。

HMCNのHは広島のHですが、残りのMotionControl Networkがよく分からないという人もいそうです。KinectやOculus Riftなどの安価に入手可能なセンサー&デバイスを実際に何かを動かしたり、その動きを計測したり、制御したりする、つまりセンサー&デバイスを繋げる活動をしているコミュニティだと思ってもらえれば間違いないです。

すでに東京ではTokyo MotionControl Network(TMCN)が活動しており、今回広島でも発足することになりました。今回のキックオフイベントはお昼の「ロボットプログラミング 親子ワークショップ」と、夜の「センサー&デバイス祭り」の2部構成。今回はセンサー&デバイス祭りをお届けします。

Kinect やRealSense の立体的スキャン、ポイントは深度情報


さっそく、モーションセンサー業界のトップエンジニアやMicrosoft Kinectセンサーの書籍『KINECT for Windows SDKプログラミング Kinect for Windows v2センサー対応版』筆者陣によるセッションに移りましょう。まず登場したのがTMCNの中村薫さん。Natural Softwareのエンジニアで、Microsoft MVP for Kinectで先ほどの書籍の著者でもあります。

セッションのテーマは「Kinect、RealSenseの概要と、さまざまな使い方」です。中村さんによると、KinectやRealSenseによる立体的なスキャンのポイントは深度(Depth)情報だといいます。例えばRealSenseのセンサーとWindows10の生体認証システム(WindowsHello)では、Depth情報を使うことで顔を立体的にスキャンし、2次元の画像では不可能なレベルの正確な顔認証ができるようになりました。「様々な業界から、自分達の問題を解決する手段としてDepthセンサーを使うアイデアが出てきている」とのことでした。



KinectやRealSenseの概要とさまざまな使い方 from Kaoru NAKAMURA

現実とCG を重ねるMR 技術でHoloLens と近似体験


続いて登場したのはTMCNの共同創設者の前本知志さん(システムフレンド)。

「現在は20年前と比較して安価にすごいことができる時代。お小遣いで手に入る楽しいデバイスがたくさんある!」と、数万円のセンサー&デバイスでできる楽しい事例を紹介しました。今は「やろうと思えば簡単にすごいことができる」とても恵まれた時代なんですね。

UnityとKinectを組み合わせて、現実とCGを重ねるMR(MixedReality)を実現する技術的なヒントにも言及。MRとは、マイクロソフトの新デバイス HoloLensでも実現する予定の映像技術。前本さんの作品では、いち早く画面内で現実の自分とCGのキャラクターが交差したり関わり合ったりと、HoloLensと似た体験ができるようになっています。

Kinectから入力できる3Dデータの座標系とUnity内の3D座標系の単位を一致させて計算の基準を合わせる

現実でのKinectの設置位置、傾き角度とUnity内の仮想カメラの設置位置、傾き角度を一致させてそれぞれのカメラからの映像の見え方を合わせる(この作業の精度をあげるには「メジャー」「マーキング用養生テープ」「三角関数」の三種の神器が必要!)

Kinectからセンシングできる現実空間のDepth情報とUnity内のCGのレンダリング用Depth情報をGPUで毎秒数十回比較し、現実とCGの入り繰りを計算しピクセルごとに現実とCGどちらを表示するか決定する

身近に手に入る機材でもこのように計算ロジックを自分で工夫してつくり出すことで新しい体験がができるんですね!



HMCN - センサー&デバイスでできる楽しい事例紹介 from Satoshi Maemoto

Kinectはチューニング次第で0.3mm程度の解像度に



NeoTechLab/KMCN:上田智章さん

購入したデバイスはとりあえず解体してしまうという上田さん。Kinectの原理から精度向上方法など、限界を突破する技術を紹介しました。

KinectのToF方式デプスカメラの原理から、深度情報の表現や精度向上についてを説明。上田さんによると、なんと適切な処理を行えば0.3mm程度の解像度が得られるそうです。また、加速度センサ不要でKinectの迎角を補正する方法や加速度、心拍のセンシングを実演しました。



Hiroshima Motion Control Network 12, September, 2015 from Tomoaki Ueda

最後は飛び入り参加OKのライトニングトーク。8月末に広島県尾道市で開催した「旅するハッカソン」の参加メンバーも登壇しました。

広島工業大学の尾坂甚伍さんは「存在感を伝達する対話システム〜Kinect×プロジェクションマッピング〜」を紹介しました。

「本当にそこに人物がいるかのような表現」を実現。Kinectでセンシングした人の顔の立体情報を元にマネキンの顔にプロジェクションマッピングを行うというもので、よりぴったりと映像を投影するために独自のアルゴリズムを開発。距離によって映像のサイズを拡大縮小するデモを展示していました。もう一つの自分の顔がこちらを向いているという体験はとても不思議な感覚です。将来的には「存在感の再現を、防犯やアイドルライブへ応用したい」とのこと。



HMCNスライド(存在感を伝達する対話システム) from 甚伍 尾坂

広島国際学院大学の高石武史さんのテーマは「Processing で OpenNI2 - お手軽プログラム」です。

手軽なモーションセンサーのKinect ですが、気持ちの良い体験を作りだすには意外とノウハウが必要な場面もあります。「運動して楽しいコンテン ツ」をProcessingで作っている高石さんは「精度より運動」ということで、みんなで体験する楽しさにポイントを置いたコンテンツ「体で覚え 二進数」をデモしていました。

Kinect V1、Xtionはガラス越しでもある程度使えるということで、公開スペースの広島駅南口地下通路でも高石さんたちが作成したコンテンツが展示中です。お近くの人は体験してみてはいかがでしょう(現在「ふきだしカメラ」を展示中とのこと) 。



Processing で OpenNI2 - お手軽プログラム from Takeshi Takaishi

旅するハッカソンより「GlanceableNAVI(チーム佐藤)」の宮井マサトさんがライトニングトークに参加しました。



Glanceable NAVI @HMCN from Masato Miyai

最近は電子工作に目覚めてパーツを買いあさっているという宮井さん。尾道で開催した「旅するハッカソン」では、携帯ナビと連動してサインを教えてくれるメガネデバイスを開発しました。楽しかった尾道の思い出とともに作品を紹介しました。

2014年からハッカソンに取り組んでいる広島県庁イノベーション推進チームの山崎弘学さんは「現場に出るとこが大事。今日もいろんな出会いがあり、直接お話させていただく楽しさを改めて実感した」と話しました。「せっかく一流のスキルを持った仲間が集まっているので、皆さんと世の中をあっと言わせるようなことをやれたら......」と今後のコミュニティに想いを寄せました。

このあとも参加者がそれぞれセンサー&デバイス、IoTについて楽しみ、意見交換しました。「広島をセンサーで盛り上げよう!」という想いがカタチになった第一歩。HMCNの今後、継続と発展が楽しみですね。なお登壇者のほとんどが「HMCN」を噛まずに言えなかったのは余談です。

関連記事:広島工業大学でHMCNキックオフ:レゴマインドストームでソフトとハードのエンジニアリングを親子で体験

ライター:河原千春(かわはら・ちはる)

「まいぷれ広島編集部さくら」として、広島市の地域情報サイト「まいぷれ広島」の運営・企画・編集に携わる。地域のお店やイベント情報などを掲載。

テクニカル監修:前本知志(まえもと・さとし)

広島から東京へ転勤し設立メンバーとしてTMCNのCo-founderを務め、Kinectをこよなく愛するセンサー&デバイス部長。翔泳社「Intel RealSense SDKセンサープログラミング」 の執筆も行う。この度東京での活動に加えHMCNの企画・運営をバックアップしている。