メルカリSummer Internship 2018に参加してみた
長いことブログの更新をしていませんでした。というのもこの1ヶ月間、とてもありがたいことに株式会社メルカリのサマーインターン (詳細) に参加していました。この記事ではその経験をつらつら書いていきたいと思います。
今後メルカリで働きたい、雰囲気を知りたい、インターンで何をやっていたか気になる、という人たちにとって有益なものとなれば幸いです。
こんな感じの内容を書きます。
成果物に関しては別の記事で書くことにします。
メルカリに入ってみて
レベルが高い
まずこの一言につきます。会社のValueの一つとしても掲げられているように、皆さん「Be Professional」の意識が高い。個人的に結構びっくりしたことがあって、それは入社オリエンの時に言われた一言。
「Bottomに合わせない。必要な情報は自分で取ってくる。」
これを言える、言ってのけてしまうあたり最初はちょっとビビりました。なんか久しぶりのビシビシした空気を感じました。 もちろんインターン生に対しても求められるレベルは高く、「成果出してね笑」とも言われました（もらえる日給を考えれば至極当たり前・これを言われて俄然やる気出た）。
情報が転がってる
次にこれに驚きました。本当に情報が転がってるんです。技術的な話ではありません（技術的に足りない部分はネットなり本なり読んでください、それぐらいのことはできますよね、ってことだと思う）。
ここでいう情報とは、企業の売り上げとか新規プロジェクト、採用フロー、個人の日報などです。もちろん、インサイダー情報になるものもあるので扱いに慎重にならなければいけないのですが、社員はおろかインターン生にも見せてしまうのか...といった感じ。その分やはり企業への帰属意識とかも高まるでしょうし、無駄な権限のアレコレをしなくて済んで開発やコミュニケーションの効率が上がります。 強い攻めの姿勢を感じました。
下は歓迎会の様子
歓迎してもらった！
— ざわざわ@TGS出展します (@zawazawatw) 2018年8月2日
頑張ります！！！
いろいろ考えててスタバで間違えてホットコーヒー頼んでしまった。 pic.twitter.com/7PCH6nUuPm
サマーインターンの様子
自分は今年から募集開始のR4DのXRコースに参加していました。他のコースとは違い、VR/ARに関するテーマを自分で持ってきてoutputする形式だったので本流のアプリには直接的には関わることがありません。しかしR4Dとしては自分たちが研究している技術領域でメルカリに貢献することを目指しています。
インターンの課題としては、インターン生（4人）それぞれの自由な持ち込み型のものでした。テーマとしては、
- ARkit2を使ったデジタルペットアプリ(自分)
- 音声信号を振動に変える触覚デバイスを使ったハプティクス体験の開発
- Hololensでの人体テクスチャのリアルタイム取得・生成を用いた擬似幽体離脱体験
- Android端末とUnityのシリアル通信ライブラリの開発とVRアプリケーションの開発
って感じでした。綺麗にテーマがVR/MR/AR/ハプティクスと別れていたのはメンターの@ikkouの計らいか...?
業務
基本的に10時~19時（？だったと思います）ですがわりと前後してました。かなり自由。朝会と夕会以外のMTG的なものは週一の全体会ぐらいで、会議に時間を取られるということは全くありませんでした（メンターさんが忙しそうでしたが）。集中できる環境でした。
インターン同期
チームの同期とよく昼ごはんとか行ってたのですが、ちょくちょく社内イベントで他のチームの同期とも顔を合わせられました。おかげで同期にどんな人がいて、どんなに優秀か知れて刺激になりました。
最終日の発表
さて次に、初日に「成果出してね笑」と言われた成果物発表です。1人約7分の発表で1ヶ月の成果をおさめるのがなかなか難しかったですが、どの人の発表を聞いていても勉強になりました。（とは言っても自分の知識ではアプリ側のフロントやバックエンドなどの話は3割ぐらいしか理解できませんでしたが...）
個人的に面白かったのがAIチームの人たちの発表で、商品の画像から自動で商品タイトルを生成する時に、名詞だけでなく商品固有のキーフレーズを抽出してそれも考慮して生成する、というものがあり感動しました。
そこで感じたのが、やはり自分たち（R4DXRチーム）のやってることはまだまだメルカリのビジネスの上に乗っかってないなと思いました。自分の突き詰めたい技術・世界とメルカリのビジネス領域でうまく合致するポイントを見つけてそこを皆さんに聞いて知って欲しいと感じました。
こちらも合わせて読んでみてください。
毎日が楽しい
なんでかって言うと、毎晩どこかしらでパーティやら社内部活やらで盛り上がってるところです。
一番印象に残ってるのがコレ
マグロの解体ショー&流しそうめん大会
初めてのマグロの解体ショーは40kg30万の味がした。(数字ちょっと違うかも) pic.twitter.com/iKWO5v7r7J
— ざわざわ@TGS出展します (@zawazawatw) 2018年8月9日
...最初は意味が分からなかった。一応プロダクトチーム全体の打ち上げ的な名目だったけどそれ以外の人たちもわんさかいて盛大なパーティになっていました。こーゆーイベントがたくさんあるのも、社内に外国からの社員の方がたくさんいて（それでも全然まだまだ日本人がほとんどですが）、異文化交流の一つの姿なのかなって思いました。
パーティが苦手な人もいるかとは思いますが、個人的にはこれはとてもありがたかったです。というのも、うまく進捗が産めなかった日も、一人で帰って落ち込んだままベッドに入るより、帰りがけに楽しいイベントがあれば明日も頑張ろうってなります。精神的に健全さが保たれました。いのちだいじに。
CEDEC2018参加してみた
目次
CEDEC2018←こちらが公式サイトです。
参加に至った文脈としては、現在(2018/8)1ヶ月間サマーインターンに参加しているメ社のR4DXRチームで行く機会があったって感じです。
ゲーム・XRを中心とした現場の開発や研究のsessionを主に聞いてきましたが、結論として「とてもいい経験でした」。参加の機会をくださったメ社とR4DXRチームの皆さんには感謝です。
自分の聞いたsesisonはこちらです。インタラクションは全部やりました（多分）
- [SIGGRAPH Asia×CEDECコラボセッション] SIGGRAPH Asia 2018 の楽しみ方
- ハシラスが考えるこれからのVR
- 「ジャンプチ ヒーローズ」「FINAL FANTASY XV」でのPhoton採用事例紹介
- VRにおけるディープラーニング利用： 手の位置のみの簡易なモーションキャプチャのリアリティを向上する研究
- 8000種類のカードを見分ける、ディープラーニングを使用した画像認識
- Google マップで現実世界のゲームを作ろう
- ミックスドリアリティ・アトラクション『PAC IN TOWN』におけるリアルとデジタルの融合を象徴する新たな遊び”collaborative play”の紹介とVRDC@GDC 2018に登壇して思ったこと
- VR/AR/MRの融合：高実在感コンテンツの未来
- Saya -Virtual Human Projects-
- IT の未来を語る：PlayStation® x IT 教育がつくる次世代エンタテインメント
- 空撮フォトグラメトリー技術とレーザースキャン技術の融合による広大な現実空間の3Dデータ化方法
セッションピックアップ
ハシラスが考えるこれからのVR
内容はこちらの記事の内容が包括的だと感じました。 jp.ign.com
ハシラスはゲームセンターなどに据え置ける大型のアトラクションを中心としたアーケードゲームを中心に開発を行なっているが、その文脈での未来を発表してくださった。 そこでは下の記事にみられる「オルタランド」を提唱しており、そこでは「別の自分になって、別の世界に行って、仲間と過ごすこと」ができるという。
確かにこのようなアーケードゲームにおいて人件費は赤字直結の課題であるのでこれがうまく解決できればアーケードゲーム内のVRコーナーはもっと大きなものになると感じた。
ただ一方で、「別の自分になって、別の世界に行って、最高の一人の空間を楽しむ」という未来の可能性もあると感じてきていて、本来根暗の自分にはこっちの方がありがたかったりする。
VR/AR/MRの融合：高実在感コンテンツの未来
こちらはCygames Reserachの発表でした。
最高のXR体験をユーザーに提供するためには、
日常の中の非日常などではなく、永遠に続く非日常こそユーザーが真に受け取りたいものだという仮定。 そのような強烈な体験をユーザーが体験するためには
- 圧倒的な没入感
- 圧倒的な実在感
- 没入感と実在感の両立させるための取り組み（Hololensを使ったMRコンテンツ）
(ここで「実在感」とは例えばCGコンテンツが現実のコンテキスト・コンテンツと齟齬なく感じられること、と仰っていました。目の前にあたかもキャラがいる！みたいな)
取り組みとして「VR四騎士」を挙げての説明でした。（いち騎空士としてこのイベントは行っておきたかったなー。こちらの方の体験記がとてもリアルでよく伝わりました）
個人的な意見として、
- この事例で行なったことは、リダイレクションの研究と逆行するもの
- リダイレクションの研究は、いかに現実世界の形をVR空間内でごまかすかに主眼を置いたもの
- ではVR空間でのリダイレクションを行なっているコンテンツは「実在感」を失ってしまうのか？そうは思わない。
- コンテンツやユーザー体験で重視するポイントを洗い出し、「実在感」を出す部分と「現実世界を歪める」部分とを使い分けすれば良い
Saya -Virtual Human Projects-
telyuka←こちらが製作者の方たちのHPです。
正直自分はSXSWも行ってなくメディアを通してしか知らなかったので、直接（？）Sayaさんにお会いしたのは初めてでした。
とにかくこの一言に尽きる
「すっごく可愛いです！！！」
現在は「揺らぎ」と「不確実性」を内包する彼女にできることを模索中だそうで、今後の活動もチェックしたいです。
モーションの動きにもひと手間ふた手間かかっていて、一つのモーションをループさせるのに最初と最後のフレームでのつじつま合わせを極めていらっしゃいました。（よくあるキャラがピョンッて飛んじゃうやつ） まずボーンのつじつま合わせをし、それでも髪の毛や服のシワなどのシミュレートの結果に微妙なズレが生じてしまうのでそれもつじつま合わせをし、って感じでした。根気のいる作業です。
個人的な意見
- あまりにもリアルすぎるところがこのプロジェクトの鋭いところ
- ここまで来てようやく一般人にも伝わる凄さ、というのが辛い現実だと思っている
- だからこそ一般に広がるチャンスを持っている
- 不気味の谷超えてるな。。。
- Q: 越えるためのテクニックは？
- A:
- →そんなに意識していない
- →この年代の美しさ、可愛さは一番大事にしないといけない（思いが伝わる一言）
- →ただひたすらに作り込みをする
インタラクション展示
導電繊維を用いた軽量かつ多彩な手形状計測用データグローブ
上司のツイートを引用
今回の #CEDEC2018 インタラクティブセッション、今日時点で特に気になったデータグローブの Grov は一見の価値ありです！https://t.co/H8sgZisFIs pic.twitter.com/aN9NnZW0fw
— いっこう / ikkou 9月某日 AR輪読会 #2 (@ikkou) August 22, 2018
こちらが公式のページのようです。これは現状ハプティクデバイスではなく、指の曲げや指と指の接触判定を行え、また予めチップ的なものを埋め込まれているものを把持すれば自分が何を掴んでいるか把握することができる、といったものです。
各指に周波数の違う電流を流しているということでしたが、結構アバウトな作りでちゃんと周波数帯が別れて取得できるのはすごいな（素人並感）と思いました。
簡易脳波計を用いた「脳波VRゲーム」、「脳波MRゲーム」、「脳波VRライブ」
またしても上司のツイートの引用
簡易脳波VRを体験しました:D
— いっこう / ikkou 9月某日 AR輪読会 #2 (@ikkou) August 22, 2018
オペレーション大変そうですが脳波関連はR4Dでも研究分野としているので興味深かったです。コントロール上手いと言われて中二病感を唆られた。ｗ #CEDEC2018 pic.twitter.com/0mGvcfeXgd
おでこ二箇所と耳の後ろ一箇所（アース）の簡易的なものでしたが、初体験だったのでいい経験になりました。
説明の際に、「集中する」と反応するみたいなことを言われたのですが、「集中とはww」ってなりました笑。まあでも別のこと考えたり色々脳裏で想像してたりしたら反応したのでよかったです笑。
最後に
自分は敢えて一枚も写真を取らなかったのですが、すぐにこれはよくなかったなと思いました（見る方だけに集中しようとしていた）。なのでこれからはなるべく写真撮ってSNS発信しようと思います。
一緒に参加してきたインターン生の書いたレポートもありますのでこちらも参考に[FYI]
フォトグラメトリーやってみました
みなさん、フォトグラメトリーって知ってますか。 恥ずかしながら自分はついこの間知りました。とても恥ずかしかったので、払拭するために実際にやってみることにしました。
フォトグラメトリーとは
フォトグラメトリとは、3次元の物体を複数の観測点から撮影して得た2次元画像から、視差情報を解析して寸法・形状を求める写真測量のこと。 航空写真から地図の等高線を作成するために発達した手法で、最近ではデジタルカメラを用いた3次元測定機(3D CMM)に応用されている。(weblio辞書より)
らしいっす。はい、見せた方が早いっすね。こちらがフォトグラメトリーという技術を使って駅を3次元化したものらしいです。（お借りします）
フォトグラメトリおもろいなー pic.twitter.com/ZVnxU44KuE
— masanaga (@tasklong) March 11, 2018
使ったソフト・環境
- AutodeskのRECAPとRECAP Photo
- MeshLab
- WindowsPC
を使って作成しました。また、こちらの記事を参考に進めました。ところどころ仕様？が変わってることころがあり、その差分を含めて説明したいと思います。
製作フロー
RECAPをダウンロード（自分はStudentの権限を使ってPro版を手に入れることができました）。また、テストデータセットとして97枚の井戸の写真がここに入ってます。
この
new projectからphoto to 3Dを選択
Create 3DのObjectを選択
作成したオブジェクトの写真群を選択し、project titleを設定してcreate
すると
MyCloudDriveに作ったprojectが作成されてダウンロードができるようになります
またweb上では3Dviewができるようになっています
.obj形式でダウンロードすることもでき、MeshLabなど3D編集ソフトへのimportなども可能です
研究室のデスク周りを3次元化してみた
とりあえず身の回りのものを3次元化してみようと思ったので、研究室の自デスク周りを撮ります。
- 動画をとってそこから画像を切り出します
- だいたい2分の動画をとって700フレームに切り出しました
- ちょっとここで不満点が。どうやらrecap photoは100枚の画像までしか扱えないようです。せっかく700枚も用意したのに...
- 仕方がないので100枚単位で３次元化させてみました。次やるときはこれに気をつけよう。。。
とここまでやってきたのですが、結果はどれもエラーが吐かれてしまいました。
なんでだろう。後から動画から手でスクショ撮ってたやつと混ぜて作ったら手動でスクショしたやつのみで3次元化されたから、なにやらffmpegが悪さしてる...? これは15枚入れて9枚が使用された結果です。
もうちょい精度あげられるな pic.twitter.com/9Dj72Wbz9x
— ざわざわ (@zawazawatw) August 18, 2018
もうちょっと精度あげたい
せっかくなので、いい感じになるように動画ではなく手動でたくさんの写真を撮ります。どこまで精度が上がるのか知りたい。
- 手動で根気よく100枚写真を撮ります
- あとは同じフローで3次元化してやります
- 結構時間かかります（30分ぐらいかな）
- できた
前よりはたくさんの正しいメッシュが生成されてる感じ！だいたい100枚中50枚くらいがつかわれた感じだ。ちゃんと認識してくれる撮り方とかアングルが分かったので次やるときはもうちょいうまくできるかな。
...なかなか難しいんごねぇ pic.twitter.com/OzJG70Sl6E
— ざわざわ (@zawazawatw) August 18, 2018
写真から3次元空間を構築する技術は他にも方法が色々あって、今回はそのうちの1種類を試してみました。
おしまい
はじめてのさくひんてんじ
某大学の制作展という授業で作品展示をする機会があったので、そこでの色々な話をつらつら書きます。
そもそも
「制作展」とは、某大学の一年かけて行う授業で、メディアアート作品を中心に、何かしらを表現したい人たちが集まって互いに意見を出し合ってグループや個人で形にする、という授業です。
今回は本番である11月の展示に向けたpreのものとして7月に行われた展示について書いていきます。
ちなみにこの制作展は毎年名前が変わっており、今回は「Dest-logy」というタイトルです。
あとちなみにかつて落合陽一さんも参加していたようです。
つくったさくひん
今回自分らが作った作品がこちらです。本来は色々派手に音が鳴ります。
かるーく説明すると、 テクノロジーの力によって様々な力吸収した人間は、繁栄した明るい世界を実現するのか、それとも適合できずに崩壊してしまうのか。どっちに転ぶのだろうか。というストーリーを表現しています。
一応Gitに上げていますが、UnityでのGitを用いたチーム開発はあまりオススメしません笑
えられたこと・わかったこと
Unity公式のpost processing behaviour はできる子ということ。一気に見栄えがよくなります。
Before 
After プロトタイプはなる早で作るべし。
作品をどこまで説明してどこから体験者に想像させるかの設計が難しい。アート作品なのかゲーム作品なのかによって変わりそう。
アート作品に振るかゲーム作品に振るかにした方が良い。（個人的に、ゲーム作品として土台を作成してそれにアート性を加える方が得意だと感じた）
作品作ると、「面白い」「ありがとう」と言われる回数がめちゃくちゃ多いからこっちも楽しい。
宣伝大事
デバッグキー大事
本番用にBuild大事
作品展示にアクシデントはつきもの。自分らの作品は全日程を通して非常に安定した挙動をしてくれて特にメンテナンスなどは必要なかったが、ハードウェアに凝りだすと闇を見ることになる。（ハード使った方が作品の規模も体験の質も随分変わるのでそこはトレードオフだと思う）
展示が終わった後の打ち上げが超が5個つくくらい楽しい。終わった後にあーだこーだ言い合ったり、ぶっちゃけ話とかしたり、一緒に苦労して展示を作り上げた人たちと笑い会えるのは気持ちいい。
これらのことを活かして今後のモノづくりに活かそうと思います！
１１がつのもみにきてね
今回の展示に見に来てくださった方々、ありがとうございました。途中でトラブルもあり()、4日目の終わりの方はバタバタしてしまいましたが、頑張って11月も展示できるようにしたいので、もし11月の展示が開催されれば是非またいらしてください！
シャリだけでも美味しく寿司が食える方法
くだらないネタ考えたのでやりました
先日のxR Tech Tokyoでこの記事の話が出ました。
いろんな人がこれをネタに持って行こうとしているようなので自分もそれに乗っかろうとして、思いついたのが、
「シャリにARマーカーくっつけて自分の好きなネタ乗せれば良くない？？」
です。ネタを思いついてしまった以上責任を持って実現をさせようというくだらない記事です。
別に寿司ネタとかけてるわけじゃないんだからね。
ちょうどいい機会
XR分野の研究を始めて1ヵ月ぐらいで、ちょうどいい機会だったのでVuforiaを初めて使ってみました。
Developer登録とかDatabaseのtargetimage追加とかのフローはいくらでも記事があるのでそちらをみてください。
出来上がってしまったネタ
寿司ネタを3つ（2つと1体）用意しました。お粗末なマグロとタマゴと可愛いユニティちゃんです。
作ってる途中で「これ、正当な寿司ネタだけじゃなくても乗せられるよね？？」と思ってしまった自分、たちが悪いです。
ARマーカーは海苔で作ろう
シャリにはやっぱり海苔でARマーカーつけるのが最適でしょう。 ということで海苔を買って切ってARマーカーにしようと思います。近くに海苔を売ってるところがなかったのでおにぎりの海苔を使いました。パリパリしてなくて、引っぺがしたらご飯もくっついてました。ここがくだらなさポイントの頂点です。
薄々感じてはいた
だめかーー
ふにゃふにゃの海苔を使ったのがまずいけない笑。エッジもクソもない。 あと海苔の光沢もダメだろう。
（そもそもおにぎりを使ってシャリを使わなかったんかいというツッコミはナシでお願いします。金欠でした。）
ちなみに正確なマーカーではうまくいきました
得られた知見
まず何より食べ物で実験すると、その後美味しくいただきましたができる。
あとはiphone上で動かそうとすると、画面が真っ暗になる状態に陥りました。環境はvuforia7+Xcode9.3+iOS11.3。どうやらvuforia側の問題のようです。参考
システム的なコンフリクトに立ち向かうのも無駄だと思ったので今回はPCでやりました。いつかチャチャっと直せるようになりたいです。
ユニティちゃんのロゴもちゃんと載せないと。
【Unity】ボタンの下にあるオブジェクトへのタップイベントを無効化する
想定
UnityでiPhoneのARkitを使った簡単なアプリを作っている時にぶつかった課題です。
ボタンの下は押したくない
uGUIを設置した時に、ボタンの下に検出された平面のタッチイベントまで取得してしまって、意図しない挙動をしてしまった。
なんだか色々解決策がある...
でも絶対もっと簡単にやれるって！って思って調べたところ本当に簡単にできました。
あくまで、自分のケースですが。
手法
UnityARHitTestExample.csスクリプトのUpdate関数内の条件分岐に一言「ボタンがあればタッチイベントを無視しますよ」と加えるだけ。
あ、あとスクリプトの頭にusing UnityEngine; using UnityEngine.EventSystems;の2行を加えるだけ。
// Update is called once per frame
void Update () {
#if UNITY_EDITOR //we will only use this script on the editor side, though there is nothing that would prevent it from working on device
if (Input.GetMouseButtonDown (0)) {
Ray ray = Camera.main.ScreenPointToRay (Input.mousePosition);
RaycastHit hit;
//we'll try to hit one of the plane collider gameobjects that were generated by the plugin
//effectively similar to calling HitTest with ARHitTestResultType.ARHitTestResultTypeExistingPlaneUsingExtent
if (Physics.Raycast (ray, out hit, maxRayDistance, collisionLayer)) {
//we're going to get the position from the contact point
m_HitTransform.position = hit.point;
Debug.Log (string.Format ("x:{0:0.######} y:{1:0.######} z:{2:0.######}", m_HitTransform.position.x, m_HitTransform.position.y, m_HitTransform.position.z));
//and the rotation from the transform of the plane collider
m_HitTransform.rotation = hit.transform.rotation;
}
}
#else
if (Input.touchCount > 0 && m_HitTransform != null)
{
var touch = Input.GetTouch(0);
###################### ここのした一行に手を加えるだけ！！！ ######################
if ((touch.phase == TouchPhase.Began || touch.phase == TouchPhase.Moved) && !EventSystem.current.IsPointerOverGameObject(Input.GetTouch(0).fingerId))
############################################################################
{
var screenPosition = Camera.main.ScreenToViewportPoint(touch.position);
ARPoint point = new ARPoint {
x = screenPosition.x,
y = screenPosition.y
};
// prioritize reults types
ARHitTestResultType[] resultTypes = {
ARHitTestResultType.ARHitTestResultTypeExistingPlaneUsingExtent,
// if you want to use infinite planes use this:
//ARHitTestResultType.ARHitTestResultTypeExistingPlane,
ARHitTestResultType.ARHitTestResultTypeHorizontalPlane,
ARHitTestResultType.ARHitTestResultTypeFeaturePoint
};
foreach (ARHitTestResultType resultType in resultTypes)
{
if (HitTestWithResultType (point, resultType))
{
return;
}
}
}
}
#endif
}
本当に簡単にできた。優勝。
ポイントはEventSystem.current.IsPointerOverGameObject(Input.GetTouch(0).fingerId)っぽいですね。
参考にさせていただいたサイト
Unity + ARkit + MMDモデル + MMDモーションの実現
現実とバーチャルを横断したい
今回、習いたてのUnityでタイトルにあるものを作ってみました。 結構ハードル高かったですが、色々な記事を参考にして作りました。
目標
Unity上でMMDモデルとMMDモーションくっつけてそれをARkitで現実世界に召喚しよう！
動作環境
参考サイト
お借りしたもの
手順
全体の流れとしては、
UnityのARkitプラグインをimport
お好きなMMDモデルとモーションデータ(vmdファイル)をproject内に移動
MMD4Mecanimパッケージをimport
MMDモデルとモーションデータをUnity上で動かせるようにMMD4Mecanimで変換(fbxファイルの生成)
アニメーションの作成
ARkitに対応づけ
です。以下で細かく見てみましょう。
まずARkitプラグインをAssetStoreからimport しましょう。Freeです。素晴らしい。
次にいきなり厄介なのですが、MMD4Mecanimをimport します。どうもこの手順が一癖あるようで（バージョンにもよると思いますが）、丁寧にやっていきます。
まず現時点で最新版の
MMD4Mecanim_Beta_20180523のpackageを全てimportしてきます。次に、MMD4Mecanim_Beta_20160815のPMX2FBXの項目のみをimportします。こうしないとMMDモデルからUnity上で扱えるFBX形式のモデルに変換が出来ないようです。↓のような具合になると思います
ではここからfbxモデルの生成に移ります。キズナアイフォルダの中に
kizunaai.MMD4Mecanimというものが出来ていると思うので、規約に同意の上、動かしたいモーションをVMD欄にD&Dしてprocess
無事fbxモデルが生成されると、指定したパスにモデルが出来上がります。
これをやる必要があるのか検証してないですが、モデルのRigをHumanoidに設定してApplyするとエラーが出る箇所があります（Genericでも動くらしい？）。importメッセージを見ると、
joint_hidariteoyayubiが 重複して参照されてしまってるよ、という事なので、configから実際に見てみるといかにもえらってそうな赤が見つかります。これを右手のものと比べながら正しいもの（joint_hidaritekubi）に設定してやると、解消できました。
ここへきてようやくモデルをsceneに移します。各自の嫁を召喚しましょう。HitCubeの子の位置に持ってきてやります。
あとは自由にチューニングしてください。自分の場合、このままではモデルが小さすぎると思ったのでscaleを3倍の3に設定して、HitCubeも邪魔なので消しました。あとocclusionも表現したかったので、
GereratePlanesオブジェクトのPlane Prefabがdebug planeだったものをocclusion planeに変更しました。これによってカメラから検出した平面にモデルが重なったらモデルを隠してくれるようになります。
出来上がり！
unity + arkit + MMDをやってみました！
— ざわざわ (@zawazawatw) June 9, 2018
オクルージョンもやってます。
キズナアイモデルとメグメグ☆F・E・Nモーションをお借りしています。 pic.twitter.com/hi89aB9x0S
おわりに
ARkit2.0が発表されましたね！縦平面の検出とか状態保存とか端末同期とかで実現できることがたくさんありそうでワクワクします！（まだベータ版ですが）
