People Occlusion （ピープル・オクルージョン） 現実世界の人の後ろや前にAR空間を構築。ほぼあらゆる場所でグリーンスクリーンスタイル効果を可能にします。 Motion Capture（モーション・キャプチャ） 1台のカメラでリアルタイムに人の動きを捉えます。身…

ARの空間座標をスクリーン座標に変換する関数を紹介します。 ARSCNViewのprojectPointで取得できます。 下記ソースです。 func getScreenPointfromARPos(sceneView:ARSCNView , pos:SCNVector3) -> CGPoint { let screenPos = sceneView.projectPoint(pos) l…

HIGのAugmented Realityについての和訳です。3回にわけて翻訳します。 Augmented Reality アップルのAR（拡張現実感）技術であるARKitは、仮想オブジェクトを現実の世界とシームレスに融合させる魅力的な体験を提供します。 ARアプリでは、デバイスのカメラ…

ARSceneVIewでの基点は下記コードで変更できます。 let sceneView:ARSCNView self.sceneView.session.setWorldOrigin(relativeTransform: simd_float4x4( transfrom )) simd_float4x4は4x4の行列でトランスフォームの値になります。 simd_float4x4 - simd | …

上画像のようにARKitでカメラ画像の明るさをライティングに反映する方法をご紹介します。 ①SceneKitのライティングを作成 まずはライティング用ノードを作成してrootNodeに追加します。 var sceneLight: SCNLight!//シーンのライト override func viewDidLoa…

9月に発表されたiPhone XS/XS Max/XRには「アップル A12バイオニック（Apple A12 Bionic）」が採用されています。 世界最大の半導体製造ファウンダリ「TSMC（台湾）」で製造された7ナノメートルプロセスラインで生産される最新鋭のモバイルプロセッサです。 …

ARKitでカメラの位置を取得する方法です。 ARSCNView.sessionのデリゲート（ARSessionDelegate）をViewController自身に設定します。 sceneView.session.delegate = self セッションのイベントにアクセスしてフレームからカメラを取得出来ます。 func sessio…

CoreML開発に特徴点もしくは座標軸を表示する方法を紹介します。 ARSCNDebugOptionsを設定します。 特徴点を表示するにはshowFeaturePoints、 座標軸を表示するにはshowWorldOrigins。 下記は両方表示するコードです。 self.sceneView.debugOptions = [ARSCN…

CoreMLの調査のためApple公式のドキュメントを調査しました。↓ Apple Developer Documentation 【調査内容】 ・機械学習のモデルは.mlmodelを使用 ・ドキュメントからプロジェクトのサンプルをダウンロードできます。 ・既存の機械学習モデルもmlmodelに変換…

ARkit開発環境（Unity） ・iPhone6s〜 ・iOS11〜 ・Xcode9〜 ・Unity5.6.1.p1〜 bitbucket.org ARKitで出来ること ・ポジショントラッキング ・壁や床などの平面検出 ・二次元画像の認識 ・ポイントクラウド（3次元の点座標情報）取得 ・周囲の明るさ推定 ・…