ネット通販では商品の質感は想像するしかありません。
- 「実物は届いてみないとわからない」
- 「わからないから、評判の良いものにしておこう」
このように保留された商品も多いはずです。
ネット越しに商品の質感をお客さんに感じてもらえたらどうでしょう？
本記事では、iPhone で“商品の質感”を見てもらう手法を紹介します。
ARでお客さんの目の前に届けます。
ARコマースの価値：本物の質感
ARコマースの価値は、商品をお客さんの空間に持ち込めること。
本プロジェクトでは一歩進めて、商品をお客さんの部屋の実際の光で照らし、環境を映り込ませます。
-
部屋の光で質感が出る：環境の照明を取り込んで商品を再ライティング。光沢面には環境が映り込み、暗い部屋なら落ち着いた陰影が出る——質感が“環境に反応する”。
-
実寸で床に置く：床を検出して実物大で配置。歩いて回り込めば、大きさも全方位の見た目も一目でわかる。
-
本当にそこにある感：足元の接地影と、オクルージョン（手前の人や家具が商品を隠す）で、合成感のない設置。
「写真ではわからなかった質感」を、お客さん自身の環境で体感できる——これが狙いです。
なぜ Gaussian Splatting なのか — モデルの作り方
まず、商品を3Dとしてキャプチャする必要があります。ここで 3D Gaussian Splatting（3DGS） を使います。
- 複数視点の写真／動画から、リアルな3Dモデルを再構成できる（手作業のモデリング不要）。
- 見る角度で見え方が変わる view-dependent な表現が得意で、光沢やハイライトの再現に向く。
- 点群ベースで、スマホでもリアルタイム描画できる。
本プロジェクトでは、マテリアル（法線・粗さ・反射率・アルベド）を分離して学習する Ref-Gaussian で3Dを作成。これにより「撮影時の光を剥がして、置いた先の光で照らし直す（リライティング）」が可能になります。ここが、照明が焼き込まれた通常のフォトグラメトリとの決定的な違いです。
実装：iPhone の Metal でリアルタイムに AR 表示
描画は Metal で自作（scier/MetalSplatter をベースに、split-sum IBL の再ライティングと deferred PBR を追加）。AR は ARKit。主な機能：
-
部屋の光でリライト＆反射（
AREnvironmentProbeAnchorの環境キューブマップを IBL に投入） - 実寸・床配置・歩き回り（平面検出＋レイキャスト、ARCamera の 6DOF）
-
接地影／深度オクルージョン（LiDAR の
sceneDepth） - カラー／仕上げの試着（コンフィギュレータ）：同じモデルの色や仕上げ（マット／光沢／鏡面／メタリック）を切り替え、しかも部屋の光で正しく再ライティング。色を変えても白いロゴや模様は白のまま（色相だけを置き換える方式）。
- ターンテーブル展示：手放しで360°ゆっくり自動回転。
技術的な肝は「ライティングを描画時に計算している」こと。だから“お客さんの部屋の光”や“お客さんが選んだ色”に対して、質感がリアルタイムに正しく反応します。
いろんな商品に応用できる
質感と大きさが効く商材ほど刺さります。
- 自動車：ボディ塗装の映り込み、ショールーム的な見せ方、駐車スペースへのフィット確認。
- 家具・インテリア：部屋の光の下でのツヤ・色、置いたときのサイズ感。
- ジュエリー・時計：金属・ガラスの反射（質感の差が価格に直結する商材）。
- 家電・キッチン用品：ステンレスや光沢プラの質感。
- アパレル小物：革・エナメルの艶。
共通して「写真では伝わらない質感」と「置いてみないとわからない大きさ」を、ユーザーの環境で解決できます。
まとめ
- Eコマースの「大きさ・質感が伝わらない」課題に対し、
- Gaussian Splatting で実物をキャプチャし、
- iPhone の AR で実寸・お客さんの部屋の光で表示することで、
- 多様な商品に応用できる「買う前に質感を確かめる」体験が作れます。
コード（リライタブル GS ビューア／Metal＋ARKit）は公開しています：
https://github.com/john-rocky/MetalGaussianSplatRelighting
🐣
フリーランスエンジニアです。
AIについて色々記事を書いていますのでよかったらプロフィールを見てみてください。
AIやARといった技術をビジネスに組み込むのは、現場にフィットさせることが重要だと思います。
お困りごとがあれば中間コストを省いたリーズナブルな価格でお請けできます。
お仕事のご相談はこちらまで
rockyshikoku@gmail.com