Gaussian Splatsとは何か – メッシュに代わる新しい3Dスキャン手法

Gaussian Splats（ガウシアン・スプラッツ）は、最新の3Dスキャン・再構成手法の一つ。

従来のフォトグラメトリ（写真測量法）が多数の写真からポリゴンメッシュ＋テクスチャを生成するのに対し、Gaussian Splatsではシーンを「点」とその周囲に広がるガウス分布のボリューム（スプラット）の集合で表現します。各点（スプラット）は位置座標だけでなくサイズ（スケール）や形状（異方性の広がり）、色、透明度、向き（法線方向）といったパラメータを持ちます。

簡単に言えば、シーン中の点群一つ一つをぼんやりと広がる半透明の「しみ」のような粒で表し、それらを重ね合わせることで写真のようにリアルな3Dシーンを再現する手法です。この方法は光の反射や透明感、境界のぼやけなど従来のメッシュでは表現しづらい視覚効果も自然に表現できる点が特徴です。

ここではそのGaussian Splatsについて、できる限り詳しく解説してみたいと思います。

点群データと色の3D表現方式

Gaussian Splatsのデータは、一種のカラー付き点群ですが通常の点群とは異なります。

通常の点群スキャンでは各点は位置と色情報のみを持ちます。対してGaussian Splatsでは、各点に半径（スプラットの広がり）や形状（楕円体の軸方向への伸縮）、色と透明度による密度などが割り当てられた「ガウシアン関数」（3次元ガウス分布）として扱われます。

例えばある点が赤い球状のガウス分布として空間に存在すると、その点は中心が濃く周辺ほど薄い赤い半透明の球体として表現され、複数のスプラットが重なり合うことで物体表面の色や濃淡が滑らかに再現されます。これにより滑らかな境界や半透明の素材、光沢の反射なども、点群の集合として自然に表現できるのです。

Gaussian Splatsはニューラルレンダリング（NeRF）の発展系として登場した技術で、数枚～数十枚の写真から点群と各点のガウシアンパラメータを機械学習で最適化して得ます。生成されたデータは座標と色の大量の点集合ですが、各点が持つガウス分布のおかげで、単なる点の集まり以上に連続的でフォトリアルな3D表現となります。実際、スマートフォン向けアプリ（PolycamやLuma、Scaniverseなど）がこの技術を搭載し始めており、写真から直接Gaussian Splats形式の3Dモデルを生成・閲覧できるようになっています。

フォトグラメトリとの違い – 「見た目」を重視したデータ

フォトグラメトリは重なり合わない三角形のメッシュを作り、その表面に写真に由来するテクスチャを貼り付けて3Dモデルを構築します。これは形状の正確さに優れますが、一方で透明な素材や光の反射、微妙な陰影の表現は苦手でした。

Gaussian Splatsはこの弱点を補うアプローチと言えます。メッシュではなく無数の半透明点でシーンを表すため、視点による光の透過や反射の変化をそのままデータに含めることができます。結果として、鏡面やガラスのようにメッシュではモデル化が難しい要素もリアルに再現できるのです。

もう一つの大きな違いはデータ量とレンダリング速度です。Gaussian Splatsのデータは基本的に点群＋パラメータの集合で、メッシュに比べ軽量かつリアルタイム描画に適しています。例えば大規模なシーンでも、モバイル端末上で高速に表示可能であることが報告されています。

一方で、Gaussian Splatsはあくまで「見た目重視」の表現であり、得られた点群データから直接きれいなポリゴンモデルを起こすことは簡単ではありません。そこで次に、この点群＋ガウス分布データをどのように3Dプリント可能な形に変換したかを見てみましょう。

Gaussian Splatsデータをポリゴンモデルに変換する方法

3Dプリント系YouTuberとして知られるWyatt Roy氏は、Gaussian Splatsで得られた点群データをポリゴンメッシュに変換し、「スプラットキューブ（splatcubes）」と名付けた物理的オブジェクトを作り出しました。その手順は以下の通りです（wyattroy.fun）。

1. 点群データの取得: スマホアプリのPolycamなどを使い被写体をフォトグラメトリスキャンし、Gaussian Splats形式の点群（.plyファイル）を取得します。Polycamは内部でこの形式を扱い、点群各点にガウス分布パラメータを含むデータを生成します（出力はバイナリ形式のPLYファイル）。

2. データの解析・スクリプト処理: Polycam出力のバイナリPLYは人間には判読できないため、まずPythonスクリプトでこれをテキスト（ASCII）形式に変換しました。得られた各点（スプラット）の位置XYZ、スケール（ガウス分布の広がり具合）、回転（四元数による向き）、透明度などの数値を読み取り、次にRhino + Grasshopper（3Dモデリングソフトとそのビジュアルスクリプト環境）で処理します。

3. ガウシアンを代理ジオメトリに置換: 各スプラットをそのままボリューム（確率密度分布）として造形することはできないため、「14面体の低ポリゴン球（isosphere）」で近似します。Gaussian分布は本来滑らかな楕円体状の密度勾配を持ちますが、計算量と造形の都合から、小さなポリゴン球に置き換えてしまうわけです。各球体は元のスプラットの位置に配置され、ガウス分布のスケール・向きパラメータに合わせて拡大縮小と回転を適用します。こうして点群全体が多数の小さなポリゴン球の集合として表現されます。

4. 不要要素のフィルタと補正: 得られた何万個もの「ポリゴン球の雲」から、外れ値となる極端に大きすぎる球（背景のぼやけた点など）や微小すぎるノイズ点は統計的に除去します。また各球の透明度（ガウスの強度）に基づき、大きさを調整する処理も行いました。透明度が低い（ほとんど透明な）スプラットは物理造形すると肉眼で見えないため、相対的な濃淡関係を保ちつつ最低限の厚みを持つよう球を太らせる工夫です。加えて、極端に扁平な楕円体（非常に薄いスプラット）はプリントに適さないため、軸方向の厚みに下限を設け形状を調整しています。

5. メッシュ化とキューブ化: 調整後の球体群データをひとまとまりのメッシュにブーリアン合成（Shrinkwrap）し、重なり部分を統合してポリゴン数を削減します。さらにその点群全体を内包する外郭の透明キューブを生成し、球体群の形状をそのキューブから減算することで、内部に球状の空洞が点在する立方体モデルを得ます。この空洞部が後に不透明樹脂で満たされる箇所、キューブ部分が透明樹脂になる箇所となります。

以上の処理で、もとのGaussian Splats点群から「透明な立方体の中に多数の小さな球（点）のある3Dモデル」が完成します。あとはこれを実際に3Dプリントするだけですが、ここで特殊なプリンターと材料を用いる必要があります。

マルチマテリアル対応プリンターとレジン材料の活用

Wyatt氏は造形に業務用のマルチマテリアル樹脂プリンターを使用しました。具体的にはStratasys社のObjet260 Connex3に代表されるような、透明・不透明の複数樹脂を同時に噴射・硬化できるPolyJet方式の3Dプリンターです。

要するに一度のプリントで透明樹脂と有色樹脂を混在造形できるマシンです。出力するモデルデータも透明部分用と不透明部分用の二重のメッシュ(STL)に分けて準備し、プリンター上でそれぞれに対応する材料を割り当てています。

造形に用いられた材料は透明レジンと、黒あるいは白の不透明（または半透明）レジンです。クリア樹脂を立方体全体に使い、中のスプラット（球）部分に光を遮る樹脂を配置することで、完成品は「透明なキューブの中に像が浮かび上がる」ようになっています。内部の色に白い樹脂を使った場合、完成品はガラスブロック内部にレーザーで点を彫刻した「3D写真」のように、内部像が明るく光を反射して見える効果があります。

一方、黒い樹脂を使うと内部の像が暗色で描かれるため、明るい背景を背後に置いたときにはっきりと浮かび上がるネガフィルム的な効果になるでしょう。Roy氏のプロジェクトでは黒や白の半透明レジンなど複数の材料を組み合わせ、光の透過率が異なるパーツを作ることで、内部像に濃淡の階調や立体感を持たせる工夫もされています。造形解像度はおよそ50μmと非常に高精細で、プリント後は研磨や再樹脂コーティングによって透明部分の光学的なクリアさを高め、層の跡やサポート痕を消す丁寧な後処理も行われています。

“写真を立体化して表現”する新手法

Wyatt Roy氏の「スプラットキューブ」は、デジタルなGaussian Splatsデータをアナログの物体として手に取れるようにした最初期の事例だと言えます。

透明な小さなキューブの中に、被写体の姿が点の集合として立体的に焼き付けられたようすは、まさに“手に持てる3D写真”と呼べるものです。従来、写真画像を立体的に見せる手法としてはリソフェイン（リソフォト）がよく知られていました。リソフェインは一枚の薄い板に厚みの違いで明暗パターンを作り出し、裏から光を当てることで画像を浮かび上がらせる技法です。非常に手軽ですが、一方向からの鑑賞しかできず、素材の色や透明度の情報は表現できません。また見る角度を変えても像が変化しないため平面的な「2.5次元」の表現と言えます。

それに対してGaussian Splatsを用いたスプラットキューブは、完全な3次元空間に写真を焼き付けたような表現が可能です。フォトグラメトリで実際の被写体をスキャンしているため、元になったシーンを自由な角度から眺めることができ、見る方向を変えれば立体物として異なるシルエットが現れます。また点群による半透明表現のおかげで、見る環境やライティングによっても印象が変わり、写真一枚では伝えきれない質感や奥行きを感じ取ることができます。まさに「写真を立体化する」新たな可能性を示す技術と言えるでしょう。

技術的ハードルと一般ユーザーへの課題

このGaussian Splatsからの3Dプリント手法は非常に興味深い一方で、現時点では技術的ハードルが高いのも事実です。まずデータ処理にはPythonやGrasshopperでのスクリプト作成など、プログラミングや高度な3Dモデリングの知識が必要です。点群データ自体の調整も専門的で、誰でもワンクリックでできるものではありません。さらに大きな障壁は造形ハードウェアで、今回使用されたようなマルチマテリアル対応の高精細プリンターは一般には高価かつ入手困難です。家庭用の標準的な光造形（DLP/SLA）プリンターしかない場合、一度のプリントで透明と不透明を表現することはできず、何らかの手動による複製・封入といった工夫が必要になるでしょう。

一般ユーザーが類似の表現に挑戦する代替案としては、いくつか考えられます。一つは前述のリソフェインで、薄い透明レジン板を幾層も重ねたり立体的に配置することで、ある程度の奥行き表現に挑戦する方法です。しかし複数の板を正確に配置する手間があり、完成してもスプラットキューブほど自由な視点変化は得られません。より直接的な代替として、アクリルブロック内部へのレーザー加工も挙げられます。これはレーザー光で透明アクリル内部に微細な気泡を作り、点の集合で絵やフィギュアを描く手法です。実際、観光地の土産物などで人物写真を内部に点刻したクリスタル立方体がありますが、Gaussian Splatsを応用すれば同様のデータでレーザー加工を行うことも理論上可能でしょう。レーザー加工サービスは外注になりますが、高価なプリンターを買わずに似た効果を得る一つの道です。

Gaussian Splatsが拓くフォトリアル立体表現

写真の情報をそのまま立体に封じ込めるGaussian Splats技術は、これまで平面的だった写真表現に新次元の広がりをもたらします。リソフェインが単一視点の白黒画像を薄板で表現したのに対し、スプラットキューブはカラーで奥行きのある思い出を丸ごと手にする感覚を提供します。まだ実験的な段階とはいえ、3Dプリント技術とボリュメトリック表現の融合は、デジタルと現実を結ぶ新しいアートフォームとなる可能性を秘めています。

高度な機材が必要という課題はありますが、今後技術が進歩し手軽になれば、誰もが自分の撮った写真やスキャンデータを立体写真として飾れる日が来るかもしれません。Gaussian Splatsは、そうした未来の一端を示す先駆的な試みと言えるでしょう。各種材料の組み合わせや造形プロセスの改良により、より精細で色鮮やかな「立体写真」が実現することが期待されます。写真と立体物の境界を超えるこの技術の今後に、大いに注目したいところです。

参考: Wyatt Roy氏の公式サイトおよびYouTubeチュートリアル、今回紹介したプロジェクト「Splatcubes」に関する詳細な技術解説やコードも公開されているため、興味のある方はぜひ参照してください。