多視点の再構築
三次元オブジェクトは,複数の二次元視点から再構築することが可能である.ImageDisplacementsを使って,1つの視点から次の視点への視差を見極める.視差の変動が大きいほど,対応する画素の後ろのオブジェクトにより近くなる.この深度の情報をもとに,ImageMeshとTriangulateMeshから得られるオブジェクトメッシュの頂点を押し出すことができる.結果は,三次元メッシュオブジェクト上にテクスチャをマップすることによって表示される.
In[1]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_62.png)
中央画像のオブジェクトマスクを得る.
In[2]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_63.png)
mask = Erosion[Binarize[imgs[[2]], 0], 1];
中央画像に対する左と右の画像の視差を求める.
In[3]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_64.png)
parallaxL = First@ImageDisplacements[imgs[[{2, 1}]]];
In[4]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_65.png)
parallaxR = First@ImageDisplacements[imgs[[{2, 3}]]];
視差の合計にこれらの変位を組み合せる.
In[5]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_66.png)
parallax = parallaxL - parallaxR;
指定の設定において,視差の 成分は対応する画素源の深度にだいたい比例している.
In[6]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_67.png)
depth = Blur@
Opening[ImageMultiply[ImageAdjust@Image[parallax[[All, All, 1]]],
mask], DiskMatrix[4]]
Out[6]=
![](assets.ja/multi-view-reconstruction/O_29.png)
深度の関数を構築する.
In[7]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_68.png)
depthFunction = ListInterpolation[Transpose@Reverse@ImageData[depth]];
オブジェクトの突出によって細分化されたオブジェクトメッシュを得る.
In[8]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_69.png)
resolution = ImageAdjust@ImageSaliencyFilter[imgs[[2]]];
In[9]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_70.png)
resolutionFunction =
ListInterpolation[Transpose@Reverse@ImageData@resolution];
In[10]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_71.png)
\[CapitalOmega] = TriangulateMesh[
ImageMesh[Erosion[mask, DiskMatrix[2]]],
MeshRefinementFunction ->
Function[{vertices, area},
area > 32 + 512 (1 - resolutionFunction @@ Mean[vertices])^6]
]
Out[10]=
![](assets.ja/multi-view-reconstruction/O_30.png)
オブジェクトメッシュを深度の関数で押し出す.
In[11]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_72.png)
Graphics3D[
GraphicsComplex[
Apply[{##, depthFunction[##]} &,
MeshCoordinates[\[CapitalOmega]], {1}],
{EdgeForm[], MeshCells[\[CapitalOmega], 2]}
],
PlotRange -> Append[Thread[{0, ImageDimensions[mask]}], {0, 1}],
BoxRatios -> {1, 1, 2/3},
ViewPoint -> Top
]
Out[11]=
![](assets.ja/multi-view-reconstruction/O_31.png)
オブジェクトのテクスチャを中央画像から抽出する.
In[12]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_73.png)
texture = SetAlphaChannel[imgs[[2]], mask]
Out[12]=
![](assets.ja/multi-view-reconstruction/O_32.png)
テクスチャを三次元オブジェクト上にマップする.
In[13]:=
![Click for copyable input](assets.ja/multi-view-reconstruction/In_74.png)
Graphics3D[
{Texture[texture],
GraphicsComplex[
Apply[{##, depthFunction[##]} &,
MeshCoordinates[\[CapitalOmega]], {1}],
{EdgeForm[], MeshCells[\[CapitalOmega], 2]},
VertexTextureCoordinates ->
Map[#/ImageDimensions[texture] &, MeshCoordinates[\[CapitalOmega]]]
]
},
PlotRange -> Append[Thread[{0, ImageDimensions[mask]}], {0, 1}],
BoxRatios -> {1, 1, 2/3},
Lighting -> {{"Ambient", White}},
ViewPoint -> Top,
Boxed -> False
]
![](assets.ja/multi-view-reconstruction/swf_7.png)