The Transformation Process From Unity Screen Space To World Space

Unity屏幕空间到世界空间的转换过程

Posted by Yoko on August 28, 2020

屏幕空间像素的位置,是一个二维的浮点数,而世界空间的位置,则是三维的浮点数。实现的基本思路很简单,是世界空间位置变换到屏幕空间位置的逆过程,只是稍微有些区别。如果对图形渲染管线中的坐标变换没有弄清楚,或者习惯了Unity中直接调用封装好的函数,确实有些麻烦。

简单的说,世界空间位置变换到屏幕空间位置的步骤是这样的:

世界空间位置变换到屏幕空间

第一步,世界空间位置变换到裁剪空间

1
float4 projectionPos=mul(UNITY_MATRIX_VP, float4(pos, 1.0));

这里也可以分为两小步,世界空间变换到观察空间,观察空间变换到投影空间,也就是裁剪空间

1
2
float4 viewPos=mul(UNITY_MATRIX_V, float4(worldPos, 1.0));
float4 projectionPos=mul(UNITY_MATRIX_P, viewPos);

第二步,裁剪空间变换到屏幕空间位置

1
float4 projectionPos——>float2 screenPos

这里也可以分为两小步,透视除法和屏幕映射

透视除法,实际是将视椎体压平成为一个立方体。

1
projectionPos.xyz/projectionPos.w;

屏幕映射

1
[-1,1]——>[0,1]——>屏幕的像素位置

如果我们从屏幕空间位置反推世界空间位置的话,需要知道裁剪空间或观察空间的位置,然后直接乘逆矩阵变换到世界空间即可。

但是如果要得到裁剪空间的位置,我们缺少w的信息,只有屏幕空间的位置xy,线性深度z(unity从深度贴图的直接取出的深度为非线性的)。

因此,我们需要通过别的方式。根据摄像机的参数设置来计算得到观察空间的像素位置。

屏幕空间位置变换到世界空间

1.计算观察空间的Z分量

深度图采样,然后线性0-1,这时候得到的值是屏幕空间的线性深度Z。

观察空间的Z计算即,观察空间的近裁减屏幕的位置+近裁剪平面与远裁剪平面之间的距离*线性深度。

1
2
3
float zdepth = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv.xy);
float linearDepth = Linear01Depth(depth);
float viewPosZ = _ProjectionParams.y + (_ProjectionParams.z - _ProjectionParams.y) * linearDepth;

_ProjectionParams在Unity中的format为:

1
2
3
4
5
float4 _ProjectionParams;
// x = 1 or -1 (-1 if projection is flipped)
// y = near plane
// z = far plane
// w = 1/far plane

2.计算观察空间Z为camPosZ处视椎体切面的高度和宽度

1
2
float height = 2 * camPosZ / unity_CameraProjection._m11;                 
float width = _ScreenParams.x / _ScreenParams.y * height;  

unity_CameraProjection是摄像机的投影矩阵,具体的内容可以看Unity的API文档,unity_CameraProjection._m11的内容是:

1
unity_CameraProjection._m11= 2.0F * near / (top - bottom);

这里的near就是计算得到的camPosZ,top-bottom即height。

知道高度和屏幕宽高的比例后,就可以计算宽度

1
2
3
4
5
// x = width
// y = height
// z = 1 + 1.0/width
// w = 1 + 1.0/height
float4 _ScreenParams;

3.根据高度和宽度,以及屏幕空间位置UV,得到观察空间的XY坐标

1
2
float camPosX = width * uv.x - width / 2;  
float camPosY = height * uv.y - height / 2; 

这里是一个平移的操作,在屏幕空间,原点位于左下角。但是在观察空间的视椎体切面上,原点位于屏幕的中心。所以原来位于屏幕坐标系的坐标(x,y),在平面中的坐标为(x-0.5,y-0.5)。

4.在熟悉了原理之后,以上步骤可以简单用以下的矩阵运算实现:

1
2
3
4
5
6
float zdepth = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv.xy);
float4 clipPos = float4(i.uv.xy, depth, 1.0);
clipPos.xyz = 2.0f * clipPos.xyz - 1.0f;
float4 camPos = mul(unity_CameraInvProjection, clipPos);
camPos.xyz /= camPos.w;
camPos.z *= -1;

5.最后,矩阵乘法变换观察空间到世界空间

1
float3 worldPos=mul(unity_CameraToWorld, camPos).xyz;