AI生成第一人称视角视频AI视频首次实现视角动作完美对齐
AI生成第三视角视频已经驾轻就熟，但第一视角生成却仍然“不熟”。
为此，新加坡国立大学、南洋理工大学、香港科技大学与上海人工智能实验室联合发布EgoTwin ，首次实现了第一视角视频与人体动作的联合生成。
一举攻克了视角-动作对齐与因果耦合两大瓶颈，为可穿戴计算、AR及具身智能打开落地新入口。
EgoTwin 是一个基于扩散模型的框架，能够以视角一致且因果连贯的方式联合生成第一人称视角视频和人体动作。
生成的视频可以通过从人体动作推导出的相机位姿，借助 3D 高斯点渲染（3D Gaussian Splatting）提升到三维场景中。
下面具体来看。
