面对自动驾驶领域的长尾case,极佳科技构建了Video World Model,目标通过视频生成构建驾驶场景的世界模型。据悉,通过视频生成技术,Video World Model不仅能够生成符合交通结构化信息的视频,还可以根据文本描述改变生成视频的天气、时间等,同时也支持根据输入的驾驶动作生成不同的未来驾驶场景视频。
极佳科技还自研了3D World Model 平台,通过训练世界模型来减少传统三维重建算法中的伪影,并引入了一种渐进式的修复策略,确保在大幅度相机运动下的高质量渲染。
基于这些技术,在世界模型方向,极佳视界已经和多个机器人、汽车主机厂等行业头部企业达成签约合作和量产落地。极佳科技和理想汽车共同研发的ReconDreamer和DriveDreamer4D,有效解决了传统仿真的sim2real gap ,以及新视角生成的难题。
据极佳科技此前透露,三季度该公司将发布DriveDreamer-3,通过融合Video World Model、3D World Model,集成车辆动力学的物理引擎,以及可以与主机厂传统资产管线结合的资产引擎,形成全新一代世界模型平台产品,不仅支持多路视频生成,还包括Lidar点云生成、鱼眼相机视频生成。