智源重磅开源：See3D模型引领无标注视频学习3D生成新潮流

近日，北京智源人工智能研究院（BAAI）隆重推出创新的3D生成模型See3D，该模型具备从大规模无标注互联网视频中学习的能力，引领“See Video， Get3D”理念的重要进展。

See3D通过独特的视觉条件技术，摒弃了传统相机参数的依赖，仅依据视频中的视觉线索即可生成具有可控相机方向和几何一致性的多视角图像。这一方法显著降低了昂贵的3D或相机标注需求，实现了从互联网视频中高效学习3D先验知识的突破。

See3D模型支持从文本、单视图和稀疏视图到3D的生成，并能够进行3D编辑与高斯渲染。该模型、代码和Demo已经开源，供更多的技术细节参考。See3D的效果展示包括解锁3D互动世界、基于稀疏图片的3D重建、开放世界3D生成和基于单视图的3D生成。这些功能使得See3D在多种3D创作应用中展现出广泛的适用性。

研究动机源于3D数据的局限性，传统的3D数据采集过程耗时且成本高昂，而视频则因其包含多视角关联性和相机运动信息，成为揭示3D结构的有力工具。See3D提出的解决方案包括数据集构建、模型训练和3D生成框架。团队自动筛选视频数据，构建了涵盖1600万视频片段、3.2亿帧图像的WebVi3D数据集。See3D模型通过向掩码视频数据添加时间依赖噪声，生成纯粹的2D视觉信号，支持可扩展的多视图扩散模型训练，实现了无需相机条件的3D生成。

See3D的优势在于数据扩展性、相机可控性和几何一致性。其训练数据源自海量互联网视频，构建的多视图数据集在规模上实现了数量级的提升。模型支持在任意复杂的相机轨迹下的场景生成，并保持前后帧视图的几何一致性。

通过扩大数据集规模，See3D为3D生成技术的发展提供了新的思路，希望这项工作能够促进3D研究社区对大规模无相机标注数据的关注，降低3D数据采集的成本，并缩小与现有闭源3D解决方案之间的差距。

智源研究院突破性成果：EVE——开创无编码器视觉语言多模态新时代

近期，多模态学习领域的研究与实践确实迎来了一个飞速发展的时期，不仅国际上的科技巨头OpenAI、Google、Microsoft等持续推出了前沿的多模态大模型，诸如DALL-E和LaMDA，国内同样涌现出一批佼佼者，例如智谱AI和阶跃星辰，它们在多模态模型的探索上也实现了显著的成就，推动了技术边界的扩展。

为解决这些问题，智源研究院联合大连理工大学、北京大学等高校推出了新一代无编码器的视觉语言模型EVE。EVE通过精细化训练策略和额外的视觉监督，将视觉-语言表征、对齐和推理整合到统一的纯解码器架构中。使用公开数据，EVE在多个视觉-语言基准测试中表现优异，接近甚至优于基于编码器的主流多模态方法。

EVE的主要特点包括：

原生视觉语言模型：去除视觉编码器，处理任意图像长宽比，显著优于同类型Fuyu-8B模型。

数据和训练代价少：预训练使用OpenImages、SAM和LAION等公开数据，训练时间较短。

透明和高效的探索：为纯解码器的原生多模态架构提供了高效、透明的发展路径。

模型结构：

Patch Embedding Layer：通过单层卷积层和平均池化层获取图像2D特征图，增强局部特征和全局信息。

Patch Aligning Layer：整合多层网络视觉特征，实现与视觉编码器输出的细粒度对齐。

训练策略：

大语言模型引导的预训练阶段：建立视觉和语言之间的初步联系。

生成式预训练阶段：提高模型对视觉-语言内容的理解能力。

监督式的微调阶段：规范模型遵循语言指令和学习对话模式的能力。

定量分析：EVE在多个视觉语言基准测试中表现优异，与多种主流的基于编码器的视觉语言模型相当。尽管在准确响应特定指令方面存在挑战，但通过高效的训练策略，EVE实现了与带编码器基础的视觉语言模型相当的性能。

EVE展示了无编码器原生视觉语言模型的潜力，未来可能通过进一步的性能提升、无编码器架构的优化和原生多模态的构建，继续推动多模态模型的发展。

智源研究院推出1bit轻量化预训练模型BiPFT，平均性能超过了15.4%

近日消息，智源研究院提出了首个用于自然语言理解任务的1bit 轻量化预训练模型 BiPFT。与传统的 FP32模型相比，BiPFT 模型在推理阶段显著减少了操作数量和内存使用。该模型在 GLUE 标准测试集上的平均性能超过了15.4%。

与以往的1bit 量化方法不同，BiPFT 直接在预训练阶段使用大量的文本数据对模型进行1bit 预训练，而不是在下游任务上进行量化。这种方法使得模型具备了更好的独立学习能力和超参数鲁棒性。

另外，智源团队还创新地采用了一种数据驱动的1bit 量化方法，通过对自注意力操作中的1bit 量化误差进行参数化，减少了量化损失。

实验结果表明，BiPFT 模型在1bit activation 下的计算量和内存消耗相比于全精度32位模型分别降低了56倍和28倍。同时，该模型在不同超参数设定下都能取得更好的效果，具有较好的独立学习能力和超参数鲁棒性。