PartCrafter是什么
PartCrafter 是先进的3D生成模型，能从单张RGB图像中生成多个语义明确且几何形态各异的3D网格。通过组合潜在空间表示每个3D部件，使用层次化注意力机制在部件内部和部件之间传递信息，确保生成的3D模型具有全局一致性。模型基于预训练的3D网格扩散变换器（DiT），继承了其权重、编码器和解码器，进一步提升了生成能力。能实现端到端的部件感知生成，支持从单个对象到复杂多对象场景的生成。实验表明，模型在生成可分解的3D网格方面超越了现有方法，在输入图像中不可直接观察到的部件也能准确生成。
PartCrafter的主要功能
多部件联合生成：PartCrafter能从单张图像中一次性生成多个部件和物体，每个部件都具有明确的语义和独特的几何形态。部件感知生成：模型通过组合潜在空间表示每个3D部件，采用层次化注意力机制在部件内部和部件之间传递信息。端到端生成：PartCrafter支持从单张图像到复杂多对象场景的端到端生成。用户只需提供一张图像，模型可生成完整的3D场景，包括多个独立的部件和对象。部件级编辑：生成的3D模型支持部件级别的编辑和修改。用户可以对生成的部件进行单独操作，如调整位置、旋转、缩放等，实现更加灵活的3D设计和创作。复杂场景建模：PartCrafter适用于复杂场景的建模，例如机械结构、建筑模型等。能生成多个部件并确保这些部件之间的协同关系，生成更加真实和复杂的3D场景。预训练模型支持：模型基于预训练的3D网格扩散变换器（DiT），继承了其权重、编码器和解码器。这种预训练机制进一步提升了模型的生成能力和效率。PartCrafter的技术原理
组合式潜在空间：每个3D部件由一组解耦的潜在令牌表示，使部件在生成过程中可以独立演化，保留部件级别的细节。
