最新AI教程资讯
The Matrix – 阿里联合港大等多所机构推出的AI基础世界模拟器
The Matrix是与电影同名的、首个AI基础世界模拟器，是全华人团队推出的（作者分别来自阿里巴巴、香港大学、滑铁卢大学和加拿大AI研究机构Vector Insititute）。The Matrix能生成无限长、高保真720p真实场景视频流，支持实时交互控制。
2025-01-16 13:41:37
DreamPolish – 智谱AI、清华、北大联合推出的文本到3D生成模型
DreamPolish是Zhipu AI、清华大学和北京大学推出的文本到3D生成模型，基于两阶段方法改进复杂对象的精细几何结构和高质量纹理的生成。第一阶段用多种神经表示逐步细化几何形状，基于抛光阶段改善表面细节。第二阶段用领域得分蒸馏技术，引导纹理生成朝向结合逼真度和一致性的目标领域，显著提升纹理质量。
2025-01-16 13:11:47
OmniBooth – 华为诺亚方舟联合港科大推出的图像生成框架
OmniBooth是华为诺亚方舟实验室和港科大研究团队共同推出的图像生成框架，支持基于文本提示或图像参考进行空间控制和实例级定制。框架用用户定义的掩码和相关联的文本或图像指导精确控制图像中对象的位置和属性，提升文本到图像合成技术的可控性和实用性
2025-01-16 12:46:07
DynaMem – 纽约大学和Hello Robot推出的动态空间语义记忆系统
DynaMem是纽约大学和Hello Robot推出的动态空间语义记忆系统，专为开放世界中的移动操作设计。基于维护一个特征点云作为机器人记忆，处理环境中的动态变化，如物体的添加和移除。当接收到新的RGBD观测时，DynaMem更新记忆，添加新物体并移除不再存在的点。
2025-01-16 12:18:29
MVPaint – 腾讯PCG联合多所高校共同推出的3D纹理生成框架
MVPaint是腾讯PCG 、上海AI LAB、南洋理工大学S-Lab、清华大学共同推出的3D纹理生成框架，基于同步多视角扩散技术实现高分辨率、无缝且多视图一致的3D纹理生成。MVPaint包含三个核心模块：同步多视角生成（SMG）用在初始化纹理，空间感知3D修补（S3I）用在填补未观察区域，及UV细化（UVR）用在改善UV空间纹理质量。
2025-01-16 11:54:59
LTX Video – Lightricks推出的开源AI视频生成模型
LTX Video是Lightricks推出的开源AI视频生成模型，能在4秒内生成5秒的高质量视频，速度超过观看速度。基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，解决了早期视频生成模型的关键限制。LTX Video支持长视频制作，提供灵活性和控制力，适用于多种场景，包括游戏图形升级和电子商务广告变体制作。
2025-01-16 11:32:43
BALROG – 基准测试工具，用于评估LLMs和VLMs在复杂动态环境中的推理能力
BALROG是评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏上的推理能力，特别是模型在动态环境中的规划、空间推理和探索能力。基于一系列挑战性的游戏环境，包括程序生成的环境如NetHack，测试模型性能。BALROG揭示了现有模型在简单任务上的成功和在复杂任务上的挑战，尤其是在涉及视觉决策时。
2025-01-16 11:09:55
AutoVFX – 自然语言驱动的视频特效编辑框架
AutoVFX是先进的物理特效框架，是伊利诺伊大学香槟分校研究团队推出的，能根据自然语言指令自动创建真实感和动态的视觉特效（VFX）视频。框架集成神经场景建模、基于大型语言模型（LLM）的代码生成和物理模拟技术，实现照片级逼真且物理上合理的视频编辑效果，让用户能直接用自然语言指令控制视频内容的修改和创作。
2025-01-16 10:41:06
Markdown-to-Image – 开源的在线 Markdown 转海报编辑器
Markdown-to-Image是开源的Markdown 转为海报的编辑器，作为React组件能将Markdown文本内容转换成图像，适用于创建社交媒体帖子、海报和其他视觉内容。工具支持多种输出格式，包括海报、图片、引用、卡片等，用户能自定义样式。
2025-01-16 10:18:19
TÜLU 3 – Ai2 推出的系列开源指令遵循模型
TÜLU 3是艾伦人工智能研究所（Ai2）推出的一系列开源指令遵循模型，包括8B和70B两个版本，未来计划推出405B版本。模型在性能上超越Llama 3 1 Instruct版本，提供了详细的后训练技术报告，公开数据、评估代码和训练算法。
2025-01-16 09:48:27
EchoMimicV2 – 阿里推出的开源数字人项目，能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMimicV2在前代 EchoMimicV1 生成逼真人头动画的基础上，效果得到进一步提升，现在能生成完整的数字人半身动画，实现从中英文语音到动作的无缝转换。
2025-01-15 23:52:39
FlipSketch – 萨里大学推出的文本引导生成无约束草图动画的AI系统
FlipSketch 是萨里大学推出的创新系统，能将静态绘图转变为文本引导的草图动画。技术基于三个关键创新实现：微调草图风格的帧生成、用噪声细化保持输入草图视觉完整性的参考帧机制，及在不失去视觉一致性的情况下实现流畅运动的双注意力合成。
2025-01-15 23:28:03
StoryTeller – 字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
StoryTeller是字节跳动、上海交通大学和北京大学共同推出的系统，能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。StoryTeller由视频分割、音频视觉角色识别和描述生成三个主要模块组成，能有效处理数分钟长的视频。
2025-01-15 23:05:18
DELIFT – 数据高效语言模型指令微调算法
DELIFT（Data Efficient Language model Instruction Fine-Tuning）是新型算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶段的数据选择。基于成对效用度量和次模优化技术，高效选择多样化和最优的数据子集，减少计算资源消耗，同时保持或提升模型性能。
2025-01-15 22:43:15
HART – 麻省理工学院推出的自回归视觉生成模型
HART（Hybrid Autoregressive Transformer）是麻省理工学院研究团队推出的自回归视觉生成模型。能直接生成1024×1024像素的高分辨率图像，质量媲美扩散模型。HART基于混合Tokenizer技术，将自动编码器的连续潜在表示分解为离散token和连续token，其中离散token负责捕捉图像的主要结构，连续token专注于细节。
2025-01-15 22:14:37
WebDreamer – 基于大语言模型模拟网页交互增强网络规划能力的框架
WebDreamer是俄亥俄州立大学和Orby AI研究团队推出的基于模型规划的网络智能体，基于大型语言模型（LLMs），特别是GPT-4o，作为世界模型预测网站上的交互结果。框架模拟可能的用户行为和结果，帮助网络代理在复杂的网络环境中进行有效的规划和决策。
2025-01-15 21:51:36
Kandinsky-3 – 开源的文本到图像生成框架，适应多种图像生成任务
Kandinsky-3是基于潜在扩散模型的文本到图像（T2I）生成框架，以高质量和逼真度在图像合成领域脱颖而出。Kandinsky-3能适应多种图像生成任务，包括文本引导的修复 扩展、图像融合、文本-图像融合及视频生成等。研究者们推出一个简化版本的T2I模型版本，该版本在保持图像质量的同时，将推理速度提高3倍，仅需4步逆向过程即可完成。
2025-01-15 21:26:15
CAVIA – 苹果、得克萨斯、谷歌联合推出的多视角视频生成框架
CAVIA是苹果公司、得克萨斯大学奥斯汀分校、谷歌联合推出的多视角视频生成框架，能将单一输入图像转换成多个时空一致的视频序列。框架基于引入视角集成注意力模块，增强视频的视角一致性和时间连贯性，支持用户精确控制相机运动，同时保留对象运动。
2025-01-15 21:04:56
Flex3D – Meta GenAI和牛津大学共同推出的两阶段3D生成框架
Flex3D是由Meta的GenAI团队和牛津大学研究团队推出的创新的两阶段3D生成框架，能基于任意数量的高质量输入视图，解决从文本、单张图片或稀疏视图图像生成高质量3D内容的挑战。第一阶段，基于微调的多视图和视频扩散模型生成多样化的候选视图，用视图选择机制确保只有高质量和一致的视图被用于重建。
2025-01-15 20:44:03
EvolveDirector – 阿里联合南洋理工推出文本到图像生成模型的高效训练技术
EvolveDirector是阿里巴巴和南洋理工大学联合推出的创新框架，用公开资源和高级模型的API接口训练一个高性能的文本到图像生成模型。框架基于与现有高级模型的API交互获取数据对，训练一个基础模型，并借助预训练的大型视觉语言模型（VLMs）动态优化训练数据集，显著减少所需的数据量和训练成本。
2025-01-15 20:15:23
人气排行
24小时排行
