最新AI教程资讯
Gemini 2.0 – 谷歌推出的原生多模态输入输出 + Agent 为核心的AI模型
Gemini 2 0是谷歌最新推出的原生多模态输入输出的AI模型。Gemini 2 0 Flash是2 0家族第一个模型,以多模态输入输出和Agent技术为核心,速度比 1 5 Pro快两倍,关键性能指标超过 1 5 Pro。模型支持原生工具调用和实时音视频流输入,提供文本、音频和图像的集成响应,具备多语言音频输出能力。
2025-01-08 12:56:13
书生·万象InternVL 2.5 – 上海 AI Lab 开源的多模态大语言模型系列
书生·万象InternVL 2 5是上海AI实验室的OpenGVLab团队推出的开源多模态大型语言模型(MLLM)系列。该系列模型在InternVL 2 0的基础上进行显著增强,特别是在训练和测试策略及数据质量方面。
2025-01-08 12:33:03
ChatTTSPlus – 开源文本转语音工具,ChatTTS扩展版支持语音克隆
ChatTTSPlus是ChatTTS的扩展版本,基于集成TensorRT加速、语音克隆和移动模型部署等先进技术,提升语音合成的性能和灵活性。在Windows平台上,能实现超过3倍的加速,从28 tokens s提升到110 tokens s,极大地提高处理速度。
2025-01-08 12:11:41
MMAudio – 基于多模态联合训练实现高质量 AI 音频合成项目
MMAudio是先进视频到音频合成技术,基于多模态联合训练,让模型能在广泛的视听和音频文本数据集上进行训练。技术的核心是同步模块,确保生成的音频与视频帧精确匹配,实现高度同步。
2025-01-08 11:43:51
Ultravox – 端到端多模态大模型,直接理解文本和人类语音
Ultravox是新型的多模态大型语言模型(LLM),能直接理解文本和人类语音,无需依赖单独的自动语音识别(ASR)阶段。基于多模态投影器技术将音频数据转换为高维空间表示,与LLM直接耦合,显著减少处理延迟,提高响应速度。
2025-01-08 11:20:27
Project Mariner – 谷歌推出的浏览网站智能体,能帮用户操作表格、在线购物
Project Mariner 是谷歌 DeepMind 推出的浏览器助手。Project Mariner基于 Gemini 2 0 技术,用 Chrome 扩展程序实现浏览器自动化,理解和执行网页任务。Project Mariner能理解和推理浏览器屏幕上的信息,包括像素和网页元素,基于 Chrome 扩展程序使用这些信息完成任务。Project Mariner 能控制 Chrome 浏览器、移动屏幕上的光标、点击按钮和填写表格,像人类一样使用和浏览网站。
2025-01-08 10:59:47
TEN Agent – 开源的实时多模态 AI 代理框架
TEN Agent是集成OpenAI Realtime API和RTC技术的开源实时多模态AI代理框架。TEN Agent能实现语音、文本、图像的多模态交互,支持高性能的实时通信,具备低延迟的音视频交互能力。TEN Agent支持多语言和跨平台操作,支持开发者基于模块化设计轻松扩展功能,如集成视觉识别和RAG能力。
2025-01-08 10:38:25
FLOAT – 基于流匹配的音频驱动说话人头像生成模型
FLOAT是DeepBrain AI 和韩国先进科技研究院推出的音频驱动说话人头像生成模型,基于流匹配生成模型,学习运动潜在空间实现高效的时间一致性运动设计。模型基于Transformer架构的向量场预测器,实现帧间时间一致性,支持语音驱动的情感增强,让生成的说话动作更自然、富有表现力。
2025-01-08 10:18:01
SynCamMaster – 快手联合浙大、清华等机构推出的多视角视频生成模型
SynCamMaster是浙江大学、快手科技、清华大学和香港中文大学的研究人员共同合作推出的全球首个多视角视频生成模型,能结合6自由度相机姿势,从任意视点生成开放世界视频。SynCamMaster增强了预训练的文本到视频模型,确保不同视点的内容一致性,支持多摄像机视频生成。
2025-01-08 09:57:28
STIV – 苹果公司推出的视频生成大模型
STIV(Scalable Text and Image Conditioned Video Generation)是苹果公司推出的视频生成大模型。STIV拥有8 7亿参数,能处理文本到视频(T2V)和文本图像到视频(TI2V)任务,基于联合图像-文本分类器自由引导(JIT-CFG)提升视频生成质量。
2025-01-07 17:56:37
DiffSensei – AI 漫画生成框架,能生成可控的黑白漫画面板
DiffSensei是北京大学、上海AI实验室及南洋理工大学的研究人员共同推出的漫画生成框架,能生成可控的黑白漫画面板。DiffSensei整合基于扩散的图像生成器和多模态大型语言模型(MLLM),实现对漫画中多角色外观和互动的精确控制。
2025-01-07 17:34:47
Maya – 开源多语言多模态模型,能处理和理解八种不同语言
Maya是开源的多语言多模态模型,基于指令微调扩展模型在多种语言和文化背景下的能力。Maya基于LLaVA框架,包含新创建的包含八种语言的预训练数据集,提高视觉-语言任务中的文化和语言理解。Maya基于毒性分析和数据集过滤,确保训练数据的安全性和质量。
2025-01-07 17:05:21
千影 QianYing – 巨人网络推出的有声游戏生成大模型
千影 QianYing是巨人网络推出的有声游戏生成大模型,包含游戏视频生成大模型YingGame和视频配音大模型YingSound。YingGame面向开放世界游戏,是巨人网络AI Lab与清华大学SATLab联合推出的,能实现角色多样动作交互控制和物理仿真特性,与YingSound结合可生成匹配画面的复杂音效。
2025-01-07 16:42:19
Promptic – 轻量级LLM应用开发框架,通过一行代码切换不同LLM
Promptic是轻量级的LLM应用开发框架,提供高效且符合Python风格的开发方式。基于LiteLLM,Promptic支持开发者能轻松切换不同的LLM服务提供商,只需更改一行代码。Promptic支持流式响应、内置对话记忆、错误处理和重试,及可扩展的状态管理。
2025-01-07 16:20:21
SwiftEdit – AI文本引导图像编辑框架,0.23秒内实现高质量的图像编辑
SwiftEdit是由VinAI Research团队推出的文本引导的图像编辑工具,基于创新的一步扩散技术,能在0 23秒内实现快速且高质量的图像编辑。工具的核心优势在于一步反演框架和掩码引导编辑技术,让编辑过程迅速,且能保持与文本提示的高匹配度,同时保留图像的关键背景元素。
2025-01-07 15:55:39
ChatMCP – AI 聊天客户端,基于 MCP 支持多语言和自动化安装
ChatMCP 是基于模型上下文协议(MCP)的 AI 聊天客户端,支持与各种大型语言模型(LLM)如 OpenAI、Claude 和 OLLama 等进行交互。ChatMCP具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能,提供 MCP 服务器市场实现与不同数据源的聊天。
2025-01-07 15:29:06
Multimodal Live API – 谷歌推出支持多模态交互、低延迟实时互动的AI接口
Multimodal Live API 是谷歌推出的低延迟、双向交互的AI接口,支持文本、音频和视频输入,用音频和文本形式输出,能帮助开发者构建具有实时音频和视频流功能的应用程序。Multimodal Live API让与AI的对话更加自然,支持用户随时打断AI,就像人类之间的对话一样。
2025-01-07 15:01:56
CodeArena – 用于测试不同LLM编程能力的在线平台
CodeArena是在线平台,基于让多个大型语言模型(LLM)同时构建相同的应用程序,实时显示排名结果,比较LLM生成代码的能力。CodeArena平台主要评估和比较不同LLM的代码生成能力,帮助开发者选择适合的LLM,推动LLM技术的发展。
2025-01-07 14:38:50
Phi-4 – 微软推出的14B参数小语言模型,擅长数学等领域的复杂推理
Phi-4是微软推出的14亿参数小型语言模型,在数学等领域的复杂推理以及传统语言处理方面表现出色。Phi-4用数据质量为核心训练重点,大量融入合成数据,提升模型在STEM问答和数学竞赛问题上的表现。Phi-4引入新的训练范式midtraining,增强长文本处理能力,窗口长度可达16K。
2025-01-07 14:15:14
Insight-V – 提升长链视觉推理能力的多模态模型
Insight-V是南洋理工大学、腾讯公司和清华大学的研究者们共同推出的多模态模型,能提升多模态大型语言模型在长链视觉推理方面的能力。基于可扩展的数据生成流程生产高质量的推理数据,采用多智能体系统将视觉推理任务分解为推理和总结两个步骤,结合两阶段训练流程,显著提高模型在视觉推理基准测试中的表现。
2025-01-07 13:52:36
AI开源模型推荐
更多
Sora
2024-12-30
Murf AI
2025-02-08
Coze
2024-12-30
Gemma
2024-12-30