Back to Feed
总结
1月14日,智谱宣布与华为开源新一代图像生成模型GLM-Image,称其在昇腾Atlas 800T A2设备与昇思MindSpore框架上完成从数据预处理到大规模训练的全流程,是首个国产芯片全程训练的多模态SOTA模型。该模型采用“自回归+扩散解码器”混合架构,实现图像生成与语言模型联合,重点面向海报、PPT、科普图等知识密集场景,并在CVTG-2K与LongText-Bench文字渲染榜单取得开源第一,支持1024至2048分辨率任意比例生成;API模式单图成本约0.1元,速度优化版本将更新,并提供在线体验与多平台开源地址。
正文
IT之家 1 月 14 日消息,智谱今日宣布联合华为开源新一代图像生成模型 GLM-Image ,模型基于昇腾 Atlas 800T A2 设备和昇思 MindSpore AI 框架完成从数据到训练的全流程, 是首个在国产芯片上完成全程训练的 SOTA 多模态模型 。 GLM-Image 采用自主创新的"自回归 + 扩散解码器"混合架构, 实现了图像生成与语言模型的联合 。 IT之家附 GLM-Image 核心亮点如下: 架构革新,面向"认知型生成"的技术探索:采用"自回归 + 扩散编码器"混合架构,兼顾全局指令理解与局部细节刻画, 克服了海报、PPT、科普图等知识密集型场景生成难题 ,向探索以 Nano Banana Pro 为代表的新一代"知识 + 推理"的认知型生成模型迈出一步。 首个在国产芯片完成全程训练的 SOTA 模型:模型自回归结构基座基于昇腾 Atlas 800T A2 设备与昇思 MindSpore AI 框架,完成了从数据预处理到大规模训练的全流程构建,验证了在国产全栈算力底座上训练前沿模型的可行性。 文字渲染开源 SOTA:在 CVTG-2K(复杂视觉文本生成)和 LongText-Bench(长文本渲染)榜单获得开源第一, 尤其擅长汉字生成任务 。 性价比与速度优化:API 调用模式下, 生成一张图片花费 0.1 元 ,速度优化版本即将更新。 据智谱官方介绍,通过改进 Tokenizer 策略,GLM-Image 能够自适应处理多种分辨率,原生支持从 1024x1024 到 2048×2048 尺寸的任意比例图像的生成任务,无需重新训练。 GLM-Image 在文字渲染的权威榜单中达到 开源 SOTA 水平 。 GLM-Image 在实际的复杂图文任务中测试表现如下: 场景一:科普插画 GLM-Image 更擅长绘制包含复杂逻辑流程与文字说明的科普插画及原理示意图。 场景二:多格图画 在生成电商图、漫画等多格图画时,GLM-Image 能够保持风格和主体的一致性,并保障多处文字生成的准确率。 场景三:社交媒体图文封面 GLM-Image 适用于制作社交媒体封面及内容等排版复杂的图片,让您的创作更自由丰富。 场景四:商业海报 GLM-Image 能够生成构图富有设计感、文字嵌入准确的节日海报与商业宣传图。 场景五:写实摄影 在文字渲染以外,GLM-Image 也同样擅长生成各种景别和尺寸的人像、宠物、风景、静物。 IT之家附 GLM-Image 体验和开源地址如下: 在线体验: https://bigmodel.cn/trialcenter/modeltrial/image API 接入: https://docs.bigmodel.cn/cn/guide/models/image-generation/glm-image GitHub: https://github.com/zai-org/GLM-Image Hugging Face: https://huggingface.co/zai-org/GLM-Image 魔搭社区: https://modelscope.cn/models/ZhipuAI/GLM-Image
发布时间: