首页
资讯
品牌
选型
社区
活动
视频
排行
------
反馈
开源 4 天下载百万,MOSS-Image 登顶 Hugging Face 文生图模型趋势榜!
2026-10-22 13:18:17   转载自模思智能

开源短短 4 天,海内外全网下载量突破 100 万次,GitHub 破千星,登顶 Hugging Face 文生图模型趋势榜!今天,MOSS-Image API 也正式上线,限时免费!

10 月 16 日,模思智能与 OpenMOSS 团队正式开源图像生成模型 MOSS-Image,很快便在海内外开发者和 AI 创作者社区中引发了强烈反响。

MOSS-Image 是一个基于 5B 参数 DiT 主干网络的图像生成模型,主打更准确的文字渲染、更可控的 Layout 布局生成,同时支持最长 4K tokens 的提示词,覆盖动漫、插画、照片级写实等多种视觉风格。

截至 10 月 21 日,MOSS-Image 在 Hugging Face 的 Comfy-Org 模型仓库下载量已达到 92.5 万次,并登上 Hugging Face 文生图 Trending 榜首。我们在 Reddit r/StableDiffusion 社区发布的 AMA 帖子也获得了社区置顶推荐。

国内外不少开发者、创作者、ComfyUI 玩家自发上手实测,在 X、Reddit、B 站、QQ 等社区分享生成作品和使用体验。从文字渲染准确性、Layout 布局控制到模型微调潜力,MOSS-Image 的表现收获了非常多积极评价!

目前 MOSS-Image-Base 和 MOSS-Image-SFT 两个版本的模型权重、代码和使用指南均已公开。

今天,MOSS-Image API 也正式上线(限时免费)!

除了下载模型进行本地部署和微调,开发者现在还可以通过 API 直接调用 MOSS-Image 的图像生成能力,更便捷地集成到自己的应用与开发工作流中。

▎从文字到布局,让图像生成更可控

MOSS-Image 的核心优势主要体现在三个方面:更准确的文字渲染、更可控的画面布局,以及对复杂提示词和多样化视觉风格的支持。

01 更准确的中英文文字渲染

MOSS-Image 面向中英文密集文字生成进行了重点优化,能够在图像中呈现清晰、准确的文本,并保留换行等文字结构信息。

02 更可控的 Layout 布局生成

在生成包含多元素、复杂排版的图片时,仅通过自然语言描述构图,很难满足精细的布局要求。为此,MOSS-Image 支持通过结构化 JSON Layout 控制文字和视觉元素的位置,为海报、图解等复杂排版场景提供更灵活的控制方式。

开发者可以通过 summary 描述整体场景,通过 items 指定文字、物体及其视觉特征,并使用 Bounding Box(边界框)定义不同元素在画布中的位置与范围。

03 最长 4K tokens,支持复杂描述与多样化视觉风格

为了支持更复杂的创作任务,MOSS-Image 的文本条件长度最高可达 4096 tokens。对于包含多个主体、复杂空间关系、细致视觉要求的生成任务,开发者可以提供更充分的描述。

在视觉风格上,MOSS-Image 能够生成动漫、插画和照片级写实等不同类型的图像,适用于多样化的创作需求。

▎技术架构

统一文本与图像建模

MOSS-Image 的核心是一套从零预训练的单流扩散 Transformer 架构。

模型采用 42 个联合 Transformer Block,结合冻结的 Qwen3.5-9B 文本编码器与 FLUX.2 VAE,将文本条件与图像潜变量组织到统一的生成架构中。

其中,Qwen3.5-9B 负责提取文本特征,FLUX.2 VAE 负责处理图像潜变量,DiT 则承担扩散生成过程中的核心建模任务。

MOSS-Image 在 Transformer Block 中采用了多项设计:

联合自注意力:用于文本与图像信息的联合建模。

共享调制:在模型内部组织和调制条件信息,大幅度减少调制层的冗余参数量。

SiTU-GLU 前馈层:作为 Transformer Block 中的前馈计算模块,提升长期训练的数值稳定性。

4D RoPE:参与模型的位置编码与时空信息表示,并为未来的参考图条件扩展保留相应维度。

数据与训练

除了模型架构,训练数据的组织方式同样影响着图像生成模型的表现。

在训练数据处理上,团队去除了重复样本和 AI 生成图像,同时尽可能保留真实图像的多样性,并对其中的水印、模糊等属性进行标注。

在算力基础设施方面,MOSS-Image 还采用国产 PPU 算力平台进行模型训练,积累了图像生成模型在不同算力架构上的训练与工程适配经验。

▎Benchmark

除了可视化生成案例,MOSS-Image 也通过多项基准测试,对模型在长文本渲染、布局控制和复杂设计任务中的表现进行了系统评估。

在 MOSS-Image 技术报告所列评测中,MOSS-Image 于三项基准均取得领先:

长文本渲染(LLTB):MOSS-Image 的 Mean-6 文本覆盖率 96.3%,在参评的开放权重模型中排名第一。

版面控制(7Bench):目标定位 mIoU 0.88、布局 AUC 0.70,均高于 Ideogram 4.0(0.44 / 0.20)。

真实设计盲评(RLA):仅给出简短设计请求时,Elo 点估计在参评模型中位列第二(1698.70),仅次于 GPT Image 2;在共享增强自然语言提示词的对照实验中,Elo 点估计为同组最高(1807.34),领先 ERNIE Image 与 SenseNova U1。

评测说明:LLTB 衡量的是文本覆盖率,并不等同于逐字无错率;7Bench 的目标定位 mIoU 仅统计已检测到的目标;RLA 的两个 Elo 结果对应不同测试条件,均为点估计,不应直接混为同一排名。完整评测设置及置信区间见技术报告。

▎社区反馈与案例

以下为海内外社区对 MOSS-Image 的代表性评价与生成案例,我们持续欢迎更多开发者和创作者分享体验与二次开发成果!

▎开始使用 MOSS-Image

目前,MOSS-Image-Base 与 MOSS-Image-SFT 的模型权重、代码及使用指南均已公开。

为了降低模型使用和开发门槛,我们同步提供了多种体验和使用入口。

Python / Diffusers:提供自定义 Diffusers Pipeline,便于开发者通过 Python 代码加载模型并进行推理。

Gradio:提供本地图形化操作界面,支持生成参数与显存策略配置。

ComfyUI:MOSS-Image 官方插件已上线,可通过 ComfyUI Manager 搜索安装,并使用节点工作流进行图像生成。

同时,我们还准备了配套的开发工具与推理框架支持,方便大家快速上手:

SGLang /vLLM-Omni Day 0 适配支持

MOSS-Image Prompt Enhancer Skill:支持将简短的图像创意组织为详细 Caption 或结构化 Layout 提示词。

模型推荐使用 1024×1024 至 1408×1408 左右的输出尺寸,同时支持生成最高约 2K 分辨率的方图。

默认推理参数参考为 Euler flow-matching、50 步、CFG 3、shift 5、负分支跳过第 22 层(从 0 编号)。

(具体推理设置与部署方式,可参考项目中文用户指南。)

本次开源是 MOSS-Image 持续迭代的起点。

接下来,我们还将持续探索 DMD 等少步蒸馏技术,在保持图像质量的同时提升生成效率;并基于开源 LLM 优化 Layout 提示增强能力,进一步提升复杂布局的准确性与可用性。此外,图生图及图像编辑能力也在后续规划中,逐步拓展 MOSS-Image 的应用场景。

(来源:模思智能)

友情链接
粤ICP备2026052944号-1
违法和不良信息、涉未成年人有害信息举报电话:12377 zhl@jushenhome.com
@2025-2026 www.jushenhome.com All Rights Reserved 具身之家 版权所有