ComfyPilotComfyPilot
文档 / 教程 / ACE-Step 1.0：ComfyUI 文生音乐与音频编辑

ACE-Step 1.0：ComfyUI 文生音乐与音频编辑

在 ComfyUI 中使用 3.5B 的 ACE-Step 1.0 模型，按风格标签和歌词生成音乐，或对已有音轨重新编配。Apache-2.0 许可，可商用。

教程 ace-step-v1 更新于 2026-11-08

查看官方原文

ACE-Step 1.0：ComfyUI 文生音乐与音频编辑

在 ComfyUI 中使用 3.5B 的 ACE-Step 1.0 模型，按风格标签和歌词生成音乐，或对已有音轨重新编配。Apache-2.0 许可，可商用。

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联合开发的​​开源音乐生成基础大模型​​，旨在为音乐创作者提供高效、灵活且高质量的音乐生成与编辑工具。

该模型采用Apache-2.0许可证发布，可免费商用。

ACE-Step 作为一个强大的音乐生成基座，提供了丰富的扩展能力。通过 LoRA、ControlNet 等微调技术，开发者可以根据实际需求对模型进行定制化训练。 无论是音频编辑、歌声合成、伴奏制作、声音克隆还是风格转换等应用场景，ACE-Step 都能提供稳定可靠的技术支持。 这种灵活的架构设计大大简化了音乐 AI 应用的开发流程，让更多创作者能够快速将 AI 技术应用到音乐创作中。

目前 ACE-Step 已经发布相关的训练代码，包括 LoRA 模型训练等，对应 ControlNet 的训练代码也将在未来陆续发布，你可以访问他们的Github 来了解更多详情。

[!TIP] > [tab] 本地用户 > > 请确保你的 ComfyUI 已经更新。 > > ComfyUI 下载 > ComfyUI 更新教程 > > 本指南里的工作流可以在工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。 > > 如果加载工作流时有节点缺失，可能原因有： > > 1. 你用的不是最新版（每夜版）。 > 2. 启动时有些节点导入失败。 > [tab] 云端用户 > > * Cloud 会在 ComfyUI 稳定版本发布后更新。 > > 所以，如果你发现本文档中有任何核心节点缺失，可能是因为新核心节点尚未在最新稳定版中发布。请等待下一个稳定版发布。

ACE-Step ComfyUI 文本到音频生成工作流示例

1. 工作流及相关模型下载

点击下面的按钮下载对应的工作流文件，拖入 ComfyUI 中即可加载对应的工作流信息，对应工作流已包含模型下载信息。

下载 Json 格式工作流文件

你也可以手动下载ace\_step\_v1\_3.5b.safetensors 后保存到 ComfyUI/models/checkpoints 文件夹下

2. 按步骤完成工作流的运行

步骤图

  1. 确保 Load Checkpoints 节点加载了 ace_step_v1_3.5b.safetensors 模型
  2. （可选）在 EmptyAceStepLatentAudio 节点上你可以设置生成音乐的时长
  3. （可选）在 LatentOperationTonemapReinhard 节点，你可以调整 multiplier 来调整人声的音量大小（数字越大，人声音量越明显）
  4. （可选）在 TextEncodeAceStepAudio 的 tags 输入对应的音乐风格等等
  5. （可选）在 TextEncodeAceStepAudio 的 lyrics 中输入对应的歌词，如果你不知道该输入哪些歌词
  6. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行音频的生成。
  7. 工作流完成后，你可在 Save Audio 节点中查看生成的音频，你可以点击播放试听，对应的音频也会被保存至 ComfyUI/output/audio （由Save Audio节点决定子目录名称）。

ACE-Step ComfyUI 音频到音频工作流

与图生图工作流类似，你可以输入一段音乐，并使用下面的工作流对其进行重新采样并生成音乐。你还可以通过控制 Ksampler 中的 denoise 参数，来调整与原始音频的差异程度。

1. 下载工作流文件

点击下面的按钮下载对应的工作流文件，将其拖入 ComfyUI 中即可加载工作流信息。

下载 Json 格式工作流文件

下载下面的音频文件作为输入音频：

下载用于输入的示例音频文件

2. 按步骤完成工作流

ACE-Step 步骤图

  1. 确保 Load Checkpoints 节点已加载 ace_step_v1_3.5b.safetensors 模型
  2. 在 LoadAudio 节点中上传所提供的音频文件
  3. （可选）在 TextEncodeAceStepAudio 的 tags 和 lyrics 字段中输入对应的音乐风格和歌词。提供歌词对于音频编辑非常重要
  4. （可选）修改 Ksampler 节点中的 denoise 参数，以调整采样过程中添加的噪波，从而控制与原始音频的相似程度（数值越小，与原始音频越相似；设置为 1.00 时，大致相当于没有音频输入）
  5. 点击 Run 按钮，或使用快捷键 Ctrl(cmd) + Enter 来执行音频生成
  6. 工作流完成之后，你可以在 Save Audio 节点中预览已生成的音频。你可以点击播放并进行试听，音频同时也会保存至 ComfyUI/output/audio（子目录由 Save Audio 节点决定）。

你还可以实现 ACE-Step 项目页面中的歌词修改和编辑功能，通过修改原始歌词来改变音频效果。

3. 工作流补充说明

  1. 在示例工作流中，你可以将 TextEncodeAceStepAudio 中的 tags 从 male voice 改为 female voice，以生成女声。
  2. 你还可以修改 TextEncodeAceStepAudio 中的 lyrics，以更改歌词，从而改变已生成的音频。更多详情请参考 ACE-Step 项目页面上的示例。

ACE-Step 提示词指南

ACE 的提示词目前使用的有两个，一个是 tags 一个是 lyrics。

  • tags： 主要用来描述音乐的风格、场景等, 和我们平常其它生成的 prompt 类似，主要描述音频整体的风格和要求，使用英文逗号分隔
  • lyrics： 主要用来描述歌词，支持歌词结构标签，如 \[verse]（主歌）、\[chorus]（副歌）和 \[bridge]（过渡段）来区分歌词的不同部分，也可以在纯音乐情况下输入乐器名称

对应的 tags 和 lyrics 在 ACE-Step 模型主页 中可以找到丰富的示例,你可以参考对应示例来尝试对应的提示词，本文档的提示词指南基于项目做了一些整理，以便让你能够快速尝试组合，来达到最想要的效果

tags标签(prompt)

主流音乐风格

使用简短标签组合，来生成特定风格的音乐

  • electronic（电子音乐）
  • rock（摇滚）
  • pop（流行）
  • funk（放克）
  • soul（灵魂乐）
  • cyberpunk（赛博朋克）
  • Acid jazz（酸爵士）
  • electro（电子）
  • em（电子音乐）
  • soft electric drums（软电鼓）
  • melodic（旋律）

场景类型

结合具体使用场景和氛围，生成符合对应氛围的音乐

  • background music for parties（派对背景音乐）
  • radio broadcasts（电台广播音乐）
  • workout playlists（健身播放列表音乐）

乐器元素

  • saxophone,
  • azz（萨克斯风、爵士）
  • piano, violin（钢琴、小提琴）

人声类型

  • female voice（女声）
  • male voice（男声）
  • clean vocals（纯净人声）

专业用语

使用音乐中常用的一些专业的用词，来精准控制音乐效果

  • 110 bpm（每分钟节拍数为110）
  • fast tempo（快节奏）
  • slow tempo（慢节奏）
  • loops（循环片段）
  • fills（填充音）
  • acoustic guitar（木吉他）
  • electric bass（电贝斯）

歌词（lyrics）

歌词结构标签

  • \[intro] (前奏)
  • \[verse] (主歌)
  • \[pre-chorus] (导歌)
  • \[chorus] (副歌/合唱)
  • \[bridge] (过渡段/桥段)
  • \[outro] (尾声)
  • \[hook] (钩子/主题旋律)
  • \[refrain] (重复段落)
  • \[interlude] (间奏)
  • \[breakdown] (分解段)
  • \[ad-lib] (即兴段落)

多语言支持

  • ACE-Step V1 是支持多语言的，实际使用的时候 ACE-Step 会获取到对应的不同语言转换后的英文字母，然后进行音乐生成。
  • 在 ComfyUI 中我们并没有完全实现全部多语言到英文字母的转换，目前仅实现了日语平假名和片假名字符 所以如果你需要使用多语言来进行相关的音乐生成，你需要首先将对应的语言转换成英文字母，然后在对应 lyrics 开头输入对应语言代码的缩写，比如中文[zh] 韩语 [ko] 等

比如：

[verse]

[zh]wo3zou3guo4shen1ye4de5jie1dao4
[zh]leng3feng1chui1luan4si1nian4de5piao4liang4wai4tao4
[zh]ni3de5wei1xiao4xiang4xing1guang1hen3xuan4yao4
[zh]zhao4liang4le5wo3gu1du2de5mei3fen1mei3miao3

[chorus]

[verse]​
[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae​
[ko]honja ogsang-eseo dalbich-ui eolyeompus-ileul balaboda​
[ko]niga salang-eun lideum-i ganghan eum-ag gatdago malhaess-eo​
[ko]han ta han tamada ma-eum-ui ondoga eolmana heojeonhanji ijge hae

[bridge]
[es]cantar mi anhelo por ti sin ocultar
[es]como poesía y pintura, lleno de anhelo indescifrable
[es]tu sombra es tan terca como el viento, inborrable
[es]persiguiéndote en vuelo, brilla como cruzar una mar de nubes

[chorus]
[fr]que tu sois le vent qui souffle sur ma main
[fr]un contact chaud comme la douce pluie printanière
[fr]que tu sois le vent qui s'entoure de mon corps
[fr]un amour profond qui ne s'éloignera jamais

目前 ACE-Step 支持了 19 种语言，但下面十种语言的支持会更好一些：

  • English
  • Chinese: \[zh]
  • Russian: \[ru]
  • Spanish: \[es]
  • Japanese: \[ja]
  • German: \[de]
  • French: \[fr]
  • Portuguese: \[pt]
  • Italian: \[it]
  • Korean: \[ko]
[!NOTE] 上面的语言标签在撰写文档时并没有经过完全测试，如果对应语言标签不正确，请提交 issue 到我们的文档的仓库 我们会进行及时修改

ACE-Step 相关资源