正在制作一款 ComfyUI 的替代品

[sunxfancy]

大家好，

年初的时候，我在使用 ComfyUI 在做文生视频的工作流，被其中巨量的结点和连线震撼到了。基于结点的工作流在数据少时非常方便，但却有两个缺点：

1. 抽象能力差，重复的工作只能拷贝修改
2. 不容易和其他工作流整合

这使得大型复杂的工作流维护非常困难，甚至到了哪怕是专业人士也很难修改的地步。并且还因为结点安装难，版本难以管理等问题造成使用不易。

为了一劳永逸地解决这些存在的问题，我计划开发一款由脚本控制的 stable diffusion 工具，实现以下特性：

1. 根据脚本动态生成 UI 界面，实现模型推理，进行生图、生成视频、生成 3D 模型等工作
2. 高扩展的 UI 系统、模型系统，可以通过插件系统新增 UI 支持、模型支持
3. 脚本安全可分享，无法调用潜在危险 api
4. 更加安全的版本管理

现在开发了一个 MVP 为项目做概念验证，如果有感兴趣的朋友欢迎了解试用、参与开发。 也欢迎大家多提改进建议。

项目仓库：github.com/sunxfancy/SSUI 下载链接： https://github.com/sunxfancy/SSUI/releases/tag/v0.1-alpha （仅限 Windows NVIDIA 显卡） 目前想寻找三位同伴组建一个小团队，如果你有一定的业余时间，并愿意参与此开源项目，请发邮件报名： [email protected]

[cherryas]

你知道 comfyui 开发团队多少人吗

[emojiiii]

额，你只看到了 Comfyui 的前端，但其实 Comfyui 的服务端更复杂...
这个我个人感觉还不如 AI 动态生成工作流，或者基于 Comfyui 的后端，自己做一点工作流上面的简化?

[swordtooth]

比较担心做完之后还是没人用😑

[sunxfancy]

@swordtooth 能问下你的想法吗？你愿意用一个基于代码的工作流吗？脚本提供了任意编写 python 函数的能力，但限制了一些危险的系统 API 调用这样的。

[sunxfancy]

@emojiiii ComfyUI 的后端 API 不太符合我的要求，代码质量有点差，目前我用的 InvokeAI 的部分后端代码改成的推理库。。。

[ChoiYoonJung]

@sunxfancy 说实话如果足够好用我是愿意用的，打个比方，类似我更倾向于用绘图语言(plantuml 等)而不是拖拽的绘图工具(draw.io 等)，确实更好维护一些

[swordtooth]

@sunxfancy #4 comfyui 我就没用下去，就是因为太复杂了。换成 python 会好点吗？逻辑性会更强一点，但是也一些非程序员或者不会 python 的程序员也用不下去。

---

只说我自己的话，我愿意用基于代码的工作流，如果是我擅长的语言就更好了（ JavaScript ）。
担心的是推广，我也有个开源项目，但是推广不开。

[sunxfancy]

@swordtooth 其实我的想法是，既然 ComfyUI 调整 workflow 都如此困难，那索性就不调整了，由脚本开发者做好可以灵活配置的工作流，扩展性多强，就看脚本的设计者提供了多少配置选项这样，用户只需要打开生图就好了。。

[ybby]

@cherryas 想问一下有多少人

[sunxfancy]

@swordtooth 不过你说的也很有道理，可能会导致一些想修改工作流但不会 python 的用户做不到一些修改。至于推广，确实是个大问题，不过还不是我现在需要头疼的事，哈哈。如果你有想推广的项目，不妨也发到 V2EX 上让我们看看

[sunxfancy]

@ChoiYoonJung 哈哈，没错我也是一样。

[swordtooth]

@sunxfancy #8 嗯，最近比较闲也想找点新鲜事务，如果需要前端，可以参与进来

[2MO]

😅怎么总有人一上来就先泼冷水啊，好的开源项目自然会有更多人来一起维护的

[hugsky]

生态别忽略了

[hhjuteman]

其实想要的是一个 类似虚幻里面 c++ 和 蓝图共生的方式。
一些负载的逻辑节点模块能够直接用代码实现，蓝图可以继承代码，蓝图里面只需要简单的逻辑修修改改就行。
现在 comfyui 确实是，连来连去最后不知道连到哪里了。要是能有函数，过程式的程序模型打底就好了

[sunxfancy]

@hhjuteman 你说的太对了，我这两天也一直在想怎么把脚本跟类似蓝图的这种结点系统结合起来，我目前的一点思路是，允许函数的一个参数传入一个结点表示的 workflow ，然后把这个 workflow 转换成 lambda 函数的样子。嘛不过还有很多细节没有设计好，暂时就只是个想法。

[swordtooth]

@sunxfancy #10 不过倒是有个现成的例子就是油猴，用别人写好的脚本，好用的话确实不需要修改。

哈哈已经发了，确实增了点用户量。

[sunxfancy]

@swordtooth 那很欢迎呀，我现在想组建一个小团队，除了我之外，增加两名前端和一名后端。前端技术栈主要是 yarn+react+typescript ，后端主要是 Python fastapi ，asyncio 这些。之后项目再成熟一些，可能再寻找其他做模型推理的合作者加入

[yplam]

实际上 UI 是 ComfyUI 最简单的部分，ComfyUI 的优势就是灵活，你不喜欢大量节点与连线可以直接自己写个大 node 把功能整合到一起；如果面向的是小白用户，也完全可以写个独立 UI ，后台调用 ComfyUI 工作流。

PS: 相对于前端后端这些，建议先评估一下是否有足够开发能力实现与 ComfyUI 类似的功能，举个例子: PuLID + Flux ，Wan 2.1 FP8

[sunxfancy]

@yplam 额，哈哈，我怎么感觉自己被当成了新手开发者 ：）

[Caitlyn]

用 comfyui 的都是能接受节点式工作流的。你这样人家完全可以用那个 webui

[sunxfancy]

@Caitlyn 这是个好问题，我想 ComfyUI 的一大优势是提供了可编程工作流，这使得用户可以定制化开发很多特别的生图、生视频的方案。我们同样提供了基于 python 脚本的可编程工作流，这是 webui 所不具备的。

[yplam]

@sunxfancy 无意冒犯，只是按你上面的技术栈描述感觉完全忽略了整个系统最核心最艰辛部分的开发（实际上我认为如果能很方便地直接用 Python 实现 ComfyUI 工作流，你 UI 直接用 Gradio 都会有很多人用）

[vimutt]

强烈建议开发，我觉得目前所有 sd 的工作方式都不是太完美的解决方案，webui 和 comfy 我更倾向于使用 comfy ，但是 comfy 确有版本管理不善的地方，而且模型库一旦积累下来动辄几个 T 的容量。大量废弃不用的模型也不易丢弃。模型存放目录也比较“野生”。不同人制作的工作流没有统一的标准，每次都要看一会才能看明白。建议优先以 flux wan 等相关模型和 lora 的支持。

[GobyHsu]

之前用过一阵子 comfy ui ，当时个人最大的痛点是，comfy ui 根本不支持类似虚幻蓝图的那种自定义宏、自定义函数的定义，导致我根本没办法封装某些已经很成熟的、不太会改动的逻辑，只能一遍遍复制…… 不知道现在是不是已经支持了

[sunxfancy]

@yplam 哈哈，是这样的，我描述的技术栈是我想寻找能开发这些的协作伙伴，有很多工作量很大的事情我无法独立完成，但我自己是有开发后端经验的，并且也知道怎么把这些相关 API 封装好供用户调用，你可以看一下项目的 90%都是 python 代码。我上面也说了，之后项目再成熟一些，可能再寻找其他做模型推理的合作者加入。我现在还没找，或者说也不太好找，有 SD 模型推理经验的开发者，如果你对这方面很了解，或者有知道有哪位朋友很了解并对该项目感兴趣，也欢迎跟我讲。

[gam2046]

你的目标，有可能是成为另一款 automatic1111 这样的 webui （代码版）

入坑难度会比 comfyui 更高，使用者首先得会你的胶水语言，其他还得了解所有其他开发者定义的接口、数据类型等等。

[monkeyWie]

你这个貌似只解决了工作流的编排，没有解决 ComfyUI 里节点的维护啊，这些打算怎么处理

[gaobh]

如果能做成 dify 这样的工作流一般人就会用了，我也不会用，我不是开发

[zlkent]

最近在研究 comfyui ，上手确实复杂，不管是节点的学习还是模型的安装，都很繁琐。哪怕用了第三方的管理工具，例如绘世启动器，也是很繁琐。
其实如果能解决这些问题，降低学习门槛，我觉得就够了

[hhjuteman]

@sunxfancy #16 我估计你这个项目还是很有搞头的，以后模型会越来越强大，对图片细节的描述精修会越来越多，工作流会越来越复杂，现在 comfyui 的工作模式确实不足以满足需求。
如果做成 UE5 那种流程就会觉得比较爽， 代码可以 upgrade 成蓝图，蓝图也可以作为一个节点类型，甚至还能继承。然后资源目录和代码蓝图节点完全分开，这样的工作流就比较舒服了。甚至像 UE 一样集成 plugin 系统，通过 plugin 可以定制 editor ，导入模块代码，导入模型资源等等。

[ChaosesIb]

@yplam #23 ComfyScript 就是基于 ComfyUI 后端的，可以调用任意 ComfyUI 节点： https://github.com/Chaoses-Ib/ComfyScript 不过目前只有几个固定组件，不支持动态生成 UI ，需要用 Gradio 或者 ipywidgets 之类的手搓。

[sunxfancy]

@vimutt 没错，我也是发现了 ComfyUI 生态中存在着很多问题，才决定从头设计这个项目，感谢你的建议，目前还没有支持视频，但如果开始支持，首要应该就是 wan 等几个热门的视频生成模型。

[sunxfancy]

@ChaosesIb 我想 ComfyScript 和这个项目有相似之处，但我更希望让脚本能安全的分享，而不是仅限于开发者使用，于是设计了沙盒机制，让 api 能安全的调用但操作系统相关 api 却被禁止，来避免网络分享代码带来的风险