发布日期：2026-04-18 11:50 点击次数：172
克雷西 发自 凹非寺量子位 | 公众号 QbitAI凯时体育游戏app平台
开源模子，如故得看杭州。
前脚发完QwQ-Max，就在夜深开源了视频生成模子Wan 2.1，14B参数径直屠榜VBench，什么Sora、Gen-3通通不是它的敌手。
从官方Demo中看，复杂畅通细节额外到位，5个东说念主全部跳hip-hop也能作念到动作同步
而且在静态图像生成中齐如故老浩劫问题的翰墨，当今也被万相给攻克了。
诚然了，14B的参数目说大不大，但在个东说念主消费级显卡上腹地部署如故比拟勉力的。
不外14B（提拔分辨率720P）以外，还有一个1.3B的小号版块（提拔分辨率480P），在一块4090上占用显存是8个多GB，破钞时辰4分21秒。
如斯不雅之，用12GB的4070，亦然能带动的
同期阿里还上线了两个图生视频模子，齐是14B但分为480P和720P两个版块。
四个模子完全是Apache 2.0，也即是免费商用。
而且官方也放出计算表，AI创作家们额外心爱的ComfyUI，之后也会集成。
视频生成模子会写字了
目下不错玩到Wan 2.1的路子有好多，最大概的依次是通过通义万相我方的平台。
在平台里，1.3B和14B版分内别叫作念极速版和专科版，每次破钞5个或3个“灵感值”（新用户默许有50个，还可通过签到等多种样子免费获取）。
不外由于热度简直太高，恭候的时辰也会比拟长，以至巧合会出现“过于火爆”的情况。
脱手才智稍强的话，不错凭据官方的教程通过HuggingFace、魔搭社区或者腹地等样子自行折腾，诚然还有一些第三方平台也进行了跟进。
网友们亦然玩出了多样花活，有东说念主用它生成了《我的全国》作风的故事场景。
再望望官决议例，从后果维度上看，Wan 2.1最大的亮点，可能即是提拔在视频中生成翰墨了。
而且不是生硬地加入，会凭据翰墨所处位置的材质进行合理变化，以及随载体一同畅通。
诚然相对翰墨来说更基础的动作细节，技艺也一样过关。
让两个东说念主跳一段华尔兹，屡次回身前后东说念主物形象还是保合手一致，布景的动掸也很当然。
而且也更懂物理规定，一支箭射出后，弓弦的抖动描摹得额外到位。
小狗切菜的历程当中，被切的西红柿也莫得出现畸变。
还有像东说念主从水面中探露面这种场景，不仅界面处处罚得很好，带起的水亦然从水流冉冉变化成水点。
另外对于图像生视频，也有网友进行了体验，没用任何请示词就得到了这么的日漫风动画：
除了后果自身，1.3B版块8个多GB的低显存占用，对个东说念主创作家来说亦然一个极好的音尘。
那么，Wan 2.1是若何完毕又好又省的呢？
立异3D变分自动编码器
和主流的视频生成技艺道路一样，Wan 2.1的主体收受了DiT（Diffusion Transformer）架构。
Wan行使T5编码器对输入的多话语文本进行编码，并在每个Transformer块内加入交叉珍观念机制，将文本镶嵌到模子架构中。
此外，Wan收受线性层和SiLU层来处罚输入时辰镶嵌并分辨展望六个调制参数。这么的MLP在所有Transformer块之间分享，每个块齐学习一组不同的偏差。
编码上，Wan收受了3D变分自动编码器，这是一种特地为视频生成缱绻的3D因果关连体绑缚构。
在卷积模块中完毕了特征缓存机制，并揣测了多种计策来改善时空压缩，减少悲痛使用情况并确保时辰因果关连。
具体来说，由于视频序列帧数遵照1+T输入相貌，因此Wan将视频分红1+T/4个块，与潜在特征的数目一致。
在处罚输入视频序列时，该模子收受逐块计策，其中每个编码妥协码操作仅处罚与单个潜在示意相对应的视频块。
基于时辰压缩比，每个处罚块中的帧数最多截至为4，从而有用驻扎GPU内存溢出。
本质罢了标明，在单块A800上，Wan的VAE的重建速率比现存的SOTA依次快2.5倍。
为了使模子扩张并提升练习遵循，Wan对编码器收受FSDP模子切分与盘曲文并行性（CP）相揣测的漫衍式计策；对于DiT模块则收受DP、FSDP、RingAttention、Ulysses夹杂的并行计策。
在推理阶段，为了使用多卡减少生成单个视频的蔓延，还需要通过CP来进行漫衍式加快。
在14B版块的Wan上，2D盘曲文并行和FSDP并行计策，让DiT达到了简直线性的加快。
I2V部分，Wan引入了寥落的要求图像行动第一帧来戒指视频合成，用CLIP图像编码器从要求图像中索取特征示意。
具体而言，要求图像沿时辰轴与零填充帧流畅，酿成引导帧。然后，这些引导帧由3D VAE压缩为要求潜在示意。
另外由于I2V DiT模子的输入通说念比T2V模子多，因此I2V版块中还使用了寥落的投影层，并用零值启动化。
之后阿里还会放出更详备的阐明，对技艺细节感风趣风趣的读者不错合手续存眷~
https://mp.weixin.qq.com/s/SRj06E-VCSpCiQZqE0gpHAGitHub：https://github.com/Wan-Video/Wan2.1Hugging Face：https://huggingface.co/Wan-AI魔搭社区：https://www.modelscope.cn/models/Wan-AI
上一篇：凯时体育游戏app平台我们喝一杯米酒吧！”老媪说：“等我去买一只烧鸡-尊龙凯龙时(中国)官方网站 登录入口
下一篇：尊龙凯时体育特别于用国度命根子作典质-尊龙凯龙时(中国)官方网站 登录入口