通义万相视频模型，再度迎来史诗级升级！处理复杂运动、还原真实物理规律等方面令人惊叹，甚至业界首创了汉字视频生成。现在，通义万相直接以84.70%总分击败了一众顶尖模型，登顶VBench榜首。
Sora、Veo 2接连发布之后，AI视频生成的战场又热闹了起来。
就在昨天，通义万相视频生成模型迎来了重磅升级！
他们一口气推出了两个版本：注重高效的2.1极速版、追求卓越表现的2.1专业版。
刚一上线，就异常火爆，等待时间甚至一度达到了1小时
此次，全面升级的模型不仅在架构上取得创新，更是以84.70%总分登顶权威评测榜单VBench榜首。
通义万相2.1的性能一举超越了Gen-3、CausVid等全球顶尖模型。
在实用性方面，通义万相2.1也得到了显著的提升，尤其是在处理复杂运动、还原真实物理规律、提升影视质感、优化指令遵循等方面。
以下都是我们实测出的Demos，就说够不够拍电影大片吧！
更令人惊叹的是，它还在业界首次实现了中文文字视频生成，让AI视频文字创作再无门槛。
以红色新年宣纸为背景，出现一滴水墨，晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然，随着晕染的进行，水墨在纸上呈现「福」字，墨色从深到浅过渡，呈现出独特的东方韵味。背景高级简洁，杂志摄影感。
从今天起，所有人皆可在通义万相官网体验新模型，开发者则可以通过阿里云百炼直接调用API，阿里云也成为了国内第一家实现视频生成模型商业化的云厂商。
那么，通义万相2.1究竟给我们带来了哪些惊喜？
我们经过一番实测后，总结出了5大要点。
1. 首创中文文字生成
通常来说，文字生成是AI视频模型进化的一大痛点。
我们已经看到Sora、Gen-3等模型，已经能够生成很好的英文字母效果，不过截至目前，从未有一个模型能攻克汉字的生成难题。
为什么之前的AI视频生成工具，都在「逃避」中文文字生成这个难题？
这是因为难点在于，中文文字的字体结构比英文更复杂，而且需要考虑笔画的层次感。在布局方面，中文字体更讲究，做成动态效果时对美感要求更高。
而阿里通义万相，便是首个中文文字视频生成的模型。从此，AI视频生成迈入「中文时代」！
这一切，只需要你动动手指，输入简单的文字提示就够了。
天空中飘着云朵，云朵呈现「新年快乐」的字样，微风吹过，云朵随着风轻轻飘动。
水彩透叠插画风格，两只不同颜色的可爱小猫咪手举着一条超大的鱼，从右边走到左边。它们分别穿着粉色和蓝色的小背心，眼睛圆圆的，表情呆萌。充满童趣，笔触淡雅温馨，简笔画风格。纯白背景上逐渐显示出来几个字体，写着：「摸鱼一天 快乐无边」。
一只柯基坐在桌前冥想，背后一个「静」字非常应景。
一只柯基面前摆放着一只小巧的木鱼，仿佛在进行冥想仪式，背景出现字样「静」。
2. 更稳定的复杂运动生成
对于大多数AI视频模型来说，无法逃脱「体操」魔咒。有人称，这是AI视频最新的「图灵测试」。
你会经常看到，AI体操视频生成中，扭曲的肢体、不协调的动作满屏皆是。
这仅是复杂肢体运动的一种，因为涉及到精细细节和高水平动作协调，成为了AI视频生成的一项重要评判标准。
生成一个人物复杂运动，对于AI来说就像是在解一道物理难题——
它不仅要做到身体各个部位精准配合，让四肢保持协调，还要考虑重力、人体运动特点、平衡感等各种细节。
在最新升级中，通义万相在多种场景下展示了惊人的「运动天赋」。
滑冰、游泳、跳水这些极易出错的名场面，万相2.1也通通Hold住，没有出现任何诡异的肢体动作，和不符合物理规律的场景。
平拍一位女性花样滑冰运动员在冰场上进行表演的全景。她穿着紫色的滑冰服，脚踩白色的滑冰鞋，正在进行一个旋转动作。她的手臂张开，身体向后倾斜，展现了她的技巧和优雅。
在泳池中，一名男子正在奋力向前游动。近景俯拍镜头下，他穿着黑色泳衣，戴着白色泳帽和黑色泳镜，正在水中划动双臂。他的头部部分被泳帽和泳镜遮挡，只露出嘴巴和鼻子。他的手臂在水中划动，产生了一系列的水花和气泡。随着他的动作，水面上出现了涟漪，水花四溅。背景是蓝色的泳池。
就看这个跳水动作，完全就是一个专业级选手的样子。肌肉的精准控制、溅起的水花，都非常符合自然规律。
一名男子在跳台上做专业跳水动作。全景平拍镜头中，他穿着红色泳裤，身体呈倒立状态，双臂伸展，双腿并拢。镜头下移，他跳入水中，溅起水花。背景中是蓝色的泳池。
特写镜头下，女孩以手指轻触红唇，然后开怀大笑。这么近的怼脸特写，表情肌的走向和分布都十分自然，脸部纹路和嘴角笑起的弧线，也逼真似真人。
特写镜头下，一位美女面容精致，她先是以手指轻触红唇，微微抿嘴，眼神中透露出一丝俏皮。紧接着，她毫无保留地开怀大笑，笑容如同绽放的花朵，美丽动人，眼角弯成了月牙状，展现出无比的快乐与感染力。
3. 更灵活的运镜控制
同一个场景下的视频，为什么专业人士拍出来就是不一样？某种程度上讲，秘诀在于「运镜」。
那么，对于AI来说，教它运镜就相当于在教机器人当导演。
它需要理解跟随拍摄节奏、快慢推进速度，还要保持协调性的问题，比如镜头移动时，主体不能丢失；运镜速度变化要自然，不能忽快忽慢。
更重要的是，AI还得有艺术感，运镜效果要符合视觉习惯，动态美感要恰到好处。
在通义万相2.1版本中，AI展现出了专业级的运镜效果。
穿着禅衣的小狐狸，在360度运镜下欢快跳舞，这不，梦幻般的效果一下子就来了。
穿着禅意风服饰的可爱狐狸在林间空地上欢快地跳舞，身上的衣物随风轻扬。狐狸有着蓬松的尾巴和灵动的眼神，嘴角带着微笑，仿佛在享受自然的每一刻。背景是茂密的竹林，阳光透过竹叶洒下斑驳光影。画面采用旋转拍摄，营造出梦幻般的动感效果。整体风格清新自然，充满东方韵味。近景动态特写。
此外，新模型还能自动根据场景需求，智能调整运镜速度，完美把控了镜头的节奏。
海王在暴风雨中驾驭巨浪前行，这种级别的运镜绝对经得起考验，出现在大荧幕上也毫不违和。
暴风雨中的海面，海王驾驭巨浪前行，肌肉线条，灰暗天空，戏剧性照明，动态镜头，粗犷，高清，动漫风格
实验室中女医生精心设计的特写镜头，细腻的表情刻画，以及背后灯光、实验器材等多种元素碰撞，让整个角色立即具备了丰富的层次感。
富有电影感的镜头捕捉了一位身着暗黄色生化防护服的女医生，实验室惨白的荧光灯将她的身影笼罩其中。镜头缓缓推进她的面部特写，细腻的横向推移凸显出她眉宇间深深刻画的忧思与焦虑。她专注地俯身于实验台前，目不转睛地透过显微镜观察，手套包裹的双手正谨慎地微调着焦距。整个场景笼罩在压抑的色调之中，防护服呈现出令人不安的黄色，与实验室冰冷的不锈钢器械相互映衬，无声地诉说着事态的严峻和未知的威胁。景深精确控制下，镜头对准她眼中流露的恐惧，完美传达出她肩负的重大压力与责任。
下面这个镜头中，穿过一条两盘种满树木的郊区住宅街道，给人一种实时拍摄的感觉。
A fast-tracking shot down an suburban residential street lined with trees. Daytime with a clear blue sky. Saturated colors, high contrast
4. 真实的物理规律模拟
AI视频模型不理解物理世界，一直以来饱受诟病。
比如，Sora不仅会生成8条腿的蚂蚁，而且眼瞧着手都要被切断了，也切不开西红柿, 而通义万相2.1切西红柿就像发生在现实生活中一样自然真实。
这一次，通义万相在物理规律理解上，得到显著提升。通过对现实世界动态和细节深入认知，就能模拟出真实感十足的视频，避免「一眼假」情况的出现。
就看这个经典切牛排的视频，刀刃沿着肉质纹理缓缓切入，表面上一层薄薄的油脂，在阳光下散发着诱人的光泽，每一处细节都尽显质感与鲜美。
在餐厅里，一个人正在切一块热气腾腾的牛排。在特写俯拍下，这个人右手拿着一把锋利的刀，将刀放在牛排上，然后沿着牛排中心切开。这个人手上涂着白色指甲油，背景是虚化的，有一个白色的盘子，里面放着黄色的食物，还有一张棕色的桌子。
它具备更强大的概念组合能力，能够准确理解和整合元素级的概念，使其在生成内容时更加智能。
比如，柯基+拳击，会碰撞出什么呢？
AI生成的柯基打斗的画面，真给人一种人类拳击的现场感。
两只柯基狗在擂台中央进行拳击比赛。左边的狗戴着黑色拳套，右边的狗戴着红色拳套。平拍镜头下，两只狗都穿着拳击短裤，身体肌肉线条明显。它们互相挥动拳头，进行攻防转换。整个场景在固定视角下拍摄，没有明显的运镜变化。
AI大牛Karpathy最爱考验AI视频的难题，就是「水獭在飞机上用wifi」。这道题，万相2.1完美做出。
5. 高级质感、多种风格、多长宽比
更值得一提的是，万相2.1能够生成「电影级」画质的视频。
同时，它还能支持各类艺术风格，比如卡通、电影色、3D风格、油画、古典等等。
不论是哥特式电影风格，还是中国古典宫廷风格，AI将其特点呈现得淋漓尽致。
哥特式电影风格，亚当斯骑在一匹黑色骏马上，马蹄轻踏在古老的石板路上。她身穿黑色长裙，头戴宽边帽，眼神冷峻，嘴角微扬，透出一丝神秘。背景是阴暗的古堡和茂密的森林，天空中飘着乌云。镜头晃动，营造出一种不安与紧张的氛围。近景动态骑马场景。
这个中国古典宫廷风格的画面，镜头由群臣向前推进，聚焦在身披龙袍的皇帝身上，好像正在上映的一部古装剧。
中国古典宫廷风格，古代皇宫宫殿上正在进行皇帝的登基大典。群臣身着华丽朝服，表情肃穆，排列整齐。镜头从群臣视角出发快速向前推进，锁定在身穿龙袍、头戴皇冠的皇帝身影上。皇帝面容威严，眼神坚定，缓缓步入大殿。背景是金碧辉煌的大殿，雕梁画栋，气势恢宏。画面带有浓厚的皇家氛围，近景特写与中景结合，快速推进和跟随拍摄。
养蜂人手中的蜂蜜罐在阳光中折射出温暖的光晕，背后的向日葵与乡村老宅相映成趣，构筑出一幅充满岁月与质感的画面。
The camera floats gently through rows of pastel-painted wooden beehives, buzzing honeybees gliding in and out of frame. The motion settles on the refined farmer standing at the center, his pristine white beekeeping suit gleaming in the golden afternoon light. He lifts a jar of honey, tilting it slightly to catch the light. Behind him, tall sunflowers sway rhythmically in the breeze, their petals glowing in the warm sunlight. The camera tilts upward to reveal a retro farmhouse.
大文豪李白的「举头望明月，低头思故乡」，AI直接把氛围感拉满。
古风画面，一位古人抬头望着月亮，缓缓低头，眼神中流露出深深的思乡之情。
对于词穷的创意者来说，通义万相「智能体扩写」功能非常友好。比如， 我想生成一个「超快放大蒲公英，展现宏观梦幻般的抽象世界」。
若想要细节更丰富的描述，直接交给AI就好了。它会自动生成一段文案，可以直接复用，也可以二次编辑修改。
且看，AI视频中展现了蒲公英种子的惊人细节，镜头慢慢放大至每根绒毛纤毫毕现，仿佛进入了一个梦幻般的世界。
此外，万相2.1还能支持5种不同的长宽比——1:1, 3:4, 4:3, 16:9, 9:16，恰好可以匹配电视、电脑、手机等不同终端设备。
核心架构创新
那么，到底是什么让通义万相，能在激烈AI视频生成竞争中脱颖而出？
它又藏着哪些让人眼前一亮的「黑科技」？
接下来，让我们逐一分解此次2.1版本的技术创新突破点。
自研VAE与DiT双重突破
通过采用自研的高效VAE和DiT架构，阿里团队在时空上下文关系建模方面取得重大突破。
模型基于线性噪声轨迹的Flow Matching方案展开了深度设计，同时验证了Scaling Law在视频生成任务中的有效性。
通义万相2.1视频生成架构图
在视频VAE层面，通过结合缓存机制和因果卷积，团队提出了一个极具创新性的视频编码解决方案。
通过将视频拆分为多个若干块（Chunk）并缓存中间特征，替代长视频的E2E编端到端解码过程。显存的使用仅与Chunk大小相关，与原始视频长度无关。
由此，这一关键技术能够支持无限长1080P视频的高效编解码，为任意时长视频训练开辟新途径。
如下图所示，展示了不同VAE模型的计算效率和视频压缩重构指标的结果。
值得一提的是，通义万相VAE在较小的模型参数规模下，取得了业内领先的视频压缩重构质量。
通义万相2.1视频VAE和其他方法的结果对比
DiT架构的设计围绕两个核心目标展开：实现强大的时空建模能力，同时保持高效的训练过程。
具体创新包括：
· 时空全注意机制
为了提高时空关系建模能力，通义万相团队采用了「时空全注意机制」，让模型能够更准确地模拟现实世界的复杂动态。
· 参数共享机制
团队引入了「参数共享机制」，不仅提升了模型性能，还有效降低了训练成本。
· 优化文本嵌入
针对文本嵌入进行了性能优化，在提供更优的文本可控性的同时，还降低了计算需求。
得益于这些创新，使得新模型在相同计算成本下，凸显出收敛的优越性，并更易实现Scaling Law的验证。
超长序列训练和推理
通过结合全新通义万相模型 Workload 的特点和训练集群的硬件性能，团队制定了训练的分布式、显存优化的策略。
这一策略在保证模型迭代时间前提下，优化训练性能，在业界率先实现了100万Tokens的高效训练。
在分布式训练策略上，团队开发了创新的4D并行策略，结合了DP、FSDP、RingAttention、Ulysses混合并行，显著提升了训练性能和分布式扩展性。
通义万相4D并行分布式训练策略
在显存优化上，采用了分层显存优化策略优化Activation显存，解决了显存碎片问题。
在计算优化上，使用FlashAttention3进行时空全注意力计算，并结合训练集群在不同尺寸上的计算性能，选择合适的CP策略进行切分。
同时，针对一些关键模块，去除计算冗余，使用高效Kernel实现，降低访存开销，提升了计算效率。
在文件系统优化上，结合了阿里云训练集群的高性能文件系统，采用分片Save/Load方式，提升了读写性能。
在模型训练过程中，通过错峰内存使用方案，能够解决多种OOM问题，比如由Dataloader Prefetch 、CPU Offloading 和 Save Checkpoint所引起的问题。
在训练稳定性方面，借助于阿里云训练集群的智能化调度、慢机检测，以及自愈能力，能在训练过程中实现自动识别故障节点并快速重启任务。
规模化数据构建管线与模型自动化评估机制
规模化的高质量数据是大型模型训练的基础，而有效的模型评估，则指引着大模型训练的方向。
为此，团队建立了一套完整的自动化数据构建系统。
该管线在视觉质量、运动质量等方面与人类偏好分布高度一致，能够自动构建高质量的视频数据，同时还具备多样化、分布均衡等特点。
针对模型评估，团队还开发了覆盖多维的自动化评估系统，涵盖美学评分、运动分析和指令遵循等20多个维度。
与此同时，训练出专业的打分器，以对齐人类偏好，通过评估反馈加速模型的迭代优化。
AI视频生成下一个里程碑
去年12月，OpenAI和谷歌相继放出Sora、Veo 2模型，让视频生成领域的热度再一次升温。
从创业新秀到科技巨头，都希望在这场技术革新中寻找自己的位置。
但是相较于文本的生成，制作出令人信服的AI视频，确实是一个更具挑战性的命题。
Sora正式上线那天，奥特曼曾表示，「它就像视频领域的GPT-1，现在还处于初期阶段」。
若要从GPT-1通往GPT-3时刻，还需要在角色一致性、物理规律理解、文本指令精准控制等方面取得技术突破。
当AI真正打破现实创作的局限，赋予创意工作者前所未有的想象，新一轮的行业变革必将随之而来。
此次，通义万相2.1取得重大突破，让我们有理由相信，AI视频的GPT-3时刻正加速到来。
参考资料：
https://tongyi.aliyun.com/wanxiang/videoCreation
文章来自于“新智元”，作者“编辑部 HYZ”。
))
