本文作者:admin

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用摘要: 追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用此外,虽然生成是完全免费的,但生成视频需要排队,智谱AI提供了两种加速排队的订阅方式,包...

责任编辑:李水清

所有内容均可在线获取并且免费!

智东西7月26日报道,今天凌晨,大咖独角兽智扑AI正式发布视频生成工具青影,可支持将文字、图片生成6秒视频,即日起在PC、手机APP、小程序上向全体C端用户免费开放。

我们先来看看结果,下面是官方给出的几个文字和图片视频示例,涵盖了肖像、动物、3D 卡通等场景:

从Demo来看,虽然清晰阴影生成效果相比Sora等还有提升空间,但整体来看流畅度和运动幅度都很不错。无论是人物表情、动作、光影变化,还是镜头移动,都没有明显的卡顿和突兀,运动幅度控制得也恰到好处,不会显得像PPT,也不会显得太浮夸。

另外,虽然生成完全免费,但是生成视频需要排队,智扑AI提供两种订阅方式加速排队,分别是5元一天、199元一年。

青影API也于今日上线,企业和开发者可以通过调用API来体验和使用青影的文字转视频、图片转视频能力,据称这是国内首个上线的视频生成API。

据智普AI CEO张鹏介绍,青影基于自研的能够融合文本、时间、空间三个维度的基础视频生成模型构建,模型参考Sora算法设计,采用DiT架构,推理速度较上一代模型提升6倍。

智扑AI成立于2019年6月,源于清华大学计算机系知识工程实验室,专注于研发新一代认知智能大模型。智扑AI一直对标全模型产品线,相继研发出包括文本、代码、图像、Agent等自研模型和产品矩阵。此次基于此发布的青影,为其大模型矩阵又增添了一层模态。

值得一提的是,这也是国内首次有语言模型公司起家的大型模型独角兽推出视频生成产品。此前,这一赛道主要由字节跳动、快手等短视频巨头,以及爱诗科技、圣书科技等专注于视频生成模型的初创公司占据。

青影具体有哪些特点?它的底层模型在哪些方面进行了创新?具体效果如何?智东西第一时间进行了测试,发现了以下几点:

1.简短的提示词更有效,在复杂的指令下会丢失细节。

2、人的手仍是重灾区,容易出现屏幕闪烁。

3.生成速度很快,但是包括排队在内等待时间还是要1-2分钟。

4.与图像生成的视频相比,文本生成的视频更稳定。

当然,有限的经验不可能面面俱到,感兴趣的读者欢迎在评论区分享自己的经验和新发现~

1. 半分钟生成6秒视频,指令复杂,内容连贯

青影主要有四大特点:生成速度快、复杂指令遵循能力强、内容一致性高、屏调度范围大。

首先在生成速度上,青影AI据称能在30秒内生成一段帧率16fps、分辨率1440*960的6秒视频。

▲实时演示视频生成(动画图像加速)

其次,在复杂指令遵从能力方面,智扑AI研发了自身的视频理解模型,针对视频数据生成高一致性的文本描述,进而构建大量高质量的视频-文本对,从而提高指令遵从性。

▲复杂指令演示

青影的第三个特点是内容的一致性,能够较好的还原物理世界的一些运动过程。

比如以这幅我们耳熟能详的杜甫画作为基础,清影让杜甫不仅动了起来,还非常自然流畅地拿起了一杯咖啡。

▲内容连贯性

最后,在画面调度方面,青影采用文本、时间、空间融合的架构,生成遵循特定运动规则的动态视频。

智扑AI自豪地发布了数十个demo,其中一些效果令人惊叹,比如这个:两朵奇怪的透明塑料花生长在木头上。

“透明塑料花”在现实生活中是不存在的,青英的想象力与审美观在此案例中得以彰显。

再比如是这样的:彼得兔开着车,漫步在路上,脸上充满幸福和欢乐的表情,一幅全景式的画面。

青鹰所画兔子表情丰富,五官没有任何扭曲,前景和背景都增加了景深。

青影也把握住了肖像画的案例,比如这个提示:油画风格,美丽女孩的侧面,光线透过树木照射形成斑驳的光影,柔和的光线落在她的脸上。

整个画面光影对比强烈,但却丢失了“油画感”、“斑驳光影”等细节。

2. 实际测试惊喜不断,失望不断,付费加速有点没用

虽然官方的demo不错,但是青影好不好用还是要自己试一下才知道。打开青影网页,可以看到有两个功能:文字转视频、图片转视频。

▲青英网页

在 Video中,我可以选择视频风格,包括卡通3D、老黑白照片、油画等;还可以选择情感氛围正版管家婆资料大全,包括温馨融洽、热闹热闹、扣人心弦、苍凉落寞等;镜头运动方式包括水平、垂直、放大、缩小。

在图片生成的视频中,我可以为图片添加文字说明,如果不知道写什么,可以留空或者让系统随机生成一个提示词。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

▲两种模式

首先尝试了一组动物场景的提示词,第一个是:一只蓝猫在猫爬架上,吃着主人递过来的芝士汉堡,情感氛围温馨而融洽。

可以看出青影准确理解了提示词,整体效果还是很不错的,提示词里的细节,包括猫的品种,汉堡的种类,还有“递过来”这个动作都表达得比较准确,人手也没有失误。

第二个提示是:一只橘猫把老鼠从桌子上推下去追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用,情感氛围活跃、生动。

青鹰这次的表现很一般,不仅老鼠身上不知为何绑了一只小老鼠,而且“推掉桌子”这个动作也完全没有体现。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

前两个提示都是现实场景,而第三个提示则带了点“魔幻现实主义”色彩:一只白猫开着车,穿过车水马龙的城市街道,背景是高楼大厦和行人阐释香港图库免费资料大全看图区,感情氛围紧张刺激。

青影对于这个提示词的理解和呈现还是比较准确的,背景动态场景的运动幅度和一致性也比较高,但还是缺少稳定性,画面会抖动。

第二组提示,我尝试了人物场景。首先,我们来尝试经典的吃面场景:一个男人坐在桌边吃面,情绪氛围悲伤又孤独。

这道经典谜题青影的表现尚可,乍一看并没有什么问题。但仔细一看,这名男子是用勺子吃面条的,而且面条的形状有些僵硬。

第二个提示是:一个女孩坐在米色沙发上,专心致志地钩织一顶淡蓝色的帽子,情感氛围温馨、和谐。

我给这个提示添加了色彩细节,阴影表达得非常准确。女孩的钩针动作也相当逼真,但她的手很“野蛮”。

第三个提示词是:绝美的水彩瞳孔特写,写实的风格新澳精准资料免费提供,超清晰,感情氛围凄凉落寞。

青影生成的视频基本符合我的预期,但在特写镜头中,人物的皮肤和头发看起来有些“油腻”。

最后我尝试让清影自己生成提示,结果直接写了这么长一段话:下雨天的咖啡馆,以窗户为媒介,拍摄一家英式咖啡馆的内部,清晰地拍摄咖啡馆的内部,捕捉咖啡馆内部温馨的氛围,再将镜头拉近,聚焦打在窗户上的雨滴。在细节方面,注意捕捉顾客的交谈和笑容,以及雨水在窗户上形成的光影效果,营造舒适、平和的氛围。

可惜青影给自己挖了个坑,做出来的视频根本不能叫视频,也很难叫GIF,画面只是平移放大,并不能体现出提示词里的大部分内容。

体验完文胜视频后,我又尝试了图胜视频。

首先,上传图片的时候,青影会提醒我裁剪图片,而且只能裁剪成固定比例的横图,有一定的局限性。上传图片后,我输入了提示词:风中摇曳的花瓣。

生成的效果比较准确,但是提示词本身并不难。

然后我上传了一张静物照片,这次没有输入任何提示词,看看青影如何自由地表达自己。

此幅画中有许多独立的物体,清影并没有让它们整体动起来,而是给每个“小球”添加了不同的动态,使得整体画面更加生动活泼。

对于第三张图片,我上传了一张戴着墨镜的男人的肖像,提示是:男孩,摘下你的墨镜。

这个提示词难度很大,涉及到“无中生有”的部分。青影成功完成了“摘掉墨镜”的动作,不过墨镜是摘掉了,但并没有完全摘掉,墨镜还挂在脸上。视频的后半段,人体也出现了不自然的扭曲。

如果我们不要求它凭空生成一张脸会怎么样?我上传了一张拿着相机的男人的照片,提示改为:男孩转身面对镜头。

结果青影这次虽然创造了一张人脸,但是没有了眼白,还是有些吓人……不过如果忽略脸部的话,这次生成的效果转动幅度更大,人物的头发在风中飘扬,就连手中的装备都发生了变化,手看起来有些不自然。

经过一番体验,青影生成的视频效果有些令我惊叹,比如第一个例子小猫吃汉堡,文字理解非常准确;有些则严重失败,比如咖啡馆和橘猫的例子,错误比较大。

总体来说,青影在生成速度上确实更快,虽然和宣传的30秒差了点,但大概1分钟就能生成一段视频。至于运动幅度和语义理解,就看运气了,不过这也是所有视频生成工具的通病。相比市面上其他公开的工具,青影在生成时间和清晰度上还有提升的空间。不支持屏幕比例的选择也是个遗憾。

值得一提的是,目前青影的视频生成完全免费,无需会员订阅,也没有数量限制。不过在排队生成过程中,青影提醒我可以加速。点击加速按钮可以看到它提供了两种订阅方式:5元一天,或者199元一年。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

▲加快排队

不得不说这个价格还是很实惠的,但是为什么加速之后我的排队时间一点都没减少呢?唯一的变化就是从“在排队”变成了“在加速队列”。可能是费用太便宜了,大家加速就相当于没加速吧(doge)。

3.自研端到端视频模型,首个API同步上线

青影基于智普AI自研的底层模型构建,具有内容一致性、可控性强的特点。

在内容连贯性方面,智扑AI开发了一种高效的三维变分自编码器结构,即3D VAE,可以将原始视频空间压缩到2%大小,大大降低了视频传播生成模型的训练成本和难度。结合3D RoPE(旋转位置编码)模块,有利于在时间维度上捕捉帧间关系,建立食物中的长程依赖关系。

可控性方面,智扑AI开发了端到端的视频理解模型,针对海量视频数据生成细致的、内容贴切的描述文本,从而增强模型的文本理解和指令遵循能力,使得生成的视频更加符合用户输入,能够理解极长复杂的指令。

在模型结构上,采用文本、时间、空间三个维度融合的架构,摒弃传统的交叉注意模块,将文本和视频两种不同模态的空间对齐,以实现更好的模态交互。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

▲产品特点

张鹏表示,在研发过程中,智扑AI再次验证了Law在视频生成上的有效性和可靠性。未来,团队还将不断扩大数据规模和模型规模,同时寻找更多突破性和创新性的模型架构。

智浦AI再次实现全车型产品线对标。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

▲智浦AI对标全车型产品线

在算力方面,青影在北京亦庄AI公共算力平台上进行训练,在数据方面,智普AI与华策影视等进行了合作。

张鹏表示,视频生成模型虽然才刚刚起步,但已经收到很多行业和客户的需求,涉及电商商品推广、影视特效等领域。

从今天开始,青影AI还在智浦AI大模型开放平台上线API,企业和开发者可以通过调用API来体验和使用文字生成和图片生成视频的能力,据说这也是国内首个上线的视频生成API。

随着青影能力的加入,智普AI旗下AI助手青眼App在功能全面性上又迈进了一步,涵盖对话、原始图像、代码、代理和视频等。

智扑AI还准备了一项功能——视频生成视频的能力。但准确的说,这相当于人工生成视频的能力:基于智扑AI近期开源的视频理解模型——Video,用户可以上传视频并提取详细的文字描述,然后将文字输入到青影中,实现“视频生成视频”的效果。

追溯(管家婆精准一肖一码100%l?)智谱 AI 正式发布视频生成工具清影,全量上线免费可用

▲视频制作视频

结论:又有一位实力强劲的玩家进入AI视频生成游戏

Sora 发布后,AI 视频代拍迎来“第二春”,无论是技术和产品的迭代,还是资本市场的关注度,都达到了新的高度。仅本周就有快手宣布全球首发、爱视科技发布第二代模型、智扑 AI 今天入局等重磅消息。(视频代拍大战 2.0!大厂争抢底层模型,创业公司 5 个月吸金 44 亿)

与以往的文本、图像模型赛道不同,国内长期以来处于追赶海外公司进度的状态。在视频生成领域,国内大公司和创业公司在短短几个月内就实现了弯道超车,不仅打磨出了优质的底层模型,还将其公开甚至免费,这给尚处于期货产品的 Sora 上了教训。

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享

发表评论

快捷回复:

评论列表 (暂无评论,47人围观)参与讨论

还没有评论,来说两句吧...