简介：随着带宽成本的降低和端上算力的提升，在直播、短视频中基于流的互动玩法也将越来越丰富；无论是基于人脸、手势、分割算法的智能化贴纸，还是结合算法的小游戏有了越来越好的舞台；业界短视频和直播主要针对的娱乐性的场景，更是将娱乐化的玩法用到了极致，例如抖音的仿flappy bird潜水艇小游戏，最气的漫画风格的拍摄玩法都引爆& } T o成为热点。抖音有PC的玩法生产工具EffectCreater生产工具和移动端的玩法社区特效君，已经打打造了一个支持数以万计的设计师的生态圈。
背景
随着带宽成本的降低和端上算力的提升，在直播、短视频中基于流的互动玩法也将越来越丰富；无论是基于人脸、手势、分割算法的智能化贴纸，还是结合j R C算法的小游戏有了越来越好的舞台；业界短视频和直播主要针对的娱乐性的场景，更是将娱乐化的玩法用到了极致，例如抖音的仿flappy bird潜水艇小游戏，最气的漫画风格的拍摄玩法都引爆成为热点。抖音有PC的玩法生产工具EffectCreater生产工具和移动端的玩法社区特效君，已经打打造W ; f U / J ~了一个支持数以万计的设计师的生态圈。
淘. z $ _ W @宝直播和短视频更偏向电商场景，我们也在探索这些玩法在直播和短视频中的应用，对提升直播间停留时长，丰富直播间和短视频内容；其中在视频流里面渲染和算法调用几乎都是Native的能力，如果用iOS和Android上分别实现，性能较A ~ ) ~ G G % D难把控，开发成1 ` B h m W t N本、上线和下线成本高，必须在活动前很长时间开发，然后随着版本^ - ; c . c 9 : h发版，活动结束后为了减少包大小; 6 a，又需要将代码删除，玩法也无法沉淀。
跨端方案成为唯一选择，为了提高运营、设计和玩法开发人员的制作效率，我们也必须有配套的素材生产工具和玩法编辑工具，解决素材制作-效果调: n R x = I G d试和预览-素材上传-素材投放全链路的问题，同时我们也希望玩法能结合权益产生更大价值。
跨平台渲染计算引擎
首l 1 F ^ I h先在底层渲染层，我们开发了基于C++的跨平台渲染计算# z # w $引擎RACE，除了为传统的视频前处理、画质增强、美颜美型美妆外，也提供了动画系统、玩法系统等游戏化的能力，在一个渲染引擎里面将媒体渲染和游戏化渲染结合起来。
我们采用了游戏行业经典的ECS系统，加以简化和改进，来解决渲染关系，渲染逻辑和玩法逻辑的组织。
玩法往往需0 4 . a C i要多个算法的配合，同E p , *时视频美颜、前处理等等也需要算法的能力，端上算力有限，合理的算力管理调度也必不可少，所以我们开发了PixelAIN | M c ~ : - c统一的算法计算框架，一个是用来进行算法生命周8 ( 1 = p e b期模型管理、还有算法调度，性能监控，~ k 7 R同时r 5 c i # T = U也提供了多平台的算法运行时统I * s z - & Z 一的基建设施，这样算Y I _ m y ! % ^法同学只要做好模型推理和算法实现，所有工程化的东西一站式解决。
脚本系统设计
在玩法方面，我们希望玩法可以动态下发，这就需要能用脚本去做玩法，我们希望将渲染计算的能力全部导出 2 d I = L ; q 到! G F * : M Y - /脚本系统里面，这样就可以在脚本里面利用底层强大的 B W - d {能力；同时玩法里面可以方便的调用业务接u + t y d口，做好玩法和业务的关联，业务逻辑主要在Weex和H5环境，同时我们也希望脚本能力能够使用在编辑器上，供跨端的前端框架如Electron 或Flutter直接调用，这样节省% } o i e了大量的编辑器开发工作量。
我们在不同JS引擎上封装了一层JS Wrapper层，抹平不同JS引擎的JSV 5 q 6 ^ 2 N +Binding问题，利用LLVM分析c++头文件，利用python工具编写JSBinding9 [ O G模板全自动化导出C++到JS的接口；对原有的渲染计算框没有做任何修改，这样在不需要玩法的情况下，不影响稳定性；
同时我们也导出了一份OpenGL到WebGL的接口，这样完全可以在JS侧能在视频流里面实现更丰 m { u , P富的渲染能力| c 7 r g a .。
MediaAI素材玩法编辑器
编辑器我们和前端和设计师合作，采用Elm N P $ D ~ &ectron/ G | ;方案，编辑器预览和编辑窗口的E p 3 W l显示核心由RAC7 $ pE渲染计算统一提供，Electron底层是NodeJS,NodeJS的JS引擎是v j H , WV8，只要将RACE0 | s X _ | n u p的JSBinding接口直接注入到V8里面，| 0 | C _ ?编辑就可以调用全部的RACE接口做窗口预览和编辑Y = f j，这样编辑器开发就节省了大量的开发工作量；
编辑器# B r ` Q g W 1 c中接入素材平台，运营和开发人员编辑好素Z D .材和玩法之z : [后，上传到素材管理平台，由素材管理平台进行分发，玩法类由有相应权益的主播或者运营设置好参数，如玩法对应的权益，下载玩法到推流端或者播放端，在端上R [ ]的JS环境中解析JS脚本，A } u I加载素材和玩法逻辑，渲染和计算部分底层统一由JS binding调用到跨平台的RACE引擎完成，完整链路如下：
编辑器既可以面向设计师制作+ s n = = s S各种人脸手势触发贴纸、w b ? L T @ &视频文字模板等等，又可以面向前端开发者制作S C 4 1 P H .互动小游戏：
部分落地
春节期间淘宝直播推r i 2 l b u = O !出的春节氛围：
直播后面比较乱，利用分割算法来个背景模糊，或者来个抱抱宝宝的小怪兽：
商家希望主播和达人能够拍摄短视频对商品进行介绍推广，主播和达人也能够从短视频的购买中分佣，对广大中小主播和达人而言，将商品寄送到每个可能会推广的主播和达人成本高昂，我们360度的拍& S ` u V V m B {摄一个商品，然后利用主播可以用手势控制缩放旋转商c ) 1 N a b . H品别介绍，这样就可以极低成本无接触式的生产商品推广短视频；
在直播连麦或者粉丝连麦中做个flappy bird的小游戏？或者主播在发放红包后，粉丝~ [ t m (通过玩游戏通过游戏得分才能领取红包，这样既有趣，又将粉丝留在直播间；
来点可爱又萌的美妆贴纸（原谅一个程序员全程友情出镜）；
后记
一个好的媒体互动产品能给业务带来更多的活力，但往往需要创意设计师、算法、底层和业务开发共同完成，端上算力有限，特别是在淘宝直播，手淘短视频等场景下，其他业务已经占用了很高的性能，需要p s { x X P 9 a灵活高效的架构，很好的性能，针对高中低端机的分级体验。在电商场景下，挖掘更& Y t ` A适合电商玩法的K B o互动能给业务/ K $ *带来更大 Y B X $ y q ] 2的价值，好玩T ? P _ d的互动再跟权益绑定， - L I 7 j p k 0为商家、主播提供更多更好玩的运营工具；在大促活动提供更有趣的玩法、日常活动里面提供更好的留存手段。
我们近% 0 l 5 M A | R期会新增很多的渲染能力和算法能力，打造好基础，这样才会更大的发挥大家的创意；我们近期也将举办一个素材设计比赛，激活大家的创造力，等配套工具更完善，我们也y P d会将* q ?工具开放给外部的商家、主; S @ d Y播等，打造更好玩的直播短视频生态。
作者：淘系技术
原文链接
本文为阿里云原创内容，未经允许不得转载。