
目前,越来越多的AI场景将AI能力直接部署在移动端,其优势主要在于实时、省流、以及安全性等方面。这些AI能力给移动端产品带来巨大的想象空间,促进了移动互联网下半场的繁荣。
在移动端智能化的背后,离不开移动开发者以及人工智能应用算法工程师。在实际业务开发中,算法工程师开发出来的AI算法, 终都要交付给移动开发者进行工程落地。这个落地的链条其实难度相当大,总结来说涉及以下两方面:
-一款没有任何AI实践的产品,不仅要进行模型的训练、预测引擎的集成,还需要根据不同模型进行数据的前后处理,图像的各种颜色空间、存储格式的转换,过程中可能会使用到Python、C/C++、iOS、Android等多种语言,接入门槛高。
-同时,接入AI能力的过程非常复杂,涉及引擎调用相关开发、前后处理相关开发、甚至并发相关处理,考虑到移植和复用情况,更需要兼容多种业务场景、进行模块化拆分,导致工作量成倍增加。
如果您也面临以上问题,那么LiteKit将是您 好的选择!话不多说,我们先看效果!
视频超分
(高清原视频截图) (低清超分后视频截图)
这个图片来自百度百家号推出壮美极境公益项目的视频。左边的图片为480p原始视频截图,右边的图片为360p视频通过超分能力重建的480p视频截图。通过左右视频截图对比,可以看到超分后的视频(右侧)在手机上可以达到与原始视频(左侧)几乎一致的视觉体验。
(超分前) (超分后)
左图是360p原始视频的单帧画面,右边将360p视频超分到480p的画面,对比来看画面放大后,画面不仅没有损失清晰度,而且变得更清楚。
所谓视频超分,通俗来说,就是将低像素的视频转成高像素,而且视频还能变得更清楚!
而对于手机场景来说,视频超分本身 重要的不仅仅是追求极致的超分效果,而是速度和效果的均衡。手机视频超分主要目标是在手机端上达到25FPS(手机端的视频通常是25FPS,通常来说24FPS+视觉上才不会感觉到卡顿)的前提下,对画面进行优化重建。
LiteKit提供的视频超分是业内首次开放的能够达到25FPS的视频超分解决方案。在手机移动应用项目中 常见的是360p视频。LiteKit支持从360p到480p场景下进行25FPS的超分。除此以外,LiteKit的视频超分能够对播放器解码后的YUV420视频帧数据直接进行处理,并获得相同格式的输出数据,消除了将视频帧数据进行数据格式转换的过程,大大方便了用户的使用,并降低使用耗时。
性能优化
LiteKit的视频超分能力模型,经过反复的性能调优,可以支持360p->480p的超分场景下播放器25FPS的持续超分。
从上面的测试结果可以看到,在18年iPhoneXsMax上,视频超分也能够达到32.15ms的预测速度,支持播放器25FPS的超分。在新 的iPhone12上,相比iPhoneXsMax,预测速度进一步提升30%。
手势识别
这是LiteKit提供的手势识别AI能力。它可以准确的检测手势所在位置的矩形坐标、手势类型和置信度,支持识别六种类型的手势,包括手、五指手势、V手势、握拳、1手势、OK手势。
人像分割
(人像分割前)(人像分割后)
这是LiteKit提供的人像分割AI能力,能够提供实时的人像分割,准确地分割人像和背景,可用于去除背景、人像抠图、照片合成、背景替换等业务之中。
快速体验
以上就是LiteKit目前开放出来的AI能力,这些AI能力可以直接点击以下链接快速安装Android Demo体验(只需一部安卓手机即可):
https://github.com/PaddlePaddle/LiteKit/releases/download/0.0.10/MMLKitDemo_0.0.10.apk
可以一秒接入的AI能力
对于APP开发者来说,是不是很想知道这些能力能否接入到自己的移动应用之中呢?
答案当然是肯定的!不仅能接入,而且可以说是一秒就能接入你的APP工程!
版权声明:本文为原创文章,版权归 头条123 所有,欢迎 本文,转载请保留出处!