Codec 集成和video overlay是现在FSL对android 多媒体修改的所有东西,codec library以.so的形式放在prebuilt目录下,没有源文件 。而video overlay的实现主要是使用了FSL的ipu底层库,将视频数据 直接发送到硬件,由硬件进行merge。
A、Codec 集成
1、codec 集成方法
首先声明一下俺说的codec集成是指将codec集成到opencore 框架中,网上看有人直接放个库然后通过jni调用,这种的方式有点扯蛋,得自己实现控制,同步,输出等一堆东西,完全是杀鸡取卵,我们就不讨论了。要把一个裸的codec放在opencore框架内有三种方式:
a、实现一个openmax component 注册在android已存在的omx core上,或者提供自己的omx core
b、实现一个封装了codec的PVMF 标准的 mio(media input/output)
c、 实现一个封装codec的PVMF的Node
三种方式都涉及到opencore一堆BT的术语,首先我们得来消化下这几个术语,不然很难有个直观的了解。因为opencore实在庞大得超出我的能力之外,所以俺只是从整体结构上看了下骨架,我是这么理解的:opencore实际包含两部分:一部分就是command管道,一个就是数据管道;command就是我们的player/author engine, 而数据的流动就是在pvmf 中进行。PVMF下面挂载的的基本组件就是Node,就是实现一个具体功能的单元,比如说file parse, codec, sink等等。前面提到的MIO实际上也是一个特殊的Node,它的功能就是media input/output 。
engline接受上层的command,控制PVMF下的Node进行工作,而Pvplayer/author是基于engline实现的一个提供给android使用的SDK,这就是Opencore的工作原理 了。
[img][/img]
下载 (67.05 KB)
刚才
在这里只说第一种方式,就是omx封装的方式,FSL也是采用的这种方式的提供的 HW codec library,并且提供了自己的omx core。换句话就是说FSL实现了整个/external/opencore/codecs_v2这个目录的内容,虽然这个闷骚的公司只是提供了几个.so 。我们要想实现一个完整的omx封装的codec移植得准备下面的知识 :
/external/opencore/doc/openmax_call_sequences.pdf
/external/opencore/doc/omx_core_integration_guide.pdf
http://omxil.sourceforge.net/docs/modules.html
除了这些spec和guide之外,现成的例子就是android已经封装好的omx core了,也就codecs_v2/omx里面的内容。如果有裸codec,封装成omx从技术 讲应该是不难的,基本过程就是先封装成omx,然后再封装成pv_omx,不过opemax IL层的spec很复杂,要做的工作可能比较多。
编译好的omx library 我们可以按照FSL的方式放在prebuilt目录下面,并提供相应的配置文件,比如fslomx.cfg,在这里说一下我们封装好的library是如何被调用的。所有编译好的library最后都会被放在/system/lib目录,android会在/etc读取所有的.cfg文件,然后根据 UUID来判断是否为omx封装好的library,如果UUID匹配的话它就会到lib目录中载入相应的library。这里涉及到一个重要的文件 /opencore/external/codecs_v2/omx/omx_mastercore/src /pv_omxmastercore.cpp。由这个文件来负责当存在多个omx core的时候的处理。
omxmastercore.cpp管理一个优先权的问题,比如说当存在多个omx core,而且每个omx core都具有一个mp3 decode component 时我们应该使用哪一个component进行解码?omxmastercore对这个选择的处理过程是这样的:
a、根据.cfg的文件名的字母排列顺序载入.cfg文件,也就是说fslomx.cfg会比pvomx.cfg先载入
b、根据UUID一个一个判断是否为omx封装的library,如果是的话就载入相应的library,并对omx core下所有的component进行注册
[换句话说就是配置文件名字母靠前的会被先载入,相应component注册也会被注册在前面]
c、omxmastercore根据应用 程序要求的role(比如mp3)及其要求的配置去注册的component中寻找满足要求的component,一旦找到就选定进行解码
因此如果你想使用自己的codec来进行解码,必须使你的配置文件名排在前面,或者如果不需要其他的omx core的话干脆删除它的配置文件。我曾经做过一个实验,去掉fsl的codec , 51播视频就会直接卡死,如果去掉android自带的codec视频和音频都无法播放,因为fsl现在只提供了视频的硬解码,当应用程序找不到音频的解码的时候就会直接报错。从侧面来说fsl的 video codec还是很牛B的,它调用了/external/fsl_imx_lib/vpu中的接口。
因此总的来说实现codec的移植应该是不难的,将来还可以使用偷懒的方法,也就是说只实现相应的component,把它注册到android已有的 omx core中,这个注册是在/external/opencore/codecs_v2/omx/omx_common/src /pv_omxregistry.cpp中实现的。
除了omx封装外其他两种方式我没仔细看过,Node方式PV还没提供文档,而mio集成方式在doc里面有它的开发文档。
B、Video Overlay
Android原来是video playback的输出是使用的Isurface接口,也就是说它是用surfaceflinger来实现window的合并的,SW merge必然导致播放的效率低下,而且资源消耗很高。FSL在这里实现了硬件overlay的方式来播放视频,就是使用ipu进行硬件的merge,说穿了就是把vpu解码后的数据直接送到ipu的overlay buffer。
这里涉及到两个底层的lib,一个就是libipu.so,还一个是libvpu.so,vpu负责解码,而ipu负责显示。在这里要改变的主要是两个地方,首先要获得vpu解码后的数据,这里主要涉及到下面目录中的文件:
/external/opencore/nodes/pvomxbasedecnode/src/pvmf_omx_basedec_node.h
/external/opencore/nodes/pvomxbasedecnode/include/pvmf_omx_basedec_node.cpp
/external/opencore/nodes/pvomxvideodecnode/src/pvmf_omx_
然后就是将数据送到overlay buffer,这部分修改的内容实际上就是实现了ipu 的一个sequence,这个sequence的内容可以参照:
/external/fsl_imx_lib/ipu/mxc_ipu_hl_lib.h
具体的修改内容在下面几个文件:
/android/android_surface_output.cpp
/android/android_surface_outpur.h
- 大小: 67.1 KB
分享到:
相关推荐
Happytime Video Overlay Filter 是一个专门为VC开发人员设计的DMEO,支持输入的视频格式如MPG ,AVI或MPEG,支持添加图片,文字或日期等,安装程序附示例代码及DEMO,欢迎下载研究。
Voice overlay helps you turn your user's voice into text, providing a polished UX while handling for you the necessary permission. Demo You can clone this repo, then run the Demo ...
Video overlay part II - An introduction to hypervideo讲述DirectShow(2)(14KB)
主机overlay和网络overlay介绍 .pptx
Video overlay using Microsoft DirectShow讲述DirectShow(8KB)
前端项目-videojs-overlay,在视频播放期间显示简单套印格式的插件。
android overlay系统 overlay的硬件抽象层 camera系统与上层接口和硬件抽象层
Android 高德地图自定义点聚合marker图片及Overlay点击选中功能的代码实现及布局文件
DICOM图像,overlay层,包含只有一层overlay,两侧overlay,overlay加原始图像三种DICOM图像。 不少DICOM开源框架对这种图像支持不够,显示有问题。便于测试系统对带有overlay图像的显示是否正确
android.frameworkres.overlay_12.apk
使用VideoOverlay JavaScript api,您可以在设备的前置和后置摄像头之间切换,从摄像头启动和停止视频预览以及调整摄像头的缩放级别。 启动摄像机后,其视频输出将显示在ezAR摄像机视图中。 默认情况下,摄像机视图...
mars老师写的重写overlay类在google地图上添加标记的程序,代码清楚易懂
Overlay Menu Android
ANDROID中点中OVERLAY弹出带尾巴的气泡的实现
Overlay组播Overlay组播Overlay组播Overlay组播Overlay组播Overlay组播Overlay组播Overlay组播
android-guide-overlay, 新功能指南重叠视图 android-guide-overlay用于向用户介绍新功能演示应用程序 许可证Copyright 2015 qluanLicensed under the Apache License, Version 2.
android中点中overlay弹出带尾巴的气泡的实现
videojs-overlay-hyperlink :link: 一个简单的video.js插件,可在使用叠加层的视频播放过程中显示超链接。 该插件基于流行的video.js插件。 静态预览 现场演示: 下载 单击下载videojs-overlay-hyperlink或git ...
android中点中overlay弹出带尾巴的气泡的实
docker清理大杀器/docker的overlay、overlay2文件占用磁盘太大的解决办法