Android 音视频分离

一、前语

MediaPlayer作为Android体系中内置的音视频播映组件，阅历了许多版别的迭代和优化，功能也想比6.0之前的版别丰富了许多。但依然避免不了备受争议的问题，作为入门级播映器，他简略易用是显而易见的，但是假如用于定制类型的播映器项目，MediaPlayer的下风让人百般无奈。这些下风主要表现如下：

• 在无法切换音频或许视频Track
• 无法设置MediaClock进行音画同步干涉
• 无法增加或许裁剪Renderer
• 无法增加或许裁剪Decoder
• 数据源接口适当难用，即便是Android 6.0之后的MediaDataSource 对网络流也不友好，多线程拜访存在许多问题
• seek时buffering行为存在不确定性
• HLS 不支撑seek
• 不支撑缓存和中心数据加工机制

当然，上述问题四共性问题了，但更糟的状况是，国内体系厂商用自己完结Player代替了MediaPlayer，会呈现新的问题，乃至是某遥遥领先的计划都会出许多问题：

• 私有的状况码只有厂商自己知道
• 调用Seek时或许会黑屏、提前结束播映
• 状况机制混乱，产生error后又走了playbackComplete状况
• 播映进度颤动，画面正常
• 音量或许关不掉，想静音都难
• 不支撑AudioEffect 音效，想通过这种办法也无法关闭音量
• 变速支撑太好

二、为什么要别离音视频

咱们从前语可知，MediaPlayer无法切换Track，其次或许存在音量关不掉的问题。在一些事务场景中，咱们只想让MediaPlayer播映视频，用ffmpeg或许MediaMuxer + MediaCodec 去播映音频，以到达原伴唱切换的意图，因而，咱们需求从视频源中玻璃音频Track。

当然或许的疑问，为什么不在后端处理，实际上在降本增效的大环境下，这个成本还是有些高的。Video 和 Audio 通常具有多种品质，视频里有如 480P、720P、1080P、2K… 等，而 Video 中有一般音质、middle 音质、HQ 音质等，在目前降本增效的愿景的下，需求考虑到的降低存储成本和传输成本，因而有必要对音频和视频完结动态合成，当然这和本文标题和本文写作意图背离。本文的意图是想完结在手机端完结默许音质且其他音质的计划。

考虑到 ExoPlayer 可以完结切换音质，但关于 MediaPlayer 而言，这个是适当困难的，所有本文要点实质是解决 MediaPlayer 音质切换问题的第一步 —— 音视频别离。

三、原理

在 Android 中，官方供给了 MediaExtrator，虽然比较 ExoPlayer 自行完结的一套计划还是比较鸡肋，但对音视频动态别离，其供给的能力足矣。

MediaPlayer 咱们都知道，其 DataSource 不如 ExoPlayer 灵活，此外新接口 MediaDataSource 也不兼容早上版别，所有可以运用也就是运用 Url 完结中心处理进程，详细进程如下：

【数据源】 – 【Proxy】 -> 【MediaPlayer】

详细署理进程中咱们不细述，这里咱们会在 Proxy 做一些处理，如下面办法

【数据源】 -> 【音视频别离】 -> 【视频 Proxy 】-> MediaPlayer

这部分代码咱们不详细处理，这里主要来说音视频别离办法。

• MediaExtractor 担任别离数据
• MediaMuxer 担任合成别离后的数据

这里最大的问题是为什么要合成别离后的数据？

实际上 MediaExtractor 是解封装了数据，但封装信息和数据是独自存储的么，因而需求将封装信息重新和数据整合。

四、核心代码

public class MediaTrackExtractor {
    private static final String TAG = "MediaTrackExtractor";
    public static void extractAudioOrVideo(String mimeHead, String pathOrUrl, String outputPath) {
        MediaExtractor mediaExtractor = new MediaExtractor();
        MediaMuxer mediaMuxer = null;
        try {
            // 设置视频源
            mediaExtractor.setDataSource(pathOrUrl);
            // 轨迹索引
            int audioIndex = -1;
            // 视频轨迹格式信息
            MediaFormat mediaFormat = null;
            // 数据源的轨迹数
            int trackCount = mediaExtractor.getTrackCount();
            for (int i = 0; i < trackCount; i++) {
                MediaFormat format = mediaExtractor.getTrackFormat(i);
                String mimeType = format.getString(MediaFormat.KEY_MIME);
                if (mimeType.startsWith(mimeHead + "/")) {
                    audioIndex = i;
                    mediaFormat = format;
                    break;
                }
            }
            // 切换到想要的轨迹
            mediaExtractor.selectTrack(audioIndex);
            File outFile = new File(outputPath);
            if (outFile.exists()) {
                outFile.delete();
            }
            mediaMuxer = new MediaMuxer(outFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            //这里MUXER_OUTPUT_MPEG_4 是因为大部分视频是mpeg4封装，详细状况下按详细传入不同类型
            int trackIndex = mediaMuxer.addTrack(mediaFormat);
            int maxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
            ByteBuffer byteBuffer = ByteBuffer.allocate(maxInputSize);
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            mediaMuxer.start();
            while (true) {
                // 将样本数据存储到字节缓存区
                int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);  //采样数据
                // 假如没有可获取的样本，退出循环
                if (readSampleSize < 0) {
                    mediaExtractor.unselectTrack(audioIndex);
                    break;
                }
                bufferInfo.size = readSampleSize;
                bufferInfo.offset = 0;
                bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
                int sampleFlags = mediaExtractor.getSampleFlags();
                if (sampleFlags == MediaExtractor.SAMPLE_FLAG_SYNC) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_KEY_FRAME;  //关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_PARTIAL_FRAME) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_PARTIAL_FRAME; // 非关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_ENCRYPTED) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_CODEC_CONFIG; //存在内部封装
                }
                mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
                // 读取下一帧数据
                mediaExtractor.advance();
            }
            Log.i(TAG, "别离" + mimeHead + "完结");
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (mediaMuxer != null) {
                mediaMuxer.stop();
                mediaMuxer.release();
            }
            mediaExtractor.release();
        }
    }
}

五、简略有用办法

咱们以离线办法为例子，运用如下

File dir = new File(mMp4FilePath).getParentFile(); 
Log.d(TAG,"开端提取"); 
File videoOutputFile = new File(dir,"sample_oceans_extrator.mp4"); 
File audioOutputFile = new File(dir,"sample_oceans_extrator.mp3"); 
MediaTrackExtractor.extractAudioOrVideo("video",mMp4FilePath,videoOutputFile.getAbsolutePath());
 MediaTrackExtractor.extractAudioOrVideo("audio",mMp4FilePath,audioOutputFile.getAbsolutePath()); 
Log.d(TAG,"提取完结");

假如在线资源该怎么处理呢？

首要，MediaExtractor 是支撑在线资源的，咱们依然可以使用这个机制，完结在线流的别离，不过提到这里，MediaMuxer也存在一定的缺点，不支撑获取编码后的buffer，这点咱们可以选用ffmpeg中的相关组件进行替换，或许更简洁的办法，对seek操作允许长期等待缓存，也能满足需求，究竟MediaPlayer、MediaExtractor、MediaMuxer 也就只能做简略的事，不能要求太高。