我正在将录音机编写为具有音频图的应用程序的一部分。为了录制和显示实时音频图,这非常容易,只需每X ms调用MediaRecorder.GetMaxAmplitude()并基于代表音频图的更新 Canvas 进行调用。
问题-当我打开一个录音时我想拥有相同的音频图,所以现在我不能使用.GetMaxAmplitude()方法,因为我需要完全播放录音才能生成该图,这将花费太多时间真傻
如果录制的输出是.wav,那将非常简单,很多资料在哪里去做,但是MediaRecorder不支持.wav,我真的不希望将带有包装的完整ffmpeg嵌入到我的应用程序中将3gpp解码为wav的小功能。
我在这里有什么选择?
最佳答案
使用MediaExtractor
和MediaCodec
,您可以将3gp
(或任何其他受支持的mime类型)解码为一系列PCM-16bit(mime audio/raw
)缓冲区,然后可以对其进行二次采样,以“可绘制的”采样率获得所需的幅度图。
这是在输入/输出缓冲区上使用同步处理的示例,因此可以在非UI线程上运行它。
同步PCM-16bit MediaCodec
示例:
var file = new Java.IO.File(Environment.GetExternalStoragePublicDirectory(Environment.DirectoryDownloads), "someaudiofile.mp3");
if (file.CanRead())
{
var mediaExtractor = new MediaExtractor();
mediaExtractor.SetDataSource(file.ToString());
mediaExtractor.SelectTrack(0); // which track? lets assume single/mono for this example
var mediaFormat = mediaExtractor.GetTrackFormat(0);
var mime = mediaFormat.GetString(MediaFormat.KeyMime);
var mediaCodec = MediaCodec.CreateDecoderByType(mime);
mediaCodec.Configure(mediaFormat, null, null, MediaCodecConfigFlags.None);
mediaCodec.Start();
var bufferInfo = new MediaCodec.BufferInfo();
var inputDone = false;
while (true)
{
if (!inputDone) // process input stream and queue it up for output processing
{
int inputBufferIndex = mediaCodec.DequeueInputBuffer(10000);
if (inputBufferIndex >= 0)
{
var inputBuffer = mediaCodec.GetInputBuffer(inputBufferIndex);
int chunkSize = mediaExtractor.ReadSampleData(inputBuffer, 0);
Log.Debug("SO", $"Input Buffer: {inputBufferIndex}");
if (chunkSize <= 0)
{
mediaCodec.QueueInputBuffer(inputBufferIndex, 0, 0, 0L, MediaCodecBufferFlags.EndOfStream);
inputDone = true;
}
else
{
mediaCodec.QueueInputBuffer(inputBufferIndex, 0, chunkSize, mediaExtractor.SampleTime, MediaCodecBufferFlags.None);
mediaExtractor.Advance();
}
}
}
int outputBufferIndex = mediaCodec.DequeueOutputBuffer(bufferInfo, 1000000);
if (outputBufferIndex >= 0)
{
Log.Debug("SO", $"Output Buffer: {outputBufferIndex}");
if (bufferInfo.Size != 0)
{
var outputBuffer = mediaCodec.GetOutputBuffer(outputBufferIndex); // PCM 16-bit output
var outpuFormat = mediaCodec.GetOutputFormat(outputBufferIndex);
outputBuffer.Position(0);
// !!! Sub-sample the buffer based upon your needed sampling rate for display
var pcm16bitBuffer = outputBuffer.AsShortBuffer();
while (pcm16bitBuffer.HasRemaining)
{
var x = pcm16bitBuffer.Get();
// store the prior values and avg./max/... them for later display based upon some subsampling rate
}
pcm16bitBuffer.Dispose();
mediaCodec.ReleaseOutputBuffer(outputBufferIndex, false);
if (bufferInfo.Flags.HasFlag(MediaCodecBufferFlags.EndOfStream))
break;
}
else
break;
}
else if (outputBufferIndex == -2)
{
Log.Debug("SO", "Output buffer is not available yet, feed more input");
}
}
mediaCodec.Stop();
mediaCodec.Release();
}
注意:也有异步方法可用,有关适用于您的应用程序目标受众的内容,请查阅android-API级别的MediaCodec
文档。使用以上方法输出样本:
回复:MediaCodec
关于android - 从3gpp生成音频图,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/43802167/