Android通過JUV+Red5+Speex實現網絡語音聊天(一)

quasiceo 2016-03-07

展開全文

Android通過JUV+Red5+Speex實現網絡語音聊天(一)

2012-12-19 19:38 7928人閱讀評論(4) 收藏舉報

分類：

視頻通話（9）

先說下實現原理,手機采集到語音后進過Speex編碼，通過juv以直播形式發布自己的語音流到red5，也是通過juv播放對方的直播流，經過Speex解碼后輸出到揚聲器，如下圖：

Android端采集編碼和解碼播放Speex，參考android-recorder，至于他用的red5客戶端，看了下，沒看明白。。。
JUV這庫吧好上手，雖然是付費的，但是有30天的試用，可長期申請。暫時用下也不錯。另外，國內有破解版，你懂得。

核心代碼如下：

[java] view plain copy

public class AudioCenter extends AbstractMicrophone

首先，音頻處理類繼承自JUV庫中的 AbstractMicrophone，便可以使用 fireOnAudioData方法向Red5服務端發布音頻數據。

[java] view plain copy

public void encSpeexAudio() {
new Thread(new Runnable() {
@Override
public void run() {
int bufferSize = AudioRecord.getMinBufferSize(8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
short[] mAudioRecordBuffer = new short[bufferSize];
AudioRecord mAudioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, 8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferSize);
mAudioRecord.startRecording();
int bufferRead = 0;
int len;
isEncoding = true;
while (isEncoding) {
bufferRead = mAudioRecord.read(mAudioRecordBuffer, 0, frameSize);
if (bufferRead > 0) {
try {
len = speex.encode(mAudioRecordBuffer, 0, processedData, frameSize);
// LogHelper.d(subTAG, "EncSpeexAudio "+ len);
byte[] speexData = new byte[len + 1];
System.arraycopy(SpeexRtmpHead, 0, speexData, 0, 1);
System.arraycopy(processedData, 0, speexData, 1, len);
fireOnAudioData(new MediaDataByteArray(20, new ByteArray(speexData)));
} catch (Exception e) {
e.printStackTrace();
}
}
}
mAudioRecord.stop();
mAudioRecord.release();
mAudioRecord = null;
}
}, "EncSpeexAudio Thread").start();
}

以上是編碼上傳線程，一個關鍵技術點：SpeexRtmpHead,曾經困擾我很長一段時間，也是因為自己剛開始解除對RTMP協議只停留在api調用層面。

[java] view plain copy

private byte[] SpeexRtmpHead = new byte[] { (byte) 0xB2 };

我們首先要知道“RTMP Packet中封裝的音視頻數據流，其實和FLV封裝音頻和視頻數據的方式是相同的。”

Audio tag 數據區

audio信息	1byte	前四位bits表示音頻格式:
		0 – 未壓縮
		1 = ADPCM
		2 = MP3
		3 = Linear PCM, little endian
		4 = Nellymoser 16-kHz mono
		5 = Nellymoser 8-kHz mono
		6 = Nellymoser
		7 = G.711 A-law logarithmic PCM
		8 = G.711 mu-law logarithmic PCM
		9 = reserved
		10 = AAC
		11 = Speex
		14 = MP3 8-Khz
		15 = Device-specific sound
		下面兩位bits表示samplerate:
		0 – 5.5kHz
		1 – 11kHz
		2 – 22kHz
		3 – 44kHz
		下面一位bit表示每個采樣的長度：
		0 – snd8Bit
		1 – snd16Bit
		下面一位bit表示類型：
		0 – sndMomo
		1 – sndStereo
audio數據區	不定	if SoundFormat == 10 AACAUDIODATAelse Sound data—varies by format

由Flv協議的AudioTag數據區可查得，在數據區前有一個字節的audio信息，我們采用speex編碼，8KHz采樣，每個采樣16bit，單聲道。那么得出的數據為10110010 十六進制：0xB2,將它拼裝到每個數據區前，通過fireOnAudioData發布，則為標準的Rtmp數據上傳到服務器。這時候可以使用red5-publisher測試，已經能聽到聲音了。不清楚red5-publisher使用的朋友，可以看我上篇關于Red5的配置。

[java] view plain copy

public void playSpeexAudio() {
new Thread(new Runnable() {
@Override
public void run() {
short[] decData = new short[256];
AudioTrack audioTrack;
int bufferSizeInBytes = AudioTrack.getMinBufferSize(8000, AudioFormat.CHANNEL_OUT_MONO, AudioFormat.ENCODING_PCM_16BIT);
audioTrack = new AudioTrack(AudioManager.STREAM_VOICE_CALL, 8000, AudioFormat.CHANNEL_OUT_MONO, AudioFormat.ENCODING_PCM_16BIT, 2 * bufferSizeInBytes, AudioTrack.MODE_STREAM);
audioTrack.play();
isPlaying = true;
while (isPlaying) {
while (encData.size() > 0) {
byte[] data = encData.elementAt(0);
encData.removeElementAt(0);
int dec;
dec = speex.decode(data, decData, data.length);
// LogHelper.d(subTAG, "playSpeexAudio "+ dec);
if (dec > 0) {
audioTrack.write(decData, 0, dec);
}
}
try {
Thread.sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
audioTrack.stop();
audioTrack.release();
audioTrack = null;
}
}, "PlaySpeexAudio Thread").start();
}

以上為音頻解碼線程，沒什么難點，只需注意我使用了一個Vector 來緩存juv拉下來的speex語音數據

private Vector encData = new Vector();

采集編碼解碼播放先談到這里，下篇講下juv的連接和數據傳輸相關。
如有疑問，歡迎與我交流。

原創文章，轉載請注明：轉載自貝殼博客

本文鏈接地址: Android通過JUV+Red5+Speex實現網絡語音聊天(一)

頂: 0

踩: 0

我的同類文章

視頻通話（9）

·Speex的使用2012-12-19閱讀4721
·網絡電話Skype協議分析2012-11-07閱讀1249
·IMSDroid Http Stack分析 -- 基本流程2012-10-30閱讀1777
·視頻電話源碼2012-10-29閱讀1180
·PoC2012-10-19閱讀1883

·極光推送技術原理：移動無線網絡長連接2012-11-20閱讀2448
·Building IMSDroid Source2012-10-30閱讀1802
·視頻通話需要的技術2012-10-30閱讀4038
·Android網絡電話軟件Sipdroid試用2012-10-19閱讀1390

猜你在找: 威哥最新Android開發課程【核心組件】; Android開源項目實踐之UI篇; Android實戰項目—扣丁音樂播放器; Android入門實戰教程; Android開發—百度地圖

查看評論

3樓 LLz. 2014-01-10 11:19發表 [回復]: 您好方便把代碼連接發一下學習學習嗎

2樓 whhpc19891120 2013-04-16 10:34發表 [回復]: while(!isRecording){
//從bufferSize中讀取字節，返回讀取的short個數
int tmp = record.read(buffer, 0, framesize);
Log.d("tmp:",""+tmp);
if(tmp >0){
final long ctime = System.currentTimeMillis();
//對data進行speex編碼
int len = speex.encode(buffer, 0, data, framesize);
Log.d("len:",len+"");
byte[] speexData = new byte[len + 1];
byte[] SpeexRtmpHead = new byte[] { (byte) 0xB6 };

System.arraycopy(SpeexRtmpHead, 0, speexData, 0, 1);
System.arraycopy(data, 0, speexData, 1, len);

fireOnAudioData(new MediaDataByteArray(20 , new ByteArray(speexData)));
final int spent = (int) (System.currentTimeMillis() - ctime);
Log.d("花費時間"," "+spent);
}
}

1樓 whhpc19891120 2013-04-16 10:34發表 [回復]: 您好，我最近也在學習流媒體服務，根據您的方法沒有聲音，android 發送到fms服務器, 轉發給flex播放。
//根據定義好的幾個配置，來獲取合適的緩沖大小
int bufferSize = AudioRecord.getMinBufferSize(frequence, channelConfig, audioEncoding);
Log.d("bufferSize","" + bufferSize);
//實例化AudioRecord
AudioRecord record = new AudioRecord(source, frequence, channelConfig, audioEncoding, bufferSize);
//定義緩沖
buffer = new short[bufferSize];
data = new byte[size_bufferencode];
//開始錄制
Log.d(AUDIO,"開始錄制");
record.startRecording();