[追記 2019/1/7]
AUGraphはiOS 12まででDeprecatedとなりました。本記事はそれをふまえてご参照ください。
前回の投稿で、リアルタイム・オーディオ処理について書きましたが、その続きになります。
今回はリアルタイム・タイムストレッチ（音程をそのままで、スピードを変更する処理）の実現方法について説明していきます。
今回の内容も、以下のブログにて以前書いた内容を整理したものになります。
http://www.loopsessions.com/blog/?p=39
http://www.loopsessions.com/blog/?p=44
前回の投稿もとに、修正箇所と追加内容について説明していきます。
今回のオーディオ関連のクラスの定義は以下のようになります。
@interface TimeStretchAudioIO ()
{
AudioStreamBasicDescription _outputFormat;
AUGraph _graph;
AudioUnit _remoteIOUnit;
AudioUnit _converterUnit;
AudioUnit _aUiPodTimeUnit; // add
AudioUnitParameterID _paramId; // add
AudioUnitParameterInfo *_paramInfo; // add
}
@property (readonly) ExtAudioFileRef extAudioFile;
@property (nonatomic, assign) UInt32 numberOfChannels;
@property (nonatomic, assign) SInt64 totalFrames;
@property (nonatomic, assign) SInt64 currentFrame;
@end
AUGraphの準備
まずは以下の関数の修正を行います。
リアルタイム・タイムストレッチを実現するには、AUiPodTimeOther Unit (kAudioUnitSubType_AUiPodTimeOther)を使用します。
接続は以下の通りです。
Callback -> AUiPodTimeOther -> AUConverter -> Remote IO
- (OSStatus)initAUGraph
{
OSStatus ret = noErr;
// AUGraphの準備
NewAUGraph(&_graph);
AUGraphOpen(_graph);
// AUNodeの作成
AudioComponentDescription cd;
cd.componentType = kAudioUnitType_FormatConverter;
cd.componentSubType = kAudioUnitSubType_AUConverter;
cd.componentManufacturer = kAudioUnitManufacturer_Apple;
cd.componentFlags = 0;
cd.componentFlagsMask = 0;
AUNode converterNode;
AUGraphAddNode(_graph, &cd, &converterNode);
AUGraphNodeInfo(_graph, converterNode, NULL, &_converterUnit);
cd.componentType = kAudioUnitType_FormatConverter;
cd.componentSubType = kAudioUnitSubType_AUiPodTimeOther;
cd.componentManufacturer = kAudioUnitManufacturer_Apple;
cd.componentFlags = 0;
cd.componentFlagsMask = 0;
AUNode aUiPodTimeNode;
AUGraphAddNode(_graph, &cd, &aUiPodTimeNode);
AUGraphNodeInfo(_graph, aUiPodTimeNode, NULL, &_aUiPodTimeUnit);
cd.componentType = kAudioUnitType_Output;
cd.componentSubType = kAudioUnitSubType_RemoteIO;
cd.componentManufacturer = kAudioUnitManufacturer_Apple;
cd.componentFlags = 0;
cd.componentFlagsMask = 0;
AUNode remoteIONode;
AUGraphAddNode(_graph, &cd, &remoteIONode);
AUGraphNodeInfo(_graph, remoteIONode, NULL, &_remoteIOUnit);
// Callbackの作成
AURenderCallbackStruct callbackStruct;
callbackStruct.inputProc = renderCallback;
callbackStruct.inputProcRefCon = self;
AUGraphSetNodeInputCallback(_graph,
converterNode,
0, // bus number
&callbackStruct);
// 各NodeをつなぐためのASBDの設定
UInt32 size = sizeof(AudioStreamBasicDescription);
// converter I
ret = AudioUnitSetProperty(_converterUnit,
kAudioUnitProperty_StreamFormat,
kAudioUnitScope_Input, 0,
&_outputFormat, size);
// remoteIO I
ret = AudioUnitSetProperty(_remoteIOUnit,
kAudioUnitProperty_StreamFormat,
kAudioUnitScope_Input, 0,
&_outputFormat, size);
AudioStreamBasicDescription outputFormatTmp;
// [GET] AUiPodTimeOther I
ret = AudioUnitGetProperty(_aUiPodTimeUnit,
kAudioUnitProperty_StreamFormat,
kAudioUnitScope_Input, 0,
&outputFormatTmp, &size);
// converter O
ret = AudioUnitSetProperty(_converterUnit,
kAudioUnitProperty_StreamFormat,
kAudioUnitScope_Output, 0,
&outputFormatTmp, size);
// Nodeの接続
// AUConverter -> AUiPodTimeOther
ret = AUGraphConnectNodeInput(_graph, converterNode, 0, aUiPodTimeNode, 0);
// AUiPodTimeOther -> Remote IO
ret = AUGraphConnectNodeInput(_graph, aUiPodTimeNode, 0, remoteIONode, 0);
// コンソールに現在のAUGraph内の状況を出力(デバッグ)
CAShow(_graph);
// AUGraphを初期化
ret = AUGraphInitialize(_graph);
// AUiPodTimeOtherのパラメータを初期化
[self initAUiPodTimeOther];
return ret;
}
AUiPodTimeOther Unit を追加したことで、各Unitのオーディオフォーマットを合わせることを考慮しておく必要があります。細かな説明は省きますが、「ASBD（Audio Stream Basic Description）の設定」の箇所を確認してみてください。
パラメータの設定
ここからは追加の内容です。AUiPodTimeOther Unit のパラメータを設定するための実装になります。
初期化処理
- (void)initAUiPodTimeOther
{
// AudioUnitGetProperty で取得する paramList のサイズを取得
UInt32 size = sizeof(UInt32);
AudioUnitGetPropertyInfo(_aUiPodTimeUnit,
kAudioUnitProperty_ParameterList,
kAudioUnitScope_Global,
0,
&size,
NULL);
int numOfParams = size / sizeof(AudioUnitParameterID);
NSLog(@"numOfParams = %d", numOfParams);
// paramList の各IDを取得
AudioUnitParameterID paramList[numOfParams];
AudioUnitGetProperty(_aUiPodTimeUnit,
kAudioUnitProperty_ParameterList,
kAudioUnitScope_Global,
0,
paramList,
&size);
_paramInfo = (AudioUnitParameterInfo *)malloc(numOfParams * sizeof(AudioUnitParameterInfo));
for (int i = 0; i < numOfParams; i++) {
NSLog(@"paramList[%d] = %d", i, (unsigned int)paramList[i]);
_paramId = paramList[i];
// 各IDのパラメータを取得
size = sizeof(_paramInfo[i]);
AudioUnitGetProperty(_aUiPodTimeUnit,
kAudioUnitProperty_ParameterInfo,
kAudioUnitScope_Global,
paramList[i],
&_paramInfo[i],
&size);
NSLog(@"paramInfo.name = %s", _paramInfo[i].name);
NSLog(@"paramInfo.minValue = %f", _paramInfo[i].minValue);
NSLog(@"paramInfo.maxValue = %f", _paramInfo[i].maxValue);
NSLog(@"paramInfo.defaultValue = %f", _paramInfo[i].defaultValue);
// init
AudioUnitSetParameter(_aUiPodTimeUnit,
paramList[i],
kAudioUnitScope_Global,
0,
_paramInfo[i].defaultValue,
0);
}
}
paramList という変数に AUiPodTimeOther Unit に関するパラメータがenum型で入ります。
一般的なAudioUnitのパラメータ情報はAudioUnit/AudioUnitParameters.hに定義されているのですが、なぜか今回の対象の AUiPodTimeOther Unit は定義されていません。ただ、上記のように実装することで、あらゆるAudioUnitのパラメータ情報を取得することができますので、あまり気にすることはないかと思います。
今回の場合で initAUiPodTimeOther 関数を処理した際の NSLog の出力結果は以下のようになります。
numOfParams = 1
paramList[0] = 0
paramInfo.name = rate
paramInfo.minValue = 0.500000
paramInfo.maxValue = 2.000000
paramInfo.defaultValue = 1.000000
つまり、0.5〜2.0倍の範囲で再生速度が変更可能であることがわかります。
パラメータの値の代入
以下の関数を呼び出すことで、再生速度が変更できます。スライダーで操作するのが良いかと思います。
以下の実装は簡略化していますので、実際にはエラー処理を入れた方が良いと思います。（サンプルコードを参照してください）
- (void)setPlaybackRate:(Float32)value
{
AudioUnitSetParameter(_aUiPodTimeUnit,
_paramId,
kAudioUnitScope_Global,
0,
value,
0);
}
以上です。
今回のサンプルプログラムは以下にあります。（TimeStretchAudioIO）
https://github.com/JunichiMinamino/AudioObjCSample
あと、今回の実装をもとに作成したアプリもありますので、よろしければ試してみてください。
タイムストレッチ（再生速度変更）／イコライザー
https://itunes.apple.com/jp/app/time-stretcher/id637376117?mt=8