色々試して結局、AviUtlに戻ってきたH.264
FFmpegでH.264のエンコードするためにオプションの変数を変えたりバッチ書いたり試行錯誤したが、あるフレームサイズ(512x384)では特定の映像ビットレート(約600kbps)以下に変換してくれない現象が起こり。(フレームサイズを変更すれば低ビットレートに下げられた)フロントエンドを3GP_ConverterからBatchDooに変えても解決しなかったので別の方法をとることにした。以前からFLVの作成に利用していたAviUtlにx264のプラグイン等を導入した分けであるが、導入方法などは下記が参考になった。
・ニコニコ動画wiki AviUtlを使ったMP4 (H.264) エンコード
http://nicowiki.com/aviutl_h264.html
・【H.264】AviUtlでのエンコ法
http://www.nicovideo.jp/watch/sm2544388
今回は既存のAviUtlにプラグインを追加するだけだったので簡単だったが、新規インストールでもそれほど迷わないと思う。