❖ モバイルリアルタイム EVC プレーヤー MPEG の早期実装 2020 年 10 月提出

オルガ・クロヴャコワ著 - 2020年11月3日

抽象的な

この寄稿では、公開中の MPEG-5/パート 1: エッセンシャルビデオコーディング (EVC) 国際規格に準拠してビットストリームをデコードおよび再生するように設計されたリアルタイムモバイルビデオプレーヤーの初期実装について説明します。プレーヤーは ETM リファレンスソフトウェアバージョン 6.1 に基づいており、ARM アーキテクチャ向けに最適化されています。このプレーヤーは、Huawei P40 Pro スマートフォンで開発およびテストされ、EVC メインプロファイルツールのサブセットで 24 fps での 1080p リアルタイム再生を実証します。

1. はじめに

現在の初期の実装は、市場で入手可能なトップモバイルデバイス上での EVC ビットストリームのリアルタイム再生の実現可能性を実証することを目的としています。 Kirin 990 SoC を搭載した Huawei P40 Pro スマートフォンがターゲットデバイスとして選択されました。 Android 10 ベースの EMUI 10.1 で動作し、合計 8 個の CPU コアを備えています。そのうちの 1 つは次のとおりです。

2.86GHz で動作する 2 つのハイエンド Cortex-A76 コア。
2.36GHz で動作する 2 つのミッドエンド Cortex-A76 コア。
1.95GHz で動作する 4 つのローエンド Cortex-A55 コア。

入力マテリアルとして、JVT-VC テストセットから「Kimono1」および「ParkScene」テストシーケンスが選択されました。どちらのテストシーケンスも、解像度 1080p、24 fps、カラーフォーマット 4:2:0、持続時間 10 秒です。

エンコーダ設定として、EVC Common Test Condition (CTC) のデフォルトのランダムアクセス設定が選択されました。量子化パラメータ (QP) 32 がターゲット QP として選択されました。

2. サポートされている EVC ツール

ターゲットデバイスでリアルタイムの再生速度を実現するために、ETM6.1 リファレンスソフトウェアでエンコードおよびデコードされたテストシーケンスで Android Profiler によって収集されたプロファイリング情報に基づいて、EVC ツールのサブセットが選択されました。図 1 と図 2 は、これら 2 つのシーケンスに対してターゲットデバイス上で取得されたプロファイリングデータを対応して示しています。

図 1. ETM6.1着物ビットストリームのデコードプロファイリング

図 2. ETM6.1 ParkScene ビットストリームデコードプロファイリング

プロファイリングデータに基づいて、表 1 にまとめたように EVC ツールのサブセットが選択されました。表内のツール名と略語は、EVC 仕様で定義されている標準的な意味に従います。

表 1. 初期のリアルタイムプレーヤー実装用に選択されたツールセット

ツールの短縮名	ツールのフルネーム	ETM6.1 CTC RA デフォルト設定	選択したツールセット
ADMVP	高度な動きベクトル予測	1	1
アフィン	アフィン予測	1	1
HTDF	アダマール変換ドメインフィルター	1	1
DMVR	デコーダ側の動きベクトルの導出	1	1
ADCC	高度な係数コーディング	1	1
追加DB	高度なブロック解除	1	1
アルフ	適応ループフィルター	1	0
AMVR	アダプティブモーションベクトル解像度	1	1
ATS	適応変換の選択	1	1
BTT	二分木と三分木	1	0
CM_INIT	コンテキストモデリングの初期化	1	1
DBF	デブロッキングフィルター	1	1
EIPD	強化されたイントラ予測方向	1	0
HMVP	履歴動きベクトル予測	1	1
iQT	高度な量子化と変換	1	1
MMVD	動きベクトルの違いとマージ	1	1
POCS	アドバンストピクチャーオーダー数	1	1
RPL	参考画像一覧	1	1
スーコ	スプリットユニットのコーディング順序	1	0
IBC	イントラブロックコピー	0	0

表 1 からわかるように、ほとんどの EVC ツールが選択したツールセットに含まれています。

3. 実装の詳細と再生

選択したツールセットでリアルタイム再生を実現するために、最上位の ETM 6.1 リファレンス SW で次の主な変更が実行されました。

MC 部分の最も重要な機能の ARM SIMD 実装
1 つのフレーム内の CTU ラインをウォーターフロントのように並列処理します。
デブロッキングフィルターの並列実装

実装を簡素化するために、Kirin SoC の最も強力な 4 つのコア (ハイエンドおよびミッドエンド) のみがプレーヤーで使用されるように選択されました。

その結果、プレーヤーはデバイス上で 24+ fps の再生を実証しました。 10 秒間の再生における平均デコード速度を表 2 にまとめます。

表 2. デバイス上での選択したツールセットの再生の平均結果

テストシーケンス	デコード速度 (fps)
パークシーン	24.39
着物1	25

再生速度を客観的および主観的にチェックするために、プレーヤーを Huawei P40 Pro スマートフォンに導入してテストしました。

図 3 は、デバイスでの着物ビットストリーム再生中のプレーヤーの画像を示しています。

図 3. Huawei P40 Pro で動作するプレーヤーの画像

4. 最適化されたデコーダのプロファイリング

図 4. 最適化されたデコーダーの着物ビットストリームプロファイリング

図 5. 最適化されたデコーダー ParkScene ビットストリームプロファイリング

5. CPU使用率

プレーヤーの現在の実装は、CPU コア使用量の点で Huawei P40 Pro 携帯電話向けに最適化されており、より具体的には、SW は 4 つの最も強力な Kirin 990 CPU コア (ハイエンドおよびミッドエンド) でのみ動作します。図 6 と図 7 は、10 秒間の再生中の 4 つの強力なコアごとの CPU 使用率を示しています。

図 6. ハイエンドおよびミッドエンドの CPU コア使用率。着物プレイバック。

図 7. ハイエンドおよびミッドエンドの CPU コア使用率。 ParkScene の再生。

6. 消費電力

消費電力を見積もるために、100% 充電されたデバイスでテストビットストリームの無限再生ループが開始され、エネルギー不足によりデバイスのスイッチがオフになるまでプロセスが動作しました。その結果、プレーヤーは 24 fps の一定速度で 4.5 時間以上動作しました。図 10 と 11 は、得られた結果をまとめたものです。

図10. 着物無限再生時の消費電力と再生速度

図 11. ParkScene の無限再生時の消費電力と再生速度

7. 結論

Solveig Multimedia によって実装された初期バージョンの EVC ソフトウェアプレーヤーは、EVC ビットストリームのリアルタイム再生が実現可能であり、適度な電力消費で最新のモバイルデバイスで使用できることを示しています。

https://www.solveigmm.com/en/howto/improvements-of-mobile-real-time-evc-decoder-and-player/

著者について

Olga Krovyakova は、2010 年から Solveig Multimedia のテクニカルサポートマネージャーを務めています。

彼女は、ビデオスプリッター、HyperCam、WMP トリマープラグイン、AVI Trimmer+、TriMP4 などの会社製品に関する多くのテキストおよびビデオガイドラインの著者です。

彼女は毎日プログラムを使って作業しているため、プログラムがどのように機能するかをよく知っています。ご質問がある場合は、 support@solveigmm.com経由で Olga までお問い合わせください。彼女は喜んでお手伝いします！

モバイル リアルタイム EVC プレーヤー MPEG の早期実装 2020 年 10 月提出