OpenVINO on IceLake (Vol.2)

なんだかスケートをしているようなタイトルの連載2回目、
Intelの第10世代CPU IceLakeでOpenVINOを試してみます

前回 同様、使用するのはDell XPS 13 2in1、搭載されているのは下記のCPUとなります
Intel(R) Core(TM) i7-1065G7 CPU @ 1.30GHz
このCPUはGPUを内包しており、64EUのIntel Iris Plus グラフィックスが搭載されています
また実行ユニット数は、過去最大であったIntel Iris Pro Graphics 580(i7-6770HQ)の72EUにつぐ多さとなっています
メモリはDDR4-3733 16GBが搭載されています

このPCにUbuntu18.04をインストールし、OpenVINOの実行をしますが、今回はCPUでの実行に注目してみましょう

前回 はsecurity_barrier_camera_demoで実行してみました
かなり速い結果が出たことを気付いた方はいらっしゃるでしょうか
こちらが FP16のモデルを使用し、security_barrier_camera_demo を10回実行した結果です

~/inference_engine_demos_build/intel64/Release/security_barrier_camera_demo -d CPU -d_va CPU -d_lpr CPU -i /opt/intel/openvino/deployment_tools/demo/car_1.bmp -m /openvino_models/ir/intel/vehicle-license-plate-detection-barrier-0106/FP16/vehicle-license-plate-detection-barrier-0106.xml -m_lpr /openvino_models/ir/intel/license-plate-recognition-barrier-0001/FP16/license-plate-recognition-barrier-0001.xml -m_va /openvino_models/ir/intel/vehicle-attributes-recognition-barrier-0039/FP16/vehicle-attributes-recognition-barrier-0039.xml -no_show;

FP16Icelake
1回目85.7
2回目99.9
3回目90.5
4回目105.1
5回目107.3
6回目84.9
7回目92.1
8回目100.4
9回目105.1
10回目99.2
Average97.02 FPS

こちらだけではわからないので、他のCPUで実行した結果も並べてみます

FP16IcelakeCometlake※1Skylake※2
1回目85.737.331.8
2回目99.933.836.5
3回目90.538.135.8
4回目105.137.531.3
5回目107.335.435.4
6回目84.933.136.4
7回目92.138.230.2
8回目100.431.231.6
9回目105.135.736.1
10回目99.236.331.9
Average97.02 FPS35.66 FPS33.7 FPS

※1: インテル® Core™ i5-10210U プロセッサー搭載 ノートPC
※2: インテル® Core™ i7-6770HQ プロセッサー搭載 PC

これらの比較は厳密にはメモリの帯域なども考慮しないといけませんが、CPUでの実行にかなりの差が出てきています
またCometlakeでは最大4.2GHzのクロックになり、Icelakeの3.9GHzを上回っています
メモリ帯域を差し引いたとしてもこれほどの差が出てくるとは思えません
SkylakeのPCですが、こちらは最大3.5GHzとなり、Cometlakeとの比較を考えるとなんとなく納得できます。

次にInt8のモデルを使用した計測結果はこちらです

INT8IcelakeCometlakeSkylake
1回目129.183.964.9
2回目127.678.357.5
3回目125.881.267.3
4回目12665.974.8
5回目1208577.2
6回目116.69074.4
7回目152.876.885.3
8回目112.477.386.7
9回目126.37885.5
10回目147.675.969
Average128.42 FPS79.23 FPS74.26 FPS

やはり、Icelakeのスピードが際立っています
平均値を基にどのくらい早くなっているかを表にすると下記のようになりました

 対 Skylake対 Cometlake
FP162.882.72
INT81.731.62

巷にあるベンチマークサイトなどではこのような結果は見当たりません
次回はこちらの謎を考えてみましょう

続く…