OpenVINO on IceLake (Vol.2)

なんだかスケートをしているようなタイトルの連載2回目、
Intelの第10世代CPU IceLakeでOpenVINOを試してみます

前回同様、使用するのはDell XPS 13 2in1、搭載されているのは下記のCPUとなります
Intel(R) Core(TM) i7-1065G7 CPU @ 1.30GHz
このCPUはGPUを内包しており、64EUのIntel Iris Plus グラフィックスが搭載されています
また実行ユニット数は、過去最大であったIntel Iris Pro Graphics 580（i7-6770HQ）の72EUにつぐ多さとなっています
メモリはDDR4-3733 16GBが搭載されています

このPCにUbuntu18.04をインストールし、OpenVINOの実行をしますが、今回はCPUでの実行に注目してみましょう

前回はsecurity_barrier_camera_demoで実行してみました
かなり速い結果が出たことを気付いた方はいらっしゃるでしょうか
こちらが FP16のモデルを使用し、security_barrier_camera_demo を10回実行した結果です

~/inference_engine_demos_build/intel64/Release/security_barrier_camera_demo -d CPU -d_va CPU -d_lpr CPU -i /opt/intel/openvino/deployment_tools/demo/car_1.bmp -m /openvino_models/ir/intel/vehicle-license-plate-detection-barrier-0106/FP16/vehicle-license-plate-detection-barrier-0106.xml -m_lpr /openvino_models/ir/intel/license-plate-recognition-barrier-0001/FP16/license-plate-recognition-barrier-0001.xml -m_va /openvino_models/ir/intel/vehicle-attributes-recognition-barrier-0039/FP16/vehicle-attributes-recognition-barrier-0039.xml -no_show;

FP16	Icelake
1回目	85.7
2回目	99.9
3回目	90.5
4回目	105.1
5回目	107.3
6回目	84.9
7回目	92.1
8回目	100.4
9回目	105.1
10回目	99.2
Average	97.02 FPS

こちらだけではわからないので、他のCPUで実行した結果も並べてみます

FP16	Icelake	Cometlake※1	Skylake※2
1回目	85.7	37.3	31.8
2回目	99.9	33.8	36.5
3回目	90.5	38.1	35.8
4回目	105.1	37.5	31.3
5回目	107.3	35.4	35.4
6回目	84.9	33.1	36.4
7回目	92.1	38.2	30.2
8回目	100.4	31.2	31.6
9回目	105.1	35.7	36.1
10回目	99.2	36.3	31.9
Average	97.02 FPS	35.66 FPS	33.7 FPS

※1: インテル® Core™ i5-10210U プロセッサー搭載ノートPC
※2: インテル® Core™ i7-6770HQ プロセッサー搭載 PC

これらの比較は厳密にはメモリの帯域なども考慮しないといけませんが、CPUでの実行にかなりの差が出てきています
またCometlakeでは最大4.2GHzのクロックになり、Icelakeの3.9GHzを上回っています
メモリ帯域を差し引いたとしてもこれほどの差が出てくるとは思えません
SkylakeのPCですが、こちらは最大3.5GHzとなり、Cometlakeとの比較を考えるとなんとなく納得できます。

次にInt8のモデルを使用した計測結果はこちらです

INT8	Icelake	Cometlake	Skylake
1回目	129.1	83.9	64.9
2回目	127.6	78.3	57.5
3回目	125.8	81.2	67.3
4回目	126	65.9	74.8
5回目	120	85	77.2
6回目	116.6	90	74.4
7回目	152.8	76.8	85.3
8回目	112.4	77.3	86.7
9回目	126.3	78	85.5
10回目	147.6	75.9	69
Average	128.42 FPS	79.23 FPS	74.26 FPS