OpenVINO on IceLake (Vol.8)

なんだかスケートをしているようなタイトルの連載8回目、
Intelの第10世代CPU IceLakeでOpenVINOを試してみます

前回同様、使用するのはDell XPS 13 2in1、搭載されているのは下記のCPUとなります
Intel(R) Core(TM) i7-1065G7 CPU @ 1.30GHz
このCPUはGPUを内包しており、64EUのIntel Iris Plus グラフィックスが搭載されています
また実行ユニット数は、過去最大であったIntel Iris Pro Graphics 580（i7-6770HQ）の72EUにつぐ多さとなっています
メモリはDDR4-3733 16GBが搭載されています

こちらの連載、のんびりしていたらIntelからTigerLakeが正式発表されました
予想通りと言ってはなんですが、EUの数が増えて、最大96基となります
これだけで、1.3倍の処理速度向上が見込めます
またクロックがIceLakeよりも高いとのことですので、こちらも処理速度向上が見込めます
OpenVINO.jpでもTigerLakeが手に入り次第、詳しく調査したいと思います

今回は、i7-6770HQとIceLakeに搭載されているGPUを実際のベンチマークを元に比較したいと思います

ベンチマークに使用したのはいつもの通りsecurity_barrier_camera_demoでFP16のモデルを使用し、security_barrier_camera_demo に1分間のmp4を入力しました

パラメータは以下の通りですが、今回はいろいろな方の助言を受けて、-nireq, -streams, -threadsを使用しました
こちらのパラメータの意味は以下の通りです

-nireq Optional. Number of infer requests. 0 sets the number of infer requests equal to the number of inputs.

-nstreams “<integer>” Optional. Number of streams to use for inference on the CPU or/and GPU in throughput mode (for HETERO and MULTI device cases use format <device1>:<nstreams1>,<device2>:<nstreams2> or just <nstreams>)

-nthreads “<integer>” Optional. Number of threads to use for inference on the CPU (including HETERO and MULTI cases).

上記オプションに加えて、下記のコマンドにより実行しています
また、今回はGPUに負荷をかけるために、デバイス指定は全てGPUにしています

~/inference_engine_demos_build/intel64/Release/security_barrier_camera_demo -d GPU -d_va GPU -d_lpr GPU -i /opt/intel/openvino/deployment_tools/demo/test.mp4 -m /openvino_models/ir/intel/vehicle-license-plate-detection-barrier-0106/FP16/vehicle-license-plate-detection-barrier-0106.xml -m_lpr /openvino_models/ir/intel/license-plate-recognition-barrier-0001/FP16/license-plate-recognition-barrier-0001.xml -m_va /openvino_models/ir/intel/vehicle-attributes-recognition-barrier-0039/FP16/vehicle-attributes-recognition-barrier-0039.xml -no_show;

-nireq	-nstreams	-nthreads	Core i7-6770HQ	Core i7-1065G7
1	1	1	108.0	173.1	160.28%
1	1	2	110.9	177.5	160.05%
1	1	4	108.2	164.1	151.66%
1	1	8	106.0	173.6	163.77%
1	2	1	106.8	178.4	167.04%
1	2	2	108.5	159.0	146.54%
1	2	4	105.9	147.4	139.19%
1	2	8	110.1	172.0	156.22%
1	4	1	108.7	168.5	155.01%
1	4	2	107.2	178.8	166.79%
1	4	4	104.3	174.3	167.11%
1	4	8	109.1	143.9	131.90%
1	8	1	107.1	170.6	159.29%
1	8	2	106.4	161.3	151.60%
1	8	4	108.3	170.6	157.53%
1	8	8	106.3	164.5	154.75%
2	1	1	111.9	210.8	188.38%
2	1	2	110.5	174.4	157.83%
2	1	4	110.7	209.5	189.25%
2	1	8	110.9	208.9	188.37%
2	2	1	122.8	205.8	167.59%
2	2	2	124.5	202.3	162.49%
2	2	4	123.4	203.2	164.67%
2	2	8	123.7	205.3	165.97%
2	4	1	121.3	205.0	169.00%
2	4	2	122.0	205.2	168.20%
2	4	4	122.1	204.6	167.57%
2	4	8	121.9	197.3	161.85%
2	8	1	120.0	202.3	168.58%
2	8	2	119.6	196.4	164.21%
2	8	4	120.4	202.3	168.02%
2	8	8	117.5	201.6	171.57%
4	1	1	111.2	197.7	177.79%
4	1	2	110.7	209.6	189.34%
4	1	4	111.4	203.6	182.76%
4	1	8	109.8	203.4	185.25%
4	2	1	114.0	179.6	157.54%
4	2	2	113.0	176.8	156.46%
4	2	4	111.9	175.8	157.10%
4	2	8	113.3	178.0	157.11%
4	4	1	117.7	175.6	149.19%
4	4	2	116.2	176.9	152.24%
4	4	4	118.6	171.4	144.52%
4	4	8	116.4	178.0	152.92%
4	8	1	116.8	171.9	147.17%
4	8	2	117.4	174.8	148.89%
4	8	4	117.3	175.7	149.79%
4	8	8	118.0	173.9	147.37%
8	1	1	106.3	208.1	195.77%
8	1	2	110.2	209.6	190.20%
8	1	4	113.3	202.5	178.73%
8	1	8	111.3	208.7	187.51%
8	2	1	112.7	179.2	159.01%
8	2	2	116.9	182.5	156.12%
8	2	4	112.8	177.2	157.09%
8	2	8	115.1	175.7	152.65%
8	4	1	115.3	173.2	150.22%
8	4	2	116.5	174.0	149.36%
8	4	4	118.1	177.7	150.47%
8	4	8	118.6	180.5	152.19%
8	8	1	117.2	174.8	149.15%
8	8	2	118.0	178.9	151.61%
8	8	4	119.4	177.4	148.58%
8	8	8	116.4	176.4	151.55%