OpenVINO™概述
OpenVINO™全称是Open Visual Inference & neural network optimization,直译为“ 开放式视觉推断与神经网络优化 ”。英特尔自从发布OpenVINO开发框架以来,因其强大的模型转换与模型推理加速性能,迅速得了广大开发者的认同与中小公司追捧,此外支持各种硬件指令加速、各种不同精度模型、支持模型拓扑结构与层次查看,支持集成现有的深度学习框架,OpenCV等计算机视觉开发框架集成使用。
OpenVINO整体架构与推理流程
OpenVINO™是英特尔将时下最流行的视觉相关处理和人工智能推断与神经网络计算等概念融合到一起的开发框架,可以在任何英特尔处理平台上进行无缝的应用,满足各种将人工智能与视觉处理植入到各种物联网的应用中的时代需求,从而真正实现云端和边缘端对智能化运算的理想算力分布优化,并更大的发挥异构计算模式的应用价值。
OpenVINO对各种图形图像处理算法进行了针对性的优化,从而扩展了Intel的各类算力硬件以及相关加速器的应用空间,实现了AI领域的异构计算,使传统平台的视觉推断能力得到了很大程度的提高。OpenVINO实现了一套通用的API,可以混合调用CPU、GPU、Movidius NCS和FGPA的算力来共同完成一次视觉推断,预先实现了一系列的功能库、OpenCL kernel等,可以缩短产品面世时间。
基于OpenVINO,英特尔从图像采集设备到云的全面视觉战略将加速推进视频技术在各个行业中的应用,在新零售、教育、智能交通、智慧金融、智慧城市、智能工厂以及无人驾驶等领域,OpenVINO已经在国内外众多顶尖企业的解决方案中展现出强大的优势。
OpenVINO™ toolkit简介
OpenVINO™工具包可快速部署模拟人类视觉的应用程序和解决方案。该工具包基于卷积神经网络(CNN),可在英特尔®硬件上扩展计算机视觉(CV)工作负载,从而最大限度地提软硬件高性能。OpenVINO™工具箱包括深度学习部署工具箱(DLDT)。
OpenVINO工具包特色:
OpenVINO包括以下组件:
深度学习部署工具包(DLDT)
深度学习模型优化器(Model Optimizer)
一种跨平台的命令行工具,用于导入模型并为通过推理引擎进行最佳执行做准备。Model Optimizer导入,转换和优化模型,这些模型在流行的框架(例如Caffe ,TensorFlow ,MXNet,Kaldi和ONNX *)中进行了培训。
深度学习推理引擎(Inference Engine)
统一的API,可对多种硬件类型进行高性能推理,包括英特尔®CPU,英特尔®集成显卡,英特尔®Movidius™神经计算棒,英特尔®神经计算棒2和采用英特尔®的英特尔®视觉加速器设计Movidius™VPU
示例:一组简单的控制台应用程序,展示了如何在应用程序中使用推理引擎
Open Model Zoo开放式模型库
演示:控制台应用程序,演示如何在应用程序中使用推理引擎来解决特定用例
工具:用于下载模型和检查准确性的其他工具
预训练模型的文档:Open Model Zoo存储库中提供的预训练模型的文档
OpenCV-为英特尔®硬件编译的OpenCV *社区版本
OpenCL™2.1版的驱动程序和运行时
英特尔®Media SDK
OpenVX * -为实现在Intel®硬件(CPU,GPU,IPU)上运行而优化的Intel OpenVX *实现。
Win 10安装配置OpenVINO指南
OpenVINO全称为开放式视觉推理和神经网络优化(Open Visual Inference & Neural Network Optimization),其前身是英特尔计算机视觉SDK(Computer Vision SDK),通过工具包中集成的三个全新API:深度学习部署工具包、通用的深度学习推理工具包以及OpenCV和OpenVX的优化功能,支持TensorFlow\MXNet和Caffe框架。
环境:
Win 10
Visual studio 2015
Cmake 3.6.3
Python3.6.4
OpenCV4
一、下载OpenVINO
地址:https://software.intel.com/content/www/cn/zh/develop/tools/openvino-toolkit/choose-download/windows.html
二、安装OpenVINO
双击下载的w_openvino_toolkit_p_2020.*.***.exe,
按照向导,点击Next。
完成之后可能会提示需要重启电脑。
如果需要依赖的软件没有安装,在安装过程会出现提示
但是这并不会中断安装过程,安装完成之后可按提示安装缺失的依赖项。
三、设置环境变量
cd C:\Program Files (x86)\IntelSWTools\openvino\bin\
setupvars.bat
这种设置只是在当前cmd窗口有效,一旦关闭cmd就失效了,下次需要重复这样的操作。永久有效的方式是添加到环境变量Path。
四、配置Model Optimizer
OpenVINO支持Caffe, TensorFlow, MXNet, and ONNX,可以将它们训练的模型转化成IR格式供推理引擎使用。.xml:描述网络的拓扑结构
.bin:包含权重和偏差的二进制数据
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\install_prerequisites
install_prerequisites.bat
install_prerequisites_caffe.bat
install_prerequisites_tf.bat
install_prerequisites_mxnet.bat
install_prerequisites_onnx.bat
install_prerequisites_kaldi.bat
五、验证安装
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\
demo_squeezenet_download_convert_run.bat
会自动下载一个训练好的SqueezeNet model,并且使用Model Optimizer转化成IR格式的数据,运行成功之后显示如下:demo_security_barrier_camera.bat
官方安装指南(英文版):https://docs.openvinotoolkit.org/latest/openvino_docs_install_guides_installing_openvino_windows.html
【完】
IT基础设施建设,服务器ODM以及云计算、大数据、HPC与人工智能等计算平台解决方案提供商
地址:上海市松江区莘砖公路258号临港松江科技城36号楼101
电话:021-57890628
官网:www.pcserver.cn
为寻求品牌升级以及更好的服务于客户,上海连众团队于19年成立湃鲸网络科技(上海)有限公司