OpenVINO™
这是一个用于优化和部署人工智能推理的开源工具套件。可以提高计算机视觉、大语言模型、生成式AI、自动语音识别、自然语言处理和其他常见任务的深度学习性能;应用于使用TensorFlow、PyTorch、Paddlepaddle等广泛使用的人工智能框架训练的模型;减少算力资源需求,并在从边缘到云的一系列英特尔硬件平台上高效部署。
OpenVINO™开源版本包括几个组件:即Model Converter、OpenVINO™ Runtime、Neural Network Compression Framework,以及CPU、GPU、NPU、GNA、多设备和异构架构的插件,以加速英特尔CPU、英特尔图像处理器以及NPU上的深度学习推理。它支持Open Model Zoo的预训练模型,以及众多流行格式的开源和公共模型,如TensorFlow、ONNX、飞桨、MXNet、Caffe、Kaldi。
开源地址:https://github.com/openvinotoolkit
英特尔分发版OpenVINO 工具套件地址:
https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.htm
oneAPI
oneAPI是英特尔遵循开放标准推出的一个统一的软件开发套件,旨在使软件开发人员能够使用单一的代码库在不同的异构计算平台上开发应用程序。
它提供了一组标准化的应用编程接口(API),让软件开发人员在不同的计算平台上使用相同的代码开发应用程序。通过对于直接编程语言的支持及API函数方式支持,借助C++/SYCL、Python等语言,可以更好地发挥CPU、GPU、FPGA、AI 加速器等相关硬件的性能。
oneAPI包含了一系列领域专属的工具,适用于不同的技术领域及应用场景,助力软件开发人员在数字化转型及创新的过程中更便捷地调试、优化和部署解决方案。
开源地址: https://github.com/oneapi-src/
英特尔oneAPI产品及各领域专属工具套件产品信息及下载地址:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/overview.html
IPEX-LLM是一个基于Pytorch的大语言模型推理及微调的加速库。它帮助用户在英特尔硬件平台上,利用更少的计算与存储资源,加速开发使用基于大语言模型的人工智能应用。IPEX-LLM支持多种低精度(例如INT4 /NF4 /FP4 /INT5 /INT8 /FP8)实现,并和大语言社区生态友好结合,从而方便用户将大语言模型纳入到各类应用中。IPEX-LLM己经支持国内外多种模型家族(例如llama, gptneox, bloomz,ChatGLM, Baichuan,Qwen等),并提供了超过50个模型的示例代码。
Python是一种广泛使用的高级和通用且开放的编程语言,常用于各种用的快速开发。英特尔Python分发版,有效利用台式机、笔记本及服务器处理器中的所有核心,为高性能数值和科学计算提供了更接近原生代码的性能,
英特尔Python分发版的技术信息及下载地址:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/distribution-for-python.html
PyTorch是一个开源的应用于人工智能领域等领域的框架。广泛运用于机器学习、计算机视觉和自然语言处理等场景。英特尔PyTorch扩展为特定场景中运用CPU和GPU等硬件进行训练和推理提供了更好的性能。
开源地址: https://github.com/intel/intel-extension-for-pytorch
英特尔PyTorch 扩展的技术信息及下载地址:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/optimization-for-pytorch.html
TensorFlow 是一个端到端开源机器学习平台。助力研究人员推动先进机器学习技术的发展,并使开发者能够轻松地构建和部署由机器学习提供支持的应用。英特尔TensorFlow扩展为特定场景中运用CPU和GPU等硬件进行训练和推理提供了更好的性能。
开源地址:https://github.com/intel/intel-extension-for-tensorflow
英特尔TensorFlow扩展的技术信息及下载地址:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/optimization-for-tensorflow.html
采用英特尔赛扬处理器 ADL-N 系列,已通过 Windows, Ubuntu* Desktop 和 OpenVINO™ 工具套件的预验证,有助于在教育方面取得更多成绩。这一组合为学生提供了在 AI、视觉处理和物联网领域培养编程技能和设计解决方案原型所需的性能。
* 多任务处理性能(例如运行编码工作负载和创作数字内容),由具有四个线程的四核处理器实现。
* 通过 24 个执行单元加速英特尔超核芯显卡的 AI 性能,这些执行单元是英特尔显卡架构中针对同时多线程处理优化的计算处理器。
* 通过教室中的 Wi-Fi1提供更大的容量、速度和可靠性,以满足日益增长的访问大量在线开放式课程和数字课程的需求。
* 让学生能够使用一个外形紧凑的设备(具有 40 引脚通用输入和输出接头,可连接到传感器、灯、执行器和其他设备)学习和探索所需技能。
(1 个别设备可能需要补充WiFi连接必要的配件设备)
除独立提供AI算力外,兼容匹配更多高算力Intel设备作为边端结合的算力组合完成项目开发。
(哪吒板)
技术文档及上手案例参考:https://www.xzsteam.com/docs/
(爱克斯板)
(灵犀板)
搭载英特尔酷睿Ultra处理器的AI PC集成了CPU、锐炫集成显卡及NPU三大AI引擎,通过利用OpenVINO、IPEX-LLM等丰富的开源软件框架及优化的oneAPI工具链,快速进行AI调优及部署,开发可落地的创新应用,为充分利用大语言模型、文生图模型、多模态大模型实现自然语言处理、代码生成、音频生成、图片视频生成等能力提供加速的基础平台及能力。
https://www.intel.cn/content/www/cn/zh/products/docs/processors/core-ultra/ai-pc.html
英特尔锐炫™ A 系列显卡,皆内置硬件光线追踪、机器学习和AV1硬件编码加速功能。用户可以使用英特尔的OpenVINO™,OneAPI工具包开发的所有软件更好的通过调用GPU 加速AI代码推理。
Intel Core 13代:异构平台,高主频,提供Openvino模型上获得优秀性能,从而从 “端—边—云”快速实现高性能人工智能推理。Intel Xeon W7-2475X;多核心数,高主频,高拓展性,支持第三代英特尔® 深度学习加速,加速 AI 模型的训练和推理。
支持 DDR5 RDIMM 纠错码 (ECC) 内存以及可靠性、可用性和可维护性 (RAS) 功能,可防止系统错误,从而保护关键数据完整性和系统可靠性,最大限度地延长正常运行时间。
充分结合了 Intel Cyclone V SoC FPGA 器件丰富的功能和云连接的优势。开发者可以轻松地通过开发基于FPGA 的应用程序来收集、分析和响应来自 IoT 设备的数据。该开发套件已通过 Microsoft Azure 等关键云服务提供商(CSP)的认证,并附带开源设计示例,便于新用户首次体验 FPGA 作为边缘设备连接到云的过程。
http://www.terasic.com.cn/cgi-bin/page/archive.pl?Language=China&CategoryNo=180&No=1260#contents