当前位置: 首页>资讯 >

软硬件双向驱动 英特尔加速AI on PC落地

来源: 中关村在线 | 时间: 2023-08-30 18:12:57 |

以ChatGPT、Claude2、Stable Diffusion、Midjourney等为代表的生成式AI崛起的背后,是大众用户亲眼看到了AI技术切实落地到了实际应用之中,并为工作、创作、创意带来前所未有的效率提升。它与AI1.0时代的卷积神经网络、深度学习等看起来就颇具技术门槛的核心技术相比,显然更接地气,更容易为大众所接受。

毫无疑问,如今的我们正处在人工智能技术发展的关键阶段,它正在逐渐渗透到人类生活、工作、学习的方方面面。而生成式AI作为AI宏观体系中的一次大突破,正以惊人速度改变着自然语言处理、创意生成以及智能助手等领域的实践落地。而在这个过程中,英特尔作为半导体、软件、AI等技术领域的领导者和领先者,正以其强大的软硬件支持,为生成式AI的蓬勃发展构筑核心生态。

·硬件:AI普及的关键是让普通电脑也能轻松跑动各种大模型


(资料图片仅供参考)

一般来说,绝大部分AI相关应用的着力点在GPU,因为它拥有强大的并行计算能力和浮点性能。但是此前在大湾区的一场技术分享会上,英特尔颠覆了我们对于AI计算硬件的认知。

通过构建BigDL-LLM库的方式,英特尔让ChatGPT这样的大语言模型顺利运行在了支持AI加速引擎的第12代和13代酷睿处理器平台上,并通过一系列优化使其速度达到了非常流畅的级别。即便是主打续航、便携能力的轻薄本,也能在16GB及以上内存容量平台中顺利运行最高达160亿参数的大语言模型。而让普普通通的笔记本电脑都能够顺利支持AI应用,这必然会为AI普及构筑出前所未有的坚实基础。

此外,BigDL-LLM库不仅支持ChatGPT一种大语言模型,它还实现了对LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama等多个大语言模型的支持。而且英特尔还提供了易用的LangChain开源框架、Transformers神经网络API接口,并顺利支持Windows、Linux操作系统,从而为不同平台的开发者们也带来了巨大便利。

此外别忘了,英特尔现在也是高性能GPU领域的参与者,旗下的锐炫GPU不仅拥有应用于大型数据中心、服务器领域的产品,在消费市场落地的锐炫A系列显卡同样能够为生成式AI应用提供可靠的算力支持。因此在Stable Diffusion、Midjourney这样的需要GPU算力的图像生成式AI应用领域,英特尔同样能够提供“专业对口”的硬件支持。如台式机端的13代酷睿i7-13700K处理器加上锐炫A770独显,就能够非常高效地运行Stable Diffusion。

·软件:积极拥抱AI社区通过软件优化提升AI应用体验

如果说硬件为应用落地构建了基础,那么软件就是如何在基础之上构建高楼,而软件层面的优化,则是考虑如何让“高楼”从毛坯变成精装。

一直以来,英特尔在软件领域的投入都十分令人瞩目。通过精心构建软件生态,优化模型性能,英特尔为生成式AI在个人电脑端的应用创造了有利条件。

英特尔积极拥抱AI社区,通过基于OpenVINO PyTorch后端的方案,使得开源模型能够在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上顺畅运行。

同样以生成式AI应用中最火的图形视觉领域为例,英特尔开发了一套专门的AI框架,它可以在开启OpenVINO加速的情况下,仅通过一行代码的安装,就可以加速PyTorch模型运行。此时,就可以让Stable Diffusion Automatic1111 WebUI在集成显卡和锐炫独立显卡上流畅运行。

我们在一台13代酷睿i7-13700H处理器+锐炫Xe核显机器上试着让Stable Diffusion生成一张图片,所提的需求并未太过复杂,总体耗时为44秒,完成速度算是相当快的了,毕竟这是在移动平台的核显上做的图片渲染和生成。

目前,单单是96EU的锐炫Xe核显,就可以支持在Stable Diffusion上运行FP16精度的模型,从而快速生成高质量图片,为内容创作、视觉创意提供便利。

从这一案例可以看出,无论是文字生成图片还是图片生成图片,英特尔通过软件优化、模型优化,将模型对硬件资源的需求尽可能降到最低,从而提升模型的推断速度,确保那些以往需要高性能显卡才能运行的开源模型能够在个人电脑上也能高效运行,这对于AI应用普及同样是意义非凡。

·英特尔大语言模型应用落地12代、13代酷睿电脑全部支持

在8月18日举办的大湾区技术分享会上,英特尔还进一步展示了其软硬件体系在大语言模型应用方面的实际表现。通过集成了ChatGLM2、LLa MA2和Star Coder三个大语言模型的英特尔大语言模型应用Demo,成功展示了这些大语言模型在中文和英文应用方面的表现。

比如我们通过它询问了“AI在PC领域上的应用”,它的首次响应延迟只有215.3ms,也就是在提交问题到AI识别问题,再到开始生成问题答案的过程只有215.3ms,可以说是非常迅速。

此外可以看到,这款软件集成了中文、英文、代码三种语言环境,对应功能的指向性也很明确。聊天、情感分析、中文翻译、故事创作等等,可以说是涵盖了大语言模型的常见应用。这样的分类可以帮助用户更加明确地向AI提出需求,而如何明确、正确提出需求,本身也是目前AI应用中的难点之一。

我们也试着向AI提出了“和女朋友吵架了怎么哄她”的情感分析需求,首次响应时间为249.8ms,比上一个问题响应慢一些,可见和女朋友的情感问题摆在AI面前,它也需要多加思考一番。

英特尔借助软件端优化和量化操作,使得大语言模型在进行回答时能够以非常快的速度生成答案,并且不影响整机使用流畅性,这同样也是AI应用普及的重要一步。目前英特尔已经发布了这套Demo,任何搭载英特尔12代和13代酷睿的电脑都可以直接安装并进行体验。

·英特尔:AI on PC的核心赋能者

英特尔不仅仅是AI技术的提供者,更是让AI on PC从“PPT”走向实际落地的核心赋能者。

借助支持AI加速引擎的12代、13代酷睿处理器,借助具备高效浮点性能的锐炫GPU等强力硬件,并且快速推出英特尔大语言模型应用Demo以及通过后端优化和OpenVINO加速来更好地支持Stable Diffusion图形视觉领域的AI应用,AI借助PC实现全面普及只是时间问题。

现阶段,大众用户对于生成式AI应用的使用意愿极为强烈,因为它确实能够解决很多实际问题。如提升办公效率、提供辅助设计和创意理念等等,这些应用能够彻底改变人类现阶段的工作、生活方式,激发人们在创作、创意层面的灵感,而硬件性能强大的电脑无疑是最佳载体。

除了已经发布的第12代与13代酷睿之外,英特尔下一代Meteor Lake处理器也将进一步强化对于AI的底层支持,专门设计的NPU将为AI应用带来更加高效的体验。

在生成式AI集中落地的大潮中,英特尔是一个不可或缺的关键因素。从强劲性能的硬件支持到模型优化的软件技术,英特尔为生成式AI的发展提供了全方位支持。在英特尔的引领下,生成式AI与PC将实现惊人的化学反应,为人类带来更智能、更富创意PC使用体验。

(8301813)

关键词:

 

热文推荐

软硬件双向驱动 英特尔加速AI on PC落地

以ChatGPT、Claude2、StableDiffusion、Midjourney等为代表的生成式AI崛起的背后,

2023-08-30

黑龙江将迎来养老金重新核算及补发,月领3200元养老金能补发多少钱?

黑龙江养老金重算补发,近日成为了一个备受关注的话题。从2023年8月份

2023-08-30

锦江酒店:上半年归母净利润约5.23亿元,休闲游及商务差旅消费需求明显释放

锦江酒店:上半年归母净利润约5 23亿元,休闲游及商务差旅消费需求明显

2023-08-30

勇士将达成签约!库里正式表态,保罗压力很大,克莱科尔也是关键

本赛季的休赛期,勇士队的补强计划总是和其他球队格格不入。首先,他们

2023-08-30

莫利亚酒吧(关于莫利亚酒吧简述)

,你们好,今天0471房产来聊聊一篇利亚酒吧,利亚酒吧简述的文章,网友

2023-08-30

京东仓储REIT上市半年净利润1670万元,出租率保持100%

封面新闻记者付文超8月29日,嘉实京东仓储基础设施REIT(以下简称“京

2023-08-30

谷歌“牵手”英伟达,能否凭借AI工具抢夺微软、亚马逊的市场份额?

谷歌云和英伟达近日宣布,将合作关系拓展至高级云计算领域,以支持人工

2023-08-30

上海电影:公司向特定对象发行A股股票方案尚待进一步优化

上海电影公告,近期,公司董事会讨论了拟向特定对象发行A股股票募集资

2023-08-30

《巨齿鲨2:深渊》密钥将延长上映至10月2日,累计总票房8.16亿

由杰森·斯坦森、吴京主演的电影《巨齿鲨2:深渊》宣布密钥延期,将延

2023-08-30

一个人的优点有哪些句子(一个人的优点有哪些)

大家好,小乐来为大家解答以上的问题。一个人的优点有哪些句子,一个人

2023-08-30

奇迹闪电轰顶跟力量有关系吗 奇迹闪电轰顶

1、不能这么说,只要等级到220,智力达到要求。2、就可以学。本文到此

2023-08-30

2023年“郑洁杯”青少年网球巡回赛泰安收拍

中新网泰安8月29日电 2023年 YONEX“郑洁杯”青少年网球巡回赛泰

2023-08-29

内蒙古发生一起重大刑案,警方发布协查通报

内蒙古赤峰市阿鲁科尔沁旗公安局微信公众号“阿旗公安”8月29日发布协

2023-08-29

守护蜀道古柏,“警察蓝”在行动

广元市剑阁县翠云廊古蜀道,两侧柏树修长挺拔、苍劲有力,郁郁葱葱绵延

2023-08-29

天空:曼联与霍伊别尔初步接触,不排除夏窗不再有重要引援

天空:曼联与霍伊别尔初步接触,不排除夏窗不再有重要引援,曼联,拜仁,

2023-08-29

【20230829收评】风格转换预示大盘真正的企稳

【盘面】周二沪深两市双双小幅低开,双创板强势反弹,带动大盘低开高走

2023-08-29

全总拨付9.6亿元中央财政资金开展职工困难帮扶项目

全国总工会日前下拨9 6亿元中央财政职工困难帮扶资金,支持巩固城市困

2023-08-29

A股、港股双双冲高:创业板指大涨3.47%、恒科指涨2.8% 机器人概念股掀涨停潮

8月29日周二,A股三大指数低开高走,沪指涨超1%,深成指涨超2%,创业板

2023-08-29

男子戴假发“拉车门”行窃 用赃款请人喝酒时被抓  

今日镇江讯(景泊聂颖邵臻)私家车未上锁,车内15000元现金被盗。车主

2023-08-29

又是一场零封!⛔️自阿尔贝托·丰塔纳(2001...

又是一场零封!⛔️自阿尔贝托·丰塔纳(2001-2003)以来,索默成为首位

2023-08-29