微软正式升级Windows 11系统的底层AI框架
近期,微软微软正式升级Windows 11系统的正式底层AI框架,实验性原生支持GGUF和ONNX两大主流模型格式的升级本地推理,以后用户不用额外安装复杂的底层第三方软件,直接在系统层面就能运行本地大模型,框架门槛直接降到几乎为零。微软
过去普通玩家在Windows电脑上跑本地大模型,正式流程非常繁琐:首先要先下载专门的升级第三方推理工具,接着从开源社区找对应格式的底层模型文件,还要手动配置环境变量、框架调整硬件加速参数,微软哪怕是正式对技术比较熟悉的用户,第一次折腾也要花好几个小时才能跑通,升级普通用户更是底层根本摸不着门道。而且不同的框架工具适配的模型格式还不一样,想换个不同格式的大模型试试,整个配置流程几乎要重来一遍,很多人折腾到一半就直接放弃了。
这次微软升级的Windows ML本地AI推理框架,直接和开源社区深度合作,在系统底层原生加入了对GGUF和ONNX两大主流模型格式的支持。GGUF是现在本地大模型领域的事实标准格式,几乎所有开源社区的主流本地大模型都采用这种格式封装,ONNX是跨平台通用的开放神经网络交换格式,大量工业级AI应用都基于这套格式开发。现在Windows 11系统原生就能直接识别这两种格式的模型文件,开发者不用再做复杂的格式转换,用户也不用额外安装第三方推理环境,直接就能在本地加载运行模型。
为了进一步提升本地运行的性能,微软还和英伟达深度合作,针对Windows平台的硬件适配贡献了大量底层性能优化代码。升级之后系统新增了专门的Windows ML Runtime API,比过去的推理路径拥有更高的运行性能、更深的系统级集成,开发者可以直接调用这套系统接口,快速给应用添加上文本生成、语音识别这类本地AI功能,不用自己从零搭建复杂的推理引擎,开发效率大幅提升。普通用户最直观的感受就是,大模型在自己的Windows电脑上本地运行的速度明显变快,哪怕是普通配置的家用电脑,也能流畅跑起主流的7B级大模型。
在实际使用的过渡层面,微软也做了非常平滑的兼容设计。过去大家广泛使用的ONNX Runtime API依然得到完整的官方支持,不会出现旧的AI应用突然没法运行的问题,同时微软明确表示,未来针对Windows平台的AI性能优化资源,会优先投向全新的Windows ML Runtime API,开发者可以根据自己的项目进度,自主选择合适的迁移时机,不用被迫仓促完成技术升级。这套新的系统接口还直接自带了封装好的文本生成API和语音识别API,开发者不用再自己处理复杂的底层推理逻辑,几行简单的代码就能给应用添加上本地AI能力。
目前这套实验性的原生本地推理能力已经随最新的Windows 11版本推送,后续微软还会持续迭代优化兼容性和运行性能,逐步把本地AI能力变成Windows系统的基础原生能力,让更多普通用户不用折腾复杂配置,就能轻松在自己的电脑上用上完全离线、数据不会上传云端的本地大模型。
相关文章
近日,中节能国祯智能装备公司24台自吸式螺旋曝气机顺利发往英国,标志着公司装备制造板块海外市场开拓取得又一重要成果,充分展现了国产环保装备的过硬实力。本次出口设备全面满足英国环保工程在安全、性能及认证2026-11-03
首次“双收”迎增收——安徽部分地区大豆玉米带状复合种植收获记
金秋十月,淮河两岸,秋收秋种正忙。在安徽省阜阳市颍上县杨湖镇,种粮大户赵化正忙着摊晒新收的玉米和大豆。今年颍上县首次推广大豆玉米带状复合种植,勇于尝鲜的他种植了近1300亩。4行玉米、6行大豆间作套种2026-11-03
近来,汉阴县天气呈现复杂显著特征,多数乡镇日最高气温保持在37℃以上,局部地区更是达40℃以上,午后到夜间强对流天气频发,分散性短时强降雨、雷电大风交替出现,秋粮作物面临着高温热害、大风倒伏、短时渍涝2026-11-03
世界乒乓球职业大联盟WTT)欧洲大满贯赛瑞典站10日展开正赛首日争夺。中国队六位选手晋级32强,其中覃予萱在女单首轮经过五局激战,力克日本名将伊藤美诚;林诗栋则在与队友陈垣宇的男单首轮较量中以3:1胜2026-11-03
150亿!光大安石全国首单地产基金储架式商业REITs第4期成功发行
核心提示:本项目是光证资管于深交所获批的150亿元储架批文项下发行的首期产品,发行规模44亿元。 近日,由光大证券担任牵头销售机构,光2026-11-03
“2022中国最具幸福感城市”调查推选结果21日在杭州举行的2022中国幸福城市论坛上发布。成都、杭州等10个省会及计划单列市,温州、台州等11个地级城市,太仓、瑞安等10个县级城市,宁波市鄞州区、广2026-11-03

最新评论