微软发布为 Win11 用户优化 DeepSeek
发表时间:2025年01月31日浏览量:
IT之家 1 月 30 日新闻,人工智能正减速向着边沿盘算范畴开展,Copilot+ PC 在此中表演侧重要脚色。跟着 DeepSeek R1 呈现,微软也认识到了这一模子可能会带来了一系列变更。微软本日发文,发布推出针对 NPU 优化的 DeepSeek-R1(IT之家注:已在 Azure AI Foundry 跟 GitHub 上供给),首批将面向搭载高通骁龙 X 芯片的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。微软表现,首个版本 DeepSeek-R1-Distill-Qwen-1.5B 将在 AI Toolkit 中供给,7B 跟 14B 版本也将很快推出,从而辅助开辟者充足应用 Copilot+ PC 中强盛的 NPU 设置。微软表现,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,天生式 AI 不只能够在被挪用时履行,还能够支撑半持续运转的效劳。这使开辟者可能应用 AI 推理引擎来构建自动跟连续的休会。微软表现:经由过程咱们在 Phi Silica 上的任务,咱们实现了高效的推理 —— 在初次天生 token 的时光跟吞吐率方面表示杰出,同时对电池续航跟 PC 资本耗费的影响降至最低。针对 NPU 优化的 DeepSeek 模子鉴戒了该名目的多项要害教训跟技巧,包含怎样分别模子的各个局部以实现机能与效力的最佳均衡、低比特率量化以及将 Transformer 映射到 NPU。别的,咱们还应用 Windows Copilot Runtime(WCR)经由过程 ONNX QDQ 格局在多样化的 Windows 生态体系中实现扩大。微软表现,要想在 Copilot+ PC 上休会 DeepSeek 只要下载 AI Toolkit VS Code 扩大即可;以 ONNX QDQ 格局优化的 DeepSeek 模子将很快呈现在 AI Toolkit 的模子目次中(直接从 Azure AI Foundry 中拉取)。用户能够经由过程点击“下载”按钮将其下载到当地。下载实现后,只要翻开 Playground 加载“deepseek_r1_1_5”模子,并给出提醒词即可开端试验。除了为 Copilot+ PC 优化的 ONNX 模子外,你还能够经由过程点击“DeepSeek R1”下的“Try in Playground”按钮,在 Azure Foundry 中实验云托管的源模子。如下图所示,微软还展现了原始模子跟量化模子的示例,以展示两者之间渺小但确切存在的差别:▲ 雷同提醒下原始模子(左)与 NPU 优化模子(右)的呼应示例,包含模子的推理才能