快科技 3 月 4 日音讯黑丝诱惑,微软今天告示,通过 Azure AI Foundry 接入 DeepSeek 的 R1 7B 和 14B 蒸馏模子,Copilot+ PC 可收尾腹地运转这些模子。
其实早在本年 1 月,微软就告示要把 DeepSeek-R1 模子的 NPU 优化版块带到搭载高通骁龙 X 处分器的 Copilot+ PC 上。
微软示意,这些模子将当先在搭载高通骁龙 X 处分器的建造上上线,随后膨胀到英特尔酷睿 Ultra 200V 和 AMD 锐龙处分器的建造。
黑丝诱惑
这些模子运转在 NPU 上,不错在减少对 PC 电板续航和散热性能影响的同期,捏续得回 AI 预备才气,同期 CPU 和 GPU 不错履行其他任务,普及建造的举座成果。
微软还强调,他们使用了里面自动量化器具 Aqua,将通盘 DeepSeek 模子变体量化为 int4 权重。
不外当今模子的速率仍然较低,14B 模子仅为 8 tok/sec,而 1.5B 模子接近 40 tok/sec,微软示意正在进一步优化以普及速率。
拓荒者不错通过下载 AI Toolkit VS Code 膨胀,在 Copilot+ PC 上运转 DeepSeek 模子的沿路蒸馏版块(1.5B、7B 和 14B)。
奇米影视盒官方下载