В январе Microsoft объявила о планах внедрения оптимизированных для NPU версий модели DeepSeek-R1 непосредственно на компьютеры Copilot+, работающие на процессорах Qualcomm Snapdragon X. В феврале DeepSeek-R1-Distill-Qwen-1.5B был впервые выпущен в AIToolkit для VSCode.
Сегодня компания из Редмонда официально объявила о доступности своих усовершенствованных моделей DeepSeek R1 7B и 14B для вычислительной платформы Copilot+ через Azure AI Foundry. Возможность запуска моделей 7B и 14B непосредственно на устройстве Copilot+ позволит разработчикам создавать более мощные приложения ИИ, которые ранее были невозможны.
Поскольку эти модели работают на нейронных процессорах, пользователи могут рассчитывать на стабильную работу искусственного интеллекта с незначительным влиянием на срок службы батареи и тепловые характеристики компьютера. Кроме того, центральный и графический процессоры будут освобождены для выполнения других более важных задач в системе.
Microsoft подчеркивает, что они использовали Aqua, собственный инструмент автоматического квантования, для квантования всех вариантов модели DeepSeek до int4. Однако скорость обработки токенов этой модели довольно низкая. Microsoft сообщает всего о 8 токенах в секунду для модели 14 млрд и почти о 40 токенах в секунду для модели 1,5 млрд. Microsoft заявляет, что продолжает оптимизировать работу для повышения скорости. Поскольку Microsoft продолжает повышать производительность, ожидается, что влияние этих моделей на компьютеры Copilot+ значительно возрастет.
Заинтересованные разработчики могут загрузить и запустить варианты 1.5B, 7B и 14B модели DeepSeek на компьютерах Copilot+ с помощью расширения AI Toolkit для VS Code. Модель DeepSeek оптимизирована в формате ONNX QDQ и загружается непосредственно из Azure AI Foundry. Эти модели также появятся на будущих компьютерах Copilot+ с процессорами Intel Core Ultra 200V и AMD Ryzen.
Многие считают, что Microsoft рискует, сотрудничая с DeepSeek. Интеграция DeepSeek в экосистему Windows может обернуться для Microsoft неприятностями, если обвинения в краже технологий окажутся обоснованными. Однако нельзя отрицать, что DeepSeek делает большой шаг вперед на рынке ИИ. Этот шаг Microsoft сигнализирует о стремлении к более мощным возможностям искусственного интеллекта на устройствах, открывая новые перспективы для приложений на базе искусственного интеллекта.