您现在的位置是:良泽快讯网 > 探索

微软 ONNX Runtime Web 集成 WebGPU:调用 GPU 提高网页端 AI 模型运行速度

良泽快讯网2024-03-28 22:30:32【探索】6人已围观

简介IT之家 3 月 5 日消息,微软旗下的 ONNX Runtime Web 添加整合了 WebGPU,从而提高复杂机器学习模型在网络浏览器中的运行性能。不过这项技术尚处于早期阶段,目前 Chrome 今昔古昔

IT之家 3 月 5 日消息,微软微软旗下的集成 ONNX Runtime Web 添加整合了 WebGPU,从而提高复杂机器学习模型在网络浏览器中的调用今昔古昔运行性能。不过这项技术尚处于早期阶段,高网目前 Chrome 浏览器和 Edge 浏览器已添加初步支持。页端运行

IT之家注:ONNX Runtime Web 是微软推出的 JavaScript 库,让网络开发人员直接在网络浏览器中部署机器学习模型,速度提供基于硬件加速的微软多个后端支持。

WebGPU 是集成今昔古昔一种网络应用程序接口(API),可为在网络浏览器中,调用为机器学习模型提供硬件加速。高网

以前,页端运行由于计算能力有限,模型复杂的速度机器学习模型,尤其是微软大型生成模型,无法在网络浏览器中高效运行。而现在 WebGPU 可以释放设备 GPU 的能力来完成这些任务,从而显著提高性能。

微软表示:

借助计算着色器等先进功能,WebGPU 能够以更高效的方式处理更复杂的机器学习工作负载。

它对半精度(FP16)的支持降低了 GPU 内存的使用率和带宽要求,同时加快了运算速度。

WebGPU 通过利用 GPU 处理并行计算任务的能力,可直接在网络浏览器中推断出更高效、可扩展的机器学习应用。

适用于 Mac、Windows、ChromeOS 的 Chrome 113 和 Edge 113 以及适用于 Android 的 Chrome 121 默认已包含 WebGPU,开发者可以尝试通过 ONNX Runtime Web 调用 WebGPU 加速资源。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

很赞哦!(119)