利用TensorRT-LLM 加速 Whisper 推理实践应用
Whisper，作为OpenAI发布的一款前沿语音预训练大模型，它集成了多语种自动语音识别（ASR）、语音翻译以及语种识别等多重功能，为语音技术领域带来了全新的突破。在此次线上技术研讨会上，我们有幸邀请到了NVIDIA的资深技术专家作为主讲嘉宾。他们将深入剖析如何利用NVIDIA的TensorRT-LLM和Triton技术，为Whisper的推理过程提供强有力的加速支持，同时探讨GPU部署的最佳实践。此外，专家们还将分享中文高效微调的实战经验，帮助与会者更好地理解并应用这一技术。更为激动人心的是，本次研讨会还将介绍如何利用最新发布的NVIDIA Inference Microservice（NIM）与Whisper相结合，实现语音交互应用的快速构建。这一技术的引入，将极大地简化语音交互应用的开发流程，提高开发效率，为语音技术的广泛应用开辟了新的道路。感兴趣的小伙伴欢迎扫码报名观看直播！
免费扫码报名 观看直播
活动议程：