Hugging Face Blog·· 10 天前AI 评分57
LFM2.5-VL-DSpark 加速视觉语言模型,端侧解码最高提速 3.13 倍
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,以投机解码加速视觉语言模型推理,端侧解码最高提速 3.13 倍,H100 上最高 2.66 倍。草稿模型约 280M 参数,使部署模型参数量仅增加 8.9%,首发支持 llama.cpp、MLX-VLM 和 SGLang。投机解码只加速解码阶段,视觉编码与 prefill 仍会限制端到端收益。
来源:Hugging Face Blog · huggingface.co