跳到正文
9月24日周四
  1. Hugging Face Blog57

    LFM2.5-VL-DSpark 加速视觉语言模型,端侧解码最高提速 3.13 倍

    Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,以投机解码加速视觉语言模型推理,端侧解码最高提速 3.13 倍,H100 上最高 2.66 倍。草稿模型约 280M 参数,使部署模型参数量仅增加 8.9%,首发支持 llama.cpp、MLX-VLM 和 SGLang。投机解码只加速解码阶段,视觉编码与 prefill 仍会限制端到端收益。

9月16日周三