论文链接：https://arxiv.org/abs/2404.16710
代码链接：https://github.com/facebookresearch/LayerSkip
权重链接：https://huggingface.co/collections/facebook/layerskip-666b25c50c8ae90e1965727a
Layer Skip 通过执行其层的子集并利用后续层进行验证和校正来加速 LLM。现在，Meta 又要发布 Layer Skip 的推理代码和微调检查点。Llama 3、Llama 2 和 Code Llama 等模型已经使用 Layer Skip 进行了优化。Layer Skip 可以将模型性能提升高达 1.7 倍。