AI文摘

blog-thum
Llama深入浅出

前方干货预警:这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼)。并且训练它来实

read more
blog-thum
PEFTLoRA实现及核心源码解读

1PEFT 介绍HuggingFace的PEFT(Parameter-EfficientFine-Tuning)中提供了模型微调加速的方法,参数高效微调(PEFT)方法能够使预先训练好的语言模型

read more