LLaMA在Windows环境下的安装部署教程

LLaMA的安装过程其实非常简单，只需要几条CMD命令行即可完成。其实个人感觉效果不如ChatGPT，而且对硬件要求较高，本站并不推荐个人部署。

介绍

关于什么是LLaMa，详细情况可以看下面这篇文章。

LLaMA｜开源语言模型

Git安装

该软件的作用是拉取远程Github仓库代码，可以让你的Stable Diffusion远程实时更新，及时使用全新功能。如果您的电脑内还没有安装Git，请参考下面的文章来安装Git。

Git｜Windows安装教程

Conda安装

Conda有Anaconda和Miniconda两个版本可以选择，Anaconda属于完整版，默认包含很多库，但我们用不到，本教程使用的是Miniconda，所以推荐大家也选择Miniconda。

备注：如果您想安装Anaconda也是可以的，教程所使用的命令行完全一样，不用担心不适配的问题。

Anaconda｜Miniconda｜Windows安装教程

环境搭建

首先，我们在电脑本地磁盘中创建一个文件夹，用来存放该项目。本站在电脑的D盘创建了一个openai.wiki文件夹用来存放数据，完整的路径为D:/openai.wiki目录。

指定路径

我们打开CMD，首先执行如下命令，使CMD的盘符为我们的工作路径。

cd /d D:\openai.wiki

执行如下命令，获取LLaMA官方远程Github仓库项目文件到本地。

 git clone https://github.com/facebookresearch/llama.git

此时，会在D:/openai.wiki目录下看到已经自动创建了一个名字llama的文件夹，我们在CMD内执行下面的命令，进行到刚刚获取的llama项目。

创建Conda环境

conda create -n name llama

激活Conda环境

在CMD窗口内输入如下命令，激活我们刚刚创建的环境。

conda activate llama

进入工作目录，CMD中执行如下合集。

cd llama

执行如下命令，安装项目依赖，此时将会自动安装使用LLaMA的所有依赖库，时间因网络环境而定，可能会比较久。

⚠️注意：如果遇到安装报错等问题，可以尝试按键盘的上方向键，然后按回车即可重试。

依赖库安装

pip install -r requirements.txt

执行如下命令，修改本地文件，调用的模块以最新文件为准。

pip install -e .

模型下载

关于模型下载，可以前往下面的文章去下载，本站已提供国内网盘下载地址，不限速、不用客户端、免广告、免登录。

LLaMA｜模型下载

使用方法

from llama import LLaMA, ModelArgs, Tokenizer, Transformer

os.environ['RANK'] = '0'
os.environ['WORLD_SIZE'] = '1'
os.environ['MP'] = '2'
os.environ['MASTER_ADDR'] = '127.0.0.1'
os.environ['MASTER_PORT'] = '2223'

def setup_model_parallel() -> Tuple[int, int]:
    local_rank = int(os.environ.get("LOCAL_RANK", -1))
    world_size = 2

    torch.distributed.init_process_group("gloo")
    initialize_model_parallel(world_size)
    torch.cuda.set_device(local_rank)

    # seed must be the same in all processes
    torch.manual_seed(1)
    return local_rank, world_size

备注

如果您希望不使用GPU，而是CPU来运行LLaMA，可以尝试根据下面这篇教程部署。

markasoftware/llama-cpu：在CPU上运行的Facebook的LLaMa模型的分支 (github.com)