1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】

哥斯拉 · 发表于 2022-10-11 13:03:33

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

cpm介绍：

视频教程：https://www.bilibili.com/video/BV1vg411h7Sd/

基于CPM的中文作文生成模型，引经据典、修辞手法，信手拈来，文章内可获取26w+中文作文语料。

CPM（Chinese Pretrained Models）模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B，用户需申请与通过审核，方可下载。由于原项目需要考虑大模型的训练和使用，需要安装较为复杂的环境依赖，使用上也较为复杂。本项目采用了109M的CPM模型（若资源允许也可以考虑334M的模型），并且简化了模型的训练和使用。

本项目是基于CPM模型的中文文本生成项目，可用于作文、小说、新闻、古诗等中文生成任务，并且训练和分享了中文作文生成模型，取得了不错的生成效果。本项目提供了数据预处理、模型训练、文本生成、Http服务等代码模块。详情可参考CPM模型论文, CPM官网, 项目源码。

cpm开源地址：https://github.com/yangjianxin1/CPM

硬件要求：

【如果觉得安装麻烦的，也可以让我远程给你装好环境，仅限已购客户】

英伟达的显卡【Nvdia】或者AMD的显卡【AMD必须使用Ubuntu系统】,amd具体安装自行研究。

1、服务器选择

可选win或者ubuntu，ubuntu可自动安装gpu驱动。考虑大部分用户本地电脑使用，我们这里使用Win2019作为演示。

2、显卡驱动和cuda、cudnn安装

cuda作用，让你的程序能够调用gpu进行计算加速。cudnn作用：加速计算，提高1.5倍。

根据驱动版本选择对应版本的cuda和cudnn

1、CPM保姆级安装流程【包含视频教程和CUDA+CUDNN等】保姆,安装,流程,包含,视频

[size=0.8125]驱动和cuda对应版本

1、我们这里选择CUDA10.2,所以需要先显卡驱动

驱动下载地址：https://www.nvidia.cn/Download/index.aspx?lang=cn

2、根据显卡，操作系统版本下载对应的驱动版本进行安装

cuda下载地址：https://developer.nvidia.com/cuda-toolkit-archive

3、根据驱动版本下载对应的cuda版本进行安装

cudnn下载地址：https://developer.nvidia.com/rdp/cudnn-download

cudnn解压，整个复制到cuda安装目录即可。

cuda安装目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

v10.2为cuda版本号。

根据cuda版本下载对应的cudnn版本进行安装

驱动和cuda，cudnn必须按照123步骤进行安装。在cmd窗口输入

nvcc

-

V

检测

cuda

是否安装成功

3、Python3.8.2安装

python3.8下载地址：https://wwd.lanzoub.com/iRPKN0c2y3pc

还需要装一个vc库：python运行需要用到vc环境

vc库下载地址：https://www.onlinedown.net/soft/1112617.htm

4、cpm运行环境安装

cpm下载地址https://github.com/yangjianxin1/CPM

cpm开发版购买和下载地址：https://www.52bangqi.com/shop/17395.html

防止环境冲突先安装下虚拟环境：

1、#安装虚拟环境包

pip install virtualenv

2、##为项目创建虚拟环境

cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键，打开shell窗口】。输入命令：virtualenv venv

3、打开虚拟环境：

cmd定位到cpm程序所在文件夹【可直接在文件夹按shift单击鼠标右键，打开shell窗口】

venv/Scritp/activate

4、退出虚拟环境

deactivate

虚拟环境安装完成再安装对应的包，这样可以防止和已有python项目冲突。

根据cuda版本选择对应的pytorch版本进行安装。https://pytorch.org/get-started/locally/【cuda11.3和cuda11.6在此选择安装命令即可】

如果cuda102可以直接下载此链接：https://download.pytorch.org/whl/cu102/torch-1.7.1-cp38-cp38-win_amd64.whl

如果是下载whl文件进行安装，同样的，命令行定位whl文件所在目录，运行pip install torch-1.7.1-cp38-cp38-win_amd64.whl进行安装即可

其它版本的pytorch请在此查找根据cuda版本查找安装：https://download.pytorch.org/whl/torch_stable.html

必须先手动安装pytorch，然后再使用批量命令一次性安装所有需要的库。

按住shift键，鼠标右键单击文件夹内空白处，打开shell命令行。

pip install -r req.txt

如果下载速度过慢，切换源到国内进行安装。

python

-

m pip install

--

upgrade pip

pip config

set

global

.

index

-

url https

:

//pypi.tuna.tsinghua.edu.cn/simple

5、测试程序运行

配置模型，可联系我下载或github的cpm页面下载作文目录。配置到model目录下，如视频操作。

在虚拟环境下执行命令python generate_new.py或python generate.py【开发版兼容原版所有命令】

python generate.py –model_path model/zuowen_epoch40 –title 家乡的四季 –context 家乡的四季,最美不过了 –max_len 200

后面我们会教小模型训练，大模型训练，生成参数详解。

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！