【活动推荐】Alibaba Cloud Linux实践操作学习赛，有电子证书及丰厚奖品！

前言

这里给小伙伴们推荐一个新活动，有电子证书可以拿的哦~

这是开放原子基金会的官网，进入赛事界面。

可以看到下面有一个龙蜥社区Alibaba Cloud Linux实践操作学习赛。点击此处进行报名。

双方都会提供电子证书的，但是具体还是看完成的质量。

实验的内容也很简单，链接如下：https://developer.aliyun.com/adc/scenario/3f2409bc21fb4fff8cd581d5ba5de6fd

按照指引完成体验即可。但需要将完成结果提交到AtomGit仓库：https://atomgit.com/13968133152/alinux-lab 。同时备注"大赛报名姓名、阿里云账号、实验操作完成截图、对实验的反馈或建议"。操作完成之后加入钉钉群填写信息收集表即可。

基于ECS Intel实例部署GPT-2大语言模型

GPT-2

GPT-2（Generative Pre-trained Transformer 2）是由OpenAI开发的一种语言模型，它是基于Transformer架构的深度学习模型。GPT-2模型通过大规模的无监督预训练来学习语言的统计特征和语义关系，然后可以用于各种自然语言处理任务，如文本生成、摘要生成、对话系统、翻译等。GPT-2的特点是可以生成连贯、语义合理的文本，具有较强的语言理解和生成能力。

实验步骤

部署GPT-2

软件安装配置

为了在Alinux 3上安装PyTorch等AI组件，需要首先启用epao repo。执行如下命令，启用epao repo。

js 复制代码

yum install -y anolis-epao-release

执行如下命令，安装部署GPT-2所必须的软件以及PyTorch组件。【注意】本实验已为您提前下载预训练模型，如果您需要在自己的环境中下载预训练模型，建议您安装tmux，下载预训练模型前先执行tmux进入tmux session，预训练模型下载时间很长，ECS断开后就不能继续下载。

js 复制代码

yum install -y git git-lfs wget curl gcc gcc-c++ tar unzip pytorch gperftools-libs

执行如下命令，更新pip，方便后续部署Python环境。

js 复制代码

python -m pip install --upgrade pip

执行如下命令，启用Git LFS，后续下载预训练模型需要启用Git LFS的支持。

js 复制代码

git lfs install

下载 GPT-2 模型

下载GPT-2预训练模型。

本实验已为您提前下载GPT-2预训练模型，请您跳过此步骤，切勿重复下载。如果您需要在自己的环境中下载模型，您可使用命令

js 复制代码

GIT_LFS_SKIP_SMUDGE=1 git clone https://gitee.com/modelee/gpt2-large.git
wget https://gitee.com/modelee/gpt2-large/raw/main/pytorch_model.bin -O gpt2-large/pytorch_model.bin

部署运行环境

执行如下命令，安装大模型运行时所需要的依赖环境。

js 复制代码

pip install --ignore-installed pyyaml==5.1
pip install transformers streamlit intel-openmp

运行网页版APP

环境部署完毕后，就可以运行网页版APP，来体验GPT-2帮助完成写作的乐趣。

执行如下命令，创建网页版APP的项目目录。

js 复制代码

mkdir write-with-transformer && cd write-with-transformer

执行如下命令，新建并编辑app.py文件。

js 复制代码

vim app.py

按i键进入编辑模式，将如下内容复制并粘贴至app.py文件中，完成后按ESC退出编辑模式，输入:wq后回车，保存并退出文件。

js 复制代码

import streamlit as st
from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("../gpt2-large")
model = AutoModelWithLMHead.from_pretrained("../gpt2-large")

def infer(input_ids, max_length, temperature, top_k, top_p):
    output_sequences = model.generate(input_ids=input_ids,max_length=max_length,temperature=temperature,
        top_k=top_k,top_p=top_p,do_sample=True,num_return_sequences=1)
    return output_sequences

default_value = "Hello, I'm a language model,"

st.title("Write with Transformers 🦄")
sent = st.text_area("Text", default_value, height = 275)
max_length = st.sidebar.slider("Max Length", min_value = 10, max_value=30)
temperature = st.sidebar.slider("Temperature", value = 1.0, min_value = 0.0, max_value=1.0, step=0.05)
top_k = st.sidebar.slider("Top-k", min_value = 0, max_value=5, value = 0)
top_p = st.sidebar.slider("Top-p", min_value = 0.0, max_value=1.0, step = 0.05, value = 0.9)

encoded_prompt = tokenizer.encode(sent, add_special_tokens=False, return_tensors="pt")
if encoded_prompt.size()[-1] == 0:
    input_ids = None
else:
    input_ids = encoded_prompt

output_sequences = infer(input_ids, max_length, temperature, top_k, top_p)

for generated_sequence_idx, generated_sequence in enumerate(output_sequences):
    print(f"=== GENERATED SEQUENCE {generated_sequence_idx + 1} ===")
    generated_sequences = generated_sequence.tolist()
    text = tokenizer.decode(generated_sequence, clean_up_tokenization_spaces=True)
    total_sequence = (
        sent + text[len(tokenizer.decode(encoded_prompt[0], clean_up_tokenization_spaces=True)) :]
    )
    generated_sequences.append(total_sequence)
    print(total_sequence)

st.write(generated_sequences[-1])

执行如下命令，设置运行环境变量，并运行app.py脚本。

js 复制代码

export OMP_NUM_THREADS=$(nproc --all)
export KMP_AFFINITY=granularity=fine,compact,1,0
export LD_PRELOAD=/usr/lib64/libtcmalloc.so.4:/usr/local/lib/libiomp5.so
streamlit run app.py --server.port 7860

出现以下回显信息说明服务运行成功。