技术栈
tokenizers
cnnews
11 天前
python
·
云计算
·
numpy
·
aws
·
lambda
·
onnxruntime
·
tokenizers
在AWS Lambda上部署 tokenizers
最初我尝试在AWS Lambda上直接使用完整的sentence-transformers库来处理文本嵌入任务。这个方案的主要问题在于：
Yongqiang Cheng
1 年前
llm
·
tokenizers
·
bos_token
·
eos_token
·
unk_token
Large Language Model (LLM) Tokenizers - bos_token - eos_token - unk_token
https://docs.nvidia.com/nemo-framework/user-guide/latest/overview.html
我是有底线的