Verilog-Eval-v1基准测试集搭建指南

由于有在若干个服务器中搭建此项目的需求,因此记录下来完整的踩坑流程。

1.项目下载

直接使用git clone下载即可

git clone https://github.com/NVlabs/verilog-eval
git checkout release/1.0.0

2.环境搭建

conda create -n verilog-eval python=3.7
conda activate verilog-eval

pip install -r requirements.txt

3.iverilog安装

  • 路径是verilog-eval/
  • 这里建议一步步进行,后面几步提供管理员权限,遇到编译时报错的多半是缺少了一些包,根据提示或者让大模型帮忙安装一下即可。

git clone https://github.com/steveicarus/iverilog.git && cd iverilog \
&& git checkout v12-branch \
&& sudo sh ./autoconf.sh && sudo ./configure && sudo make -j4\
&& sudo make install

4.细节调整

在verilog-eval/verilog_eval下运行:

复制代码
python evaluate_functional_correctness.py data/example/ExampleSolution.jsonl --problem_file=data/example/ExampleEval.jsonl
  • 如果出现了import的错误,一般就是下面四个文件里面的import路径有问题:

将这四个py文件中的import路径修改即可(去掉verilog_eval.),如:

复制代码
from verilog_eval.evaluation import evaluate_functional_correctness

修改为:

复制代码
from evaluation import evaluate_functional_correctness
  • 最后一步,将 verilog-eval/ 路径下的 data 文件夹复制到 verilog-eval/verilog_eval/ 中。

到此,整个项目就跑通了。

相关推荐
科技林总2 小时前
EWC/KD/ILR/PL
人工智能
100个铜锣烧8 小时前
高级提示技术:Chain-of-Thought与ReAct——让大模型学会“思考”和“行动”
人工智能·大模型·提示词工程
无限的鲜花8 小时前
反射(原创推荐)
java·开发语言
JackHCC8 小时前
快手OneRetrieval:可编辑生成式电商召回
人工智能·机器学习
yongche_shi9 小时前
ragas官方文档中文版(五十)
开发语言·python·ai·ragas·如何评估和改进 rag 应用
前端之虎陈随易9 小时前
编程语言级别的Skill市场,AI Agent 的未来形态
前端·vue.js·人工智能·typescript·node.js
一路向北he9 小时前
字节钢铁军团--“提供情境,而非控制”
java·开发语言·前端
QiLinkOS9 小时前
第三视觉理解徐玉生与他的商业活动(30)
大数据·c++·人工智能·算法·开源协议
武汉唯众智创9 小时前
当汉字成为心理CT:AI汉字联想投射分析的技术实现与心理评估价值
人工智能·ai心理健康·ai心理评估·本土化心理测评·校园心理健康解决方案·ai心理监测·多模态情绪模型
疯狂打码的少年9 小时前
【操作系统】页面置换算法(OPT/FIFO/LRU)
算法