日语对话构建调查研究

日语对话构建调查研究

一,OKWave(オウケイウェイヴ)网站NLP数据调研

1.OKWave速递

OKWave网址:OKWave

网站印象图

2.调研结论

(1)可行性 :无特殊反爬手段,可直接从OKWave 网站抓取数据并构建对话。

(2)构建对话的质量评估:网站提供了多个领域的问答板块,覆盖了从科技,生活,娱乐,到社会和文化,很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

(1)数据总量与日新增
数据总量 :该社区成立于1999年,已经有超过20年的历史,它是日本最早的在线问答社区之一,也是最大的之一,据调研帖子总数据量:826万条,可直接抓取帖子总量2万条。通过关键字,推荐间接抓取约100万条
日新增 :OKWave每日新增帖子的数量在400左右
MAU :每月月活约为1000万。

(2)网站简要介绍

OKWave(オウケイウェイヴ)是一家位于日本的在线问答社区,成立于1999年。它是日本最大的问答社区之一,有超过300万的注册用户,每个月有超过500万的独立访问者。OKWave提供了一个平台,让用户能够提出问题并得到其他用户的回答,同时也可以回答其他用户的问题。该网站提供了多个领域的问答板块,覆盖了从科技,生活,娱乐,到社会和文化等方方面面的主题。

一,教えて!goo(おしえて!グー)网站NLP数据调研

1.教えて!goo速递

教えて!goo网址:教えて!goo

网站印象图

2.调研结论

(1)可行性 :无特殊反爬手段,可直接从教えて!goo 网站抓取数据并构建对话。

(2)构建对话的质量评估:网站提供了多个领域的问答板块,覆盖了从科技,生活,娱乐,到社会和文化,很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

(1)数据总量与日新增
数据总量 :综合日活与成立时间估计总帖子数一千万以上。分析网站可直接抓取帖子数:200万左右。
日新增 :每日新增700左右
MAU :2500万人

(2)网站简要介绍

与OKWave一样是日本最大的在线问答社区之一,成立于1999年。它为用户提供了一个平台,让他们可以提出问题并得到其他用户的回答,同时也可以回答其他用户的问题。该网站的内容涵盖了从科技,生活,娱乐,到社会和文化等方方面面的主题。

三,Yahoo!知恵袋网站NLP数据调研

1.Yahoo!知恵袋

Yahoo!知恵袋网址:Yahoo!知恵袋

网站印象图

2.调研结论

(1)可行性 :无特殊反爬手段,可直接从Yahoo!知恵袋 网站抓取数据并构建对话。

(2)构建对话的质量评估:网站提供了多个领域的问答板块,覆盖了从科技,生活,娱乐,到社会和文化,很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

(1)数据总量与日新增
数据总量 :综合日活与成立时间估计总帖子数一千万以上。分析网站可直接抓取帖子数:200万左右。 包括可通过推荐与间接抓取数约100万
日新增 :每日新增4k左右
MAU :8400万人

(2)网站简要介绍

雅虎智慧袋(Yahoo!知恵袋,Yahoo! Chiebukuro)是雅虎公司提供的一个在线问答社区,成立于2003年,目前在日本非常受欢迎,是日本最大的问答社区之一。

该网站的内容话题非常广泛,涵盖了从科技,生活,娱乐,到社会和文化等方方面面的主题。用户可以在网站上提问和回答问题,每个问题都可以分配到一个特定的板块,例如健康、教育、美食、旅行等等,方便用户找到自己感兴趣的问题和回答。

四,Quora日本版网站NLP数据调研

1.Quora日本版

Quora日本版网址:Quora日本版

网站印象图

2.调研结论

(1)可行性 :进行小规模的测试,无特殊的反爬手段。只是最后获取评论涉及动态加载,用selenium模拟点击即可。可从Quora日本版 网站抓取数据并构建对话。

(2)构建对话的质量评估:网站提供了多个领域的问答板块,覆盖了从科技,生活,娱乐,到社会和文化,很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

(1)数据总量与日新增
数据总量 :综合日活与成立时间估计总帖子数二百万以上。
日新增 :每日新增200左右
MAU :3万人

(2)网站简要介绍

Quora日本版的内容话题非常广泛,涵盖了各个领域的主题。与其他问答社区类似,Quora日本版的内容话题是由用户自主提出的,因此非常多样化和多样性。这种开放性的内容话题可以让用户获得各种不同的意见和建议,吸引了大量用户的参与。

相关推荐
用户277844910499311 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
JavaEdge在掘金13 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程55514 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
李少兄14 小时前
Unirest:优雅的Java HTTP客户端库
java·开发语言·http
老歌老听老掉牙14 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀101514 小时前
Python入门(7):模块
python
无名之逆14 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得20514 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
似水এ᭄往昔14 小时前
【C语言】文件操作
c语言·开发语言
啊喜拔牙14 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala