Scala的全文单词统计

全文单词统计:

可分为以下几个步骤:

1.读取文件,得到很长的字符串

2.把字符串拆分成一个一个的单词

3.统计每个单词出现的次数

4.排序

5.把结果写入到一个文件中

完整代码如下:

import java.io.PrintWriter

import scala.io.Source

object 全文单词统计 {

def main(args: Array[String]){

//1.读入文件内容

val content = Source.fromFile("1.text").mkString

println(content)

//2.把字符串拆分为一个一个的单词,保存到数组

//正则表达式

// \\:表示正则表达式

// W:表示一个非字(不是一个字 eg:空格,逗号,句号......)

// W+:多个非字

val arr = content.split("\\W+")

for(word <- arr){

println(word)

}

//3.统计每个单词出现的次数

val wordMap = scala.collection.mutable.Map[String,Int]()

for(word <- arr){

if(wordMap.contains(word)){

wordMap(word) += 1

}else{

wordMap(word) = 1

}

}

//4.排序。Map是无序,要对其进行排序,要先把数组转成序列。List,Array

println(wordMap.toList)

val orderWordList = wordMap.toList.sortWith((a,b)=> a._2 > b._2).filter(e=>e._1.length>2).slice(0,30)

for (e <- orderWordList){

println(e)

}

//5.把结果写到一个文件中

for(e <- orderWordList){

println(e)

}

val writer = new PrintWriter("2.txt")

for (e <- orderWordList) {

writer.write(s"{e._1}: {e._2}\n")

}

writer.close()

}

}

运行结果:

相关推荐
哈哈很哈哈3 小时前
Spark 核心 RDD详解
大数据·分布式·spark·scala
DTS小夏14 小时前
Linux 系统 + IDEA+Scala 插件:新手进阶开发指南
linux·scala·intellij-idea
渣渣盟2 天前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
闯闯桑3 天前
Spark 中spark.implicits._ 中的 toDF和DataFrame 类本身的 toDF 方法
大数据·ajax·spark·scala
MOMO陌染5 天前
IDEA环境搭建与输出
scala
闯闯桑7 天前
toDF(columns: _*) 语法
开发语言·前端·spark·scala·apache
q567315239 天前
无需Python:Shell脚本如何成为你的自动化爬虫引擎?
开发语言·爬虫·python·自动化·scala
渣渣盟11 天前
Spark自定义累加器实现高效WordCount
大数据·spark·scala
IvanCodes11 天前
一、Scala 基础语法、变量与数据类型
大数据·开发语言·scala
q5673152312 天前
Nim轻量级爬虫:异步高效+代理轮换防封
开发语言·后端·爬虫·typescript·scala