Scala的全文单词统计

全文单词统计:

可分为以下几个步骤:

1.读取文件,得到很长的字符串

2.把字符串拆分成一个一个的单词

3.统计每个单词出现的次数

4.排序

5.把结果写入到一个文件中

完整代码如下:

import java.io.PrintWriter

import scala.io.Source

object 全文单词统计 {

def main(args: Array[String]){

//1.读入文件内容

val content = Source.fromFile("1.text").mkString

println(content)

//2.把字符串拆分为一个一个的单词,保存到数组

//正则表达式

// \\:表示正则表达式

// W:表示一个非字(不是一个字 eg:空格,逗号,句号......)

// W+:多个非字

val arr = content.split("\\W+")

for(word <- arr){

println(word)

}

//3.统计每个单词出现的次数

val wordMap = scala.collection.mutable.Map[String,Int]()

for(word <- arr){

if(wordMap.contains(word)){

wordMap(word) += 1

}else{

wordMap(word) = 1

}

}

//4.排序。Map是无序,要对其进行排序,要先把数组转成序列。List,Array

println(wordMap.toList)

val orderWordList = wordMap.toList.sortWith((a,b)=> a._2 > b._2).filter(e=>e._1.length>2).slice(0,30)

for (e <- orderWordList){

println(e)

}

//5.把结果写到一个文件中

for(e <- orderWordList){

println(e)

}

val writer = new PrintWriter("2.txt")

for (e <- orderWordList) {

writer.write(s"{e._1}: {e._2}\n")

}

writer.close()

}

}

运行结果:

相关推荐
小冯不疯3 天前
金蝶云星空与轻易云集成平台数据对接方案
全文检索·scala
howard20055 天前
1.6.2 掌握Scala数据结构 - 列表
scala·不可变列表·可变列表
howard200510 天前
1.6.1 掌握Scala数据结构 - 数组
scala·定长数组·变长数组
渣渣盟11 天前
Flink Table API与SQL流数据处理实战
大数据·sql·flink·scala
howard200514 天前
1.5 掌握Scala内建控制结构
scala·内建控制结构
howard200514 天前
1.1.2 Windows上安装Scala
scala·windows版本
allway215 天前
Debian Regular Expressions
运维·debian·scala
、BeYourself17 天前
Scala 字面量
开发语言·后端·scala