Scala的全文单词统计

全文单词统计:

可分为以下几个步骤:

1.读取文件,得到很长的字符串

2.把字符串拆分成一个一个的单词

3.统计每个单词出现的次数

4.排序

5.把结果写入到一个文件中

完整代码如下:

import java.io.PrintWriter

import scala.io.Source

object 全文单词统计 {

def main(args: Array[String]){

//1.读入文件内容

val content = Source.fromFile("1.text").mkString

println(content)

//2.把字符串拆分为一个一个的单词,保存到数组

//正则表达式

// \\:表示正则表达式

// W:表示一个非字(不是一个字 eg:空格,逗号,句号......)

// W+:多个非字

val arr = content.split("\\W+")

for(word <- arr){

println(word)

}

//3.统计每个单词出现的次数

val wordMap = scala.collection.mutable.Map[String,Int]()

for(word <- arr){

if(wordMap.contains(word)){

wordMap(word) += 1

}else{

wordMap(word) = 1

}

}

//4.排序。Map是无序,要对其进行排序,要先把数组转成序列。List,Array

println(wordMap.toList)

val orderWordList = wordMap.toList.sortWith((a,b)=> a._2 > b._2).filter(e=>e._1.length>2).slice(0,30)

for (e <- orderWordList){

println(e)

}

//5.把结果写到一个文件中

for(e <- orderWordList){

println(e)

}

val writer = new PrintWriter("2.txt")

for (e <- orderWordList) {

writer.write(s"{e._1}: {e._2}\n")

}

writer.close()

}

}

运行结果:

相关推荐
萧霍4 天前
判断两个对象是相等的
scala
程序员小羊!5 天前
Flink(用Scala版本写Word Count 出现假报错情况解决方案)假报错,一直显示红色报错
flink·word·scala
17319 天前
scala中访问控制与方法重写
scala
张较瘦_11 天前
[论文阅读] 从 5MB 到 1.6GB 数据:Java/Scala/Python 在 Spark 中的性能表现全解析
java·python·scala
还是大剑师兰特15 天前
Scala面试题及详细答案100道(81-90)-- 框架与生态
scala·大剑师·scala面试题
孤岛奇兵常凯申17 天前
Scala中的高阶函数(一)
scala
盛小夏18 天前
用 Python 把汉诺塔玩成“魔法”:从递归到可视化,一篇就够!
scala
智海观潮21 天前
学好Spark必须要掌握的Scala技术点
大数据·spark·scala
盛小夏22 天前
用链式风格写代码,就像在搭积木
scala
盛小夏24 天前
元组(Tuple)详解:初学者必须掌握的数据结构
scala