scala统计词频

Betty_蹄蹄boo2024-11-28 14:22

目标：统计词频

（1）从文件1.tst，读入内容，保存在一个字符串中。

（2）统计字符串中，每个单词出现的频率

（3）对结果进行排序

（4）把最后结果写入一个新的文件

Scala 复制代码

import java.io.PrintWriter
import scala.io.Source
//知识点：
//1.字符串.split("分隔符")：把字符串用指定的分隔符 ，拆分成多个部分，保存在数组中。

object test {
  def main(args: Array[String]): Unit = {
    //从文件1.txt中，读入内容
    val content = Source.fromFile("1.txt").mkString
    //println(content)

    //把字符串中的每一个单词，拆出来
    //正则表达式
    //\\W+:大写字符W表示：非字（不是一个字的字符。例如：空格 逗号 句号 换行...）
    //+：一个或者多个
    val arr = content.split("\\W+") //得到一个字符串数组

    arr.foreach(println)
    //如果有一个字符串数组：
    val arr1 = Array("thank", "you", "very", "much", "thank", "very")
    //
    val m1 = scala.collection.mutable.Map[String, Int]()
    arr.foreach(word => {
      //检查是否出现过？
      if (m1.contains(word)) {
        //把票数+1
        m1(word) += 1
      } else {
        //票数为1
        m1(word) = 1
      }
    })
    //对于m1，它是一个Map(thank:10,is:5),现在需要对他进行排序，把出现次数最多的放在最前面，然后再输出
    //(thank,10)
    //只要排序之前的结果的前15个？在List中取出前15个？
    val sortedM1 = m1.toList.sortWith((a, b) => a._2 > b._2).filter(a => a._1.length > 2).slice(0, 15)
    //开始写入
    val writer = new PrintWriter("3.txt")
    //输出排序后的Map
    //把结果保存到一个新的文件中：
    writer.println("统计的结果是：")
    sortedM1.foreach { case (word, cishu) => println(s"${word}:${cishu}") }
    writer.close() //结束写入
  }

}