【从入门到放弃-Java】工具-词频分析

前言

最近有根据文件内容进行词频分析的需求,如果是纯英文的,写个程序处理比较容易,但涉及到中文词频分析,最关键的一步就是中文分词

搜了不少文章,最后找到一篇比较好用的 Java实现中文词频统计。主要利用了ansj_seg进行中文分词分词后再进行词频统计。

针对文章中提供的代码示例,做了稍许改动,贴在下面 做个记录。

依赖

添加最新版ansj_seg依赖

<dependency>
<groupId>org.ansj</groupId>
<artifactId>ansj_seg</artifactId>
<version>5.1.6</version>
</dependency>

代码实现

代码可见 AloofJr

package com.my.tools.ansj;
import com.alibaba.common.lang.StringUtil;
import org.ansj.splitWord.analysis.ToAnalysis;
import java.io.*;
import java.util.*;
/**
* 对文件中文分词后,根据词频排序输出
* @author wq
* @date 2020/4/8
*/
public class Analysis {
public static void main(String[] args) throws IOException {
wordFrequency("");
}
public static void wordFrequency(String path) throws IOException {
List<Map.Entry<String, Integer>> wordList = getWordList(path);
wordList.forEach(entry -> {
System.out.println(entry.getKey() + "t" + entry.getValue());
});
}
/**
* 获取 分词-词频 列表
* */
private static List<Map.Entry<String, Integer>> getWordList(String path) throws IOException {
Map<String, Integer> map = new HashMap<>(16);
String result = ToAnalysis.parse(getString(path)).toStringWithOutNature();
//分词后的内容,分词间使用英文逗号分隔。
String[] words = result.split(",");
for (String word : words) {
String str = word.trim();
// 过滤空白字符
if (StringUtil.isBlank(str)) {
continue;
}
// 过滤一些高频率的符号
else if (str.matches("[)|(|.|,|。|+|-|“|”|:|?|\s]")) {
continue;
}
// 此处过滤长度为1的str
else if (str.length() < 2) {
continue;
}
if (!map.containsKey(word)) {
map.put(word, 1);
} else {
int n = map.get(word);
map.put(word, ++n);
}
}
return sortByValue(map);
}
/**
* 根据词频从高到低排序
* */
private static List<Map.Entry<String, Integer>> sortByValue(Map<String, Integer> map) {
if (map == null) {
return null;
}
List<Map.Entry<String, Integer>> list = new ArrayList<>();
list.addAll(map.entrySet());
Collections.sort(list, new Comparator<Map.Entry<String, Integer>>() {
@Override
public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
return o2.getValue().compareTo(o1.getValue());
}
});
return list;
}
/**
* 获取文件内容
* */
private static String getString(String path) throws IOException {
FileInputStream inputStream = new FileInputStream(new File(path));
BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
StringBuilder strBuilder = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
strBuilder.append(line);
}
reader.close();
inputStream.close();
return strBuilder.toString();
}
}

参考

作者:Asche   

出处:https://www.cnblogs.com/asche/p/9673611.html

更多文章

见我的博客:https://nc2era.com

written by AloofJr,转载请注明出处