删除StopChar类中存在重复字符(pr#3841@Github)

This commit is contained in:
Looly 2025-01-14 16:35:57 +08:00
parent b1aa76411e
commit 779a95c53a

View File

@ -28,22 +28,22 @@ import java.util.Set;
public class StopChar {
/** 不需要处理的词,如标点符号、空格等 */
public static final Set<Character> STOP_WORD = SetUtil.of(' ', '\'', '、', '。', //
'·', 'ˉ', 'ˇ', '々', '—', '', '‖', '…', '', '', '“', '”', '', '', '〈', '〉', '《', '》', '「', '」', '『', //
'』', '〖', '〗', '【', '】', '±', '', '', '×', '÷', '∧', '', '∑', '∏', '', '∩', '∈', '√', '⊥', '⊙', '∫', //
'∮', '≡', '≌', '≈', '∽', '∝', '≠', '≮', '≯', '≤', '≥', '∞', '', '∵', '∴', '∷', '♂', '♀', '°', '', '〃', //
'℃', '', '¤', '¢', '£', '‰', '§', '☆', '★', '', '○', '●', '◎', '◇', '◆', '□', '■', '△', '▽', '⊿', '▲', //
'▼', '◣', '◤', '◢', '◥', '▁', '▂', '▃', '▄', '▅', '▆', '▇', '█', '▉', '▊', '▋', '▌', '▍', '▎', '▏', '▓', //
'※', '→', '←', '↑', '↓', '↖', '↗', '↘', '↙', '〓', '', 'ⅱ', 'ⅲ', 'ⅳ', '', 'ⅵ', 'ⅶ', 'ⅷ', 'ⅸ', '', '①', //
'②', '③', '④', '⑤', '⑥', '⑦', '⑧', '⑨', '⑩', '⒈', '⒉', '⒊', '⒋', '⒌', '⒍', '⒎', '⒏', '⒐', '⒑', '⒒', '⒓', //
'⒔', '⒕', '⒖', '⒗', '⒘', '⒙', '⒚', '⒛', '⑴', '⑵', '⑶', '⑷', '⑸', '⑹', '⑺', '⑻', '⑼', '⑽', '⑾', '⑿', '⒀', //
'⒁', '⒂', '⒃', '⒄', '⒅', '⒆', '⒇', '', 'Ⅱ', 'Ⅲ', 'Ⅳ', '', 'Ⅵ', 'Ⅶ', 'Ⅷ', 'Ⅸ', '', 'Ⅺ', 'Ⅻ', '', '”', //
'', '¥', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', //
'', '', '', '', '', '', '', '', '', '', '', '', '', '_', '', '', '', '', '∏', 'Ρ', '∑', //
'Υ', 'Φ', 'Χ', 'Ψ', 'Ω', 'α', 'β', 'γ', 'δ', 'ε', 'ζ', 'η', 'θ', 'ι', 'κ', 'λ', 'μ', 'ν', 'ξ', 'ο', 'π', //
'ρ', 'σ', 'τ', 'υ', 'φ', 'χ', 'ψ', ', '', '', '', '', '', '﹊', '', '╭', '╮', '╰', '╯', '', '_', //
'', '^', '', '^', '', '', '/', '\\', '\"', '<', '>', '`', '·', '。', '{', '}', '~', '', '(', ')', '-', //
'√', '$', '@', '*', '&', '#', '卐', '㎎', '㎏', '㎜', '㎝', '㎞', '㎡', '㏄', '㏎', '㏑', '㏒', '㏕', '+', '=', '?',
':', '.', '!', ';', ']','|','%');
'·', 'ˉ', 'ˇ', '々', '—', '', '‖', '…', '', '', '“', '”', '', '', '〈', '〉', '《', '》', '「', '」', '『', //
'』', '〖', '〗', '【', '】', '±', '', '', '×', '÷', '∧', '', '∑', '∏', '', '∩', '∈', '√', '⊥', '⊙', '∫', //
'∮', '≡', '≌', '≈', '∽', '∝', '≠', '≮', '≯', '≤', '≥', '∞', '', '∵', '∴', '∷', '♂', '♀', '°', '', '〃', //
'℃', '', '¤', '¢', '£', '‰', '§', '☆', '★', '', '○', '●', '◎', '◇', '◆', '□', '■', '△', '▽', '⊿', '▲', //
'▼', '◣', '◤', '◢', '◥', '▁', '▂', '▃', '▄', '▅', '▆', '▇', '█', '▉', '▊', '▋', '▌', '▍', '▎', '▏', '▓', //
'※', '→', '←', '↑', '↓', '↖', '↗', '↘', '↙', '〓', '', 'ⅱ', 'ⅲ', 'ⅳ', '', 'ⅵ', 'ⅶ', 'ⅷ', 'ⅸ', '', '①', //
'②', '③', '④', '⑤', '⑥', '⑦', '⑧', '⑨', '⑩', '⒈', '⒉', '⒊', '⒋', '⒌', '⒍', '⒎', '⒏', '⒐', '⒑', '⒒', '⒓', //
'⒔', '⒕', '⒖', '⒗', '⒘', '⒙', '⒚', '⒛', '⑴', '⑵', '⑶', '⑷', '⑸', '⑹', '⑺', '⑻', '⑼', '⑽', '⑾', '⑿', '⒀', //
'⒁', '⒂', '⒃', '⒄', '⒅', '⒆', '⒇', '', 'Ⅱ', 'Ⅲ', 'Ⅳ', '', 'Ⅵ', 'Ⅶ', 'Ⅷ', 'Ⅸ', '', 'Ⅺ', 'Ⅻ', '', //
'', '¥', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', //
'', '', '', '', '', '', '', '', '', '', '', '_', '', '', '', 'Ρ', //
'Υ', 'Φ', 'Χ', 'Ψ', 'Ω', 'α', 'β', 'γ', 'δ', 'ε', 'ζ', 'η', 'θ', 'ι', 'κ', 'λ', 'μ', 'ν', 'ξ', 'ο', 'π', //
'ρ', 'σ', 'τ', 'υ', 'φ', 'χ', 'ψ', ', '﹊', '', '╭', '╮', '╰', '╯', '', '_', //
'/', '\\', '\"', '<', '>', '`', '{', '}', '~', '(', ')', '-', //
'$', '@', '*', '&', '#', '卐', '㎎', '㎏', '㎜', '㎝', '㎞', '㎡', '㏄', '㏎', '㏑', '㏒', '㏕', '+', '=', '?',
':', '.', '!', ';', ']','|','%');
/**
* 判断指定的词是否是不处理的词 如果参数为空则返回true因为空也属于不处理的字符