단어 빈도 분석기
파싱된 단어를 소문자화해 각 단어의 등장 횟수를 많은 순서로 집계합니다.
사용 방법
- 분석할 텍스트를 입력하고 실행합니다.
핵심 기능과 처리 범위
동일한 토큰을 Map으로 묶고 web worker 경로에서도 같은 runText 통계를 계산해 결과 표를 만듭니다.
처리 원리
Unicode 단어 정규식으로 토큰을 만든 뒤 lowercase key의 count를 증가시키고 count 내림차순으로 정렬합니다.
예시
Cat cat dog는 cat:2, dog:1이 됩니다.
이럴 때 유용합니다
- 반복 단어를 찾아 문서 어휘 분포를 빠르게 볼 때
사용 전 참고
- 어간추출·동의어 통합·형태소 분석을 하지 않아 활용형은 별도 단어로 취급됩니다.
자주 묻는 질문
Cat과 cat은 합쳐지나요?
예. 소문자화 후 같은 key로 집계합니다.