N-gram 생성기
텍스트의 연속 단어를 사용자가 지정한 N개씩 겹치게 묶어 N-gram 목록을 생성합니다.
사용 방법
- 텍스트와 원하는 N 값을 입력하고 실행합니다.
핵심 기능과 처리 범위
N 기본값은 2이며 1 이상으로 보정하고 한 칸씩 이동하는 연속 window를 줄 단위로 출력합니다.
처리 원리
word list의 각 i에서 list.slice(i,i+n).join(' ')을 만들며 시작점은 length-n까지 이동합니다.
예시
one two three에서 N=2이면 one two와 two three가 생성됩니다.
이럴 때 유용합니다
- 단어 연속 패턴·간단한 언어 모델 입력을 만들 때
사용 전 참고
- 문장 경계를 별도로 차단하지 않아 문장 사이 토큰도 같은 연속 목록으로 묶일 수 있습니다.
자주 묻는 질문
N이 단어 수보다 크면요?
생성 가능한 window가 없어 빈 결과가 됩니다.