N-gram生成
連続単語を指定N個ずつ重ねてN-gram一覧を作ります。
使い方
- テキストとNを入力して実行します。
主な機能と処理範囲
N既定値は2、最低1へ補正し1語ずつ移動するwindowを出します。
処理の仕組み
各iでlist.slice(i,i+n).join(' ')を作り完全windowがある範囲まで進みます。
例
one two threeでN=2ならone twoとtwo threeです。
こんな場面で便利
- 連続語patternや簡単なmodel入力作成に
利用前の確認
- 文境界を特別に遮らないので隣接文tokenが同じN-gramになる場合があります。
よくある質問
Nが語数より大きいと？
完全windowがないため空結果です。