文字頻度やN-gramを集計
テキストエリアに対象の文章を直接入力するか、ファイルを貼り付けます。入力欄の下部にある集計ボタンを押すと、文書全体に含まれる文字の出現頻度や、指定した文字数ごとのN-gram(バイグラムやトライグラムなど)が即座に算出されます。例えば、「日本語のテスト」と入力してN=2のバイグラムを設定した場合、「日本」「本語」「のテ」「テス」「スト」といった連続する2文字の組み合わせとその出現回数がリスト形式で出力結果に表示されます。
文章データから特定の文字や単語の並びがどれだけ出現するかを定量的に分析するためのツールです。N-gramとは、連続するN個の文字やトークンのまとまりをスライドさせながら抽出する自然言語処理の基本的な手法です。例えば文字単位のバイグラム(N=2)では、隣り合う2文字のペアごとに頻度を集計します。文書の傾向把握や形態素解析の事前調査、キーワードの偏り分析、マルコフ連鎖を用いた文章生成の基礎データづくりなど、テキストマイニングの様々な前処理や実務的な分析に活用されています。