2019-09-03から1日間の記事一覧

neologdを利用するにあたってのテキストの前処理について

はじめに 最近、sklearnを使ってtf-idfをを計算するというのをしているのですが、この計算の前に日本語のテキストの分かち書きをしないといけません。 しかし、この分かち書きがなかなか上手くいきません。 例えば、「カラーブラック」というテキストがあっ…