はじめに

先日Kaggleの言語モデルのコンペに参加し、日本語の前処理の方法も少しメモを残しておこうと思った。（結構前にやったきりあまり触れていなかったので。。。）
まずは基本的な形態素解析の実装方法くらいを今回の記事にまとめる...

全文を圧縮した前文

長文なのではじめに結論を置いときますが、最高に頭のネジが飛んでいるポエム(当社比)ができました。
最初と最後だけでも流し読みしていただけると嬉しいです。

結論から言うと文章を非可逆圧縮、冗長展開するとこうな...