簡単に自然言語処理にトライできるspaCy。産業的な製品向けのための自然言語処理らしい。だが、初心者がこだわらずに挑戦するのにも向いていると思う。
しかも、spaCy3ではtransformersのモデルも使える様になったので、ちょっくら使ってみようとしたら、ぱっと出来なかった・・・。事前学習モデルに追加学習させて分野特化型モデルなんてものを使って見たり、モデルを比較したり、と言ったことをやりたかった。
huggingfaceのtransformesのlibraryを使って追加学習を実施。モデルをspaCyで使う、という流れ。先人に資料を見ながら試行錯誤。あまり凝ったことをしようとしなければ、fineturingまでできそうな、流れを把握したところ。
何かネタないかな・・・。
