地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

llm-jp-modernbert-baseとruri-v3-pt, ModernBERT-jaでNERの比較をColabでしてみる

LLM-jpよりllm-jp-modernbertが公開されてました。NERで試してみます。ModernBERT-jaと同じようにstockmarks社のwikipedia_nerデータを利用します。厳密な比較ではありませんが、ModernBERT-ja-310m, ruri-v3-pt-310mがF1スコアで0.2少しよい結果(傾向)がありました。

 

結果です。

 

予測の例

元の文章: ▁小 前 亮 は、 日本 の歴史 学者 、 小説家 。
予測結果: ['B-人名', 'I-人名', 'I-人名', 'O', 'O', 'O', 'O', 'O', 'O', 'O']
正解ラベル: B-人名 I-人名 I-人名 O B-地名 O O O O O
正誤: ○ ○ ○ ○ × ○ ○ ○ ○ ○
---
元の文章: ▁その後 任 の 金 泳 三 大統領 も 1994 年 に 中国 を 訪問 して 江 沢 民 と 会談 し、 1995 年 11 月 13 日 には 江 沢 民 は 中国 の 指導者 としては 初めて 韓国 を 訪問 した。
予測結果: ['O', 'O', 'O', 'B-人名', 'I-人名', 'I-人名', 'O', 'O', 'O', 'O', 'O', 'B-地名', 'O', 'O', 'O', 'B-人名', 'I-人名', 'I-人名', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B-人名', 'I-人名', 'I-人名', 'O', 'B-地名', 'O', 'O', 'O', 'O', 'B-地名', 'O', 'O', 'O']
正解ラベル: O O O B-人名 I-人名 I-人名 O O O O O B-地名 O O O B-人名 I-人名 I-人名 O O O O O O O O O O B-人名 I-人名 I-人名 O B-地名 O O O O B-地名 O O O
正誤: ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○

 

F1スコアの最大値と比較

lm-jp-modernbert-base: 0.867840
ModernBERT-ja-310m: 0.881713
ruri-v3-pt-310m: 0.885561

 

huggingface.co

 

bwgift.hatenadiary.jp

 

 

bwgift.hatenadiary.jp

 

試行錯誤してみたいところ・・・。