Jevを特許の技術分類に使ってみると、なかなか良い結果でした。
処理速度はLLMよりはるかに速く、料金も安いのですが、その差は数倍程度です。想像していたような10倍、100倍の差ではありませんでした。比較条件は、どちらも特許明細書を全文、そのまま入力するというものです。
精度については、設定とプロンプトをある程度調整すると、LLMに近い水準まで到達できます。Jevは分類に特化したモデルなので、もともとスコアを出力でき、利用者が判定をどの程度信頼できるかを考える助けにもなります。
現時点では、LLMと組み合わせる低コストの再確認手段として使うのが、適した役割だと思います。
