モデル性能

• 太字は各ベンチマークでの最高スコアを示します。スコアはいずれも高いほど良い値で、ELYZA-100 は 0〜5 点、MT-Bench は 0〜10 点、その他のベンチマークは 0〜1 の範囲で表示しています。
• J-tau / tau2-bench / BFCL v3 / SWE-bench は公式レポジトリの実装を利用し、それ以外の評価は FlexEval を用いて社内で実装した評価コードを利用しています。

補足（ベンチマークの出典と計測方法）

1. ELYZA-tasks-100: 日本語自由記述タスク 100 問の回答品質を評価するベンチマーク（HuggingFace）。LLM ジャッジ（gpt-oss-120b）がモデルの回答を 0〜5 点で採点し、その平均スコアを計測しました。
2. MT-Bench: 英語のマルチターン対話能力を評価するベンチマーク（GitHub / 論文）。LLM ジャッジ（gpt-oss-120b）が各応答を 0〜10 点で採点し、シングルターンとマルチターンのスコアの平均値を計測しました。
3. J-MultiChallenge: LLM のマルチターン対話能力を評価するベンチマーク MultiChallenge の日本語版（HuggingFace / テックブログ）。LLM ジャッジ（gpt-oss-120b）による 0〜1 のスコアを計測しました。
4. JamC-QA: 日本の文化・風習・歴史・法律など 8 カテゴリの選択式 QA ベンチマーク（HuggingFace / テックブログ / 論文）。正答率（exact match）を計測しました。
5. AIME25: 2025 年の米国数学招待試験全 30 問を使用したオリンピックレベルの数学推論ベンチマーク（Artificial Analysis）。最終回答の正誤を math_verify で判定し、正答率を計測しました。
6. MATH-500: 数学競技レベルの問題集 MATH からサンプリングした 500 問で構成される数学推論ベンチマーク（HuggingFace / 論文）。最終回答の正誤を math_verify で判定し、正答率を計測しました。
7. MBPP+: Python のプログラミング問題でコード生成能力を評価するベンチマーク（GitHub）。生成されたコードがユニットテストを通過する割合（pass@1）を計測しました。
8. JHumanEval: Python のコード生成能力を評価するベンチマーク HumanEval の日本語版（HuggingFace）。生成されたコードがユニットテストを通過する割合（pass@1）を計測しました。
9. GPQA-Diamond: GPQA（Graduate-Level Google-Proof Q&A）は、生物・物理・化学の専門家が作成した高難度の多肢選択問題からなるベンチマーク。Diamond セットはその中でも特に難易度の高い 198 問を含むサブセット（HuggingFace / 論文）。ゼロショット設定で正答率（exact match）を計測しました。
10. IFBench: 58 種類の制約タスクで指示追従の汎化性を評価するベンチマーク（GitHub）。指示されたフォーマット制約への遵守率（format accuracy）を計測しました。
11. J-tau: 英語で整備されたエージェント能力を評価するベンチマークである tau2-bench の日本語版（GitHub / 論文）。ユーザーエージェントには GLM-5.2-FP8 を使用しています。ポリシー遵守とツール実行結果を報酬（reward）として評価し、airline / telecom / retail の 3 ドメインの平均値を採用しました。
12. tau2-bench: LLM のエージェント能力を評価するためのベンチマーク（GitHub）。ユーザーエージェントには Qwen3-235B-A22B-Instruct-2507 を使用しています。ポリシー遵守とツール実行結果を報酬（reward）として評価し、airline / telecom / retail の 3 ドメインの平均値を採用しました。
13. SWE-bench Verified: GitHub の実際の Issue を解決するコード変更を生成させることで、コーディングエージェントとしての能力を評価するベンチマーク（公式サイト / GitHub）。ベンチマーク時には、ハーネスとしてmini-SWE-agentを使用しました。
14. BFCL v3: LLM の関数呼び出し能力を評価するベンチマーク（GitHub）。関数呼び出しの正確性（overall accuracy）を計測しました。
15. JEMHopQA: 日本語 Wikipedia から構築された、回答の導出ステップが付与された日本語マルチホップ QA データセット（GitHub / 論文）。本評価では、日本語 Wikipedia（2021-08-20 スナップショット）に対して事前構築したローカルインデックスを検索対象とし、モデルに「search」（検索）と「get_document」（文書取得）の 2 ツールを与えて、「クエリ生成 → 関連ドキュメント取得 → 回答生成」を反復する Agentic Search 能力評価の目的で利用しました。「search」は BM25 による sparse 検索と Sarashina3 embedding による dense 検索を Reciprocal Rank Fusion で統合したハイブリッド検索です。ツール呼び出しループは 1 サンプルあたり最大 10 回までとし、最終回答の正答率（exact match）を計測しました。
16. FRAMES: 事実性・情報収集・推論を統合的に評価するマルチホップ QA ベンチマーク（論文）。検索ツールとして、Serper APIとwebページの fetchツールを用いました。
17. JMT-Safety: 日本の社会的文脈を反映した日本語 LLM 安全性評価データセット AnswerCarefully を、8 種類の攻撃手法を用いて拡張した日本語マルチターン安全性評価ベンチマーク（HuggingFace / 論文）。LLM ジャッジ（gpt-oss-120b）が応答の有害性を判定し、無害な応答の割合（harmless rate）を計測しました。

評価の詳細は SB Intuitions TECH BLOG（Sarashina3 カテゴリーの記事一覧） を参照してください。

評価の詳細は Sarashina3 mini / Sarashina3 nano: フルスクラッチで開発した最新の国産LLM（SB Intuitions TECH BLOG）を参照してください。

評価の詳細は Sarashina3 guard: 日本語特化ガードレールモデル（SB Intuitions TECH BLOG）を参照してください。

評価の詳細は Sarashina3 embedding: 日本語に強い最新のテキスト埋め込みモデル（SB Intuitions TECH BLOG）を参照してください。

評価の詳細は Sarashina3 rerank: 日本語検索に指示付きリランキングを導入する（SB Intuitions TECH BLOG）を参照してください。

評価の詳細は Sarashina3 translate: 翻訳品質を追求した日英・英日翻訳モデル（SB Intuitions TECH BLOG）を参照してください。