A framework for few-shot evaluation of language models.
OpenCompass、Inspect。LM Evaluation Harnessの代替2件（Python）。置き換えの度合い、ライセンス、スター数、署名付きの最新リリースを比較できます。
| ツール | 置き換えの度合い | スター | ライセンス | 利用条件 | セルフホスト | 言語 | 最新リリース | 最終プッシュ |
|---|---|---|---|---|---|---|---|---|
| OpenCompass | 完全な置き換え | 7.5k | Apache-2.0 | オープンソース | 不可 | Python | 0.5.4 | 2026-10-16 |
| Inspect | 部分的 | 3k | MIT | オープンソース | 不可 | Python | 0.3.281 | 2026-10-17 |
代替2件
OpenCompass is an LLM evaluation platform, supporting a wide range of models from OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc, across 100+ datasets covering knowledge, reasoning, coding, science, language, long-context, and safety.
Runs benchmark suites over local and API models from a config.
Inspect: A framework for large language model evaluations
Runs benchmark tasks, but is built around custom evals and agents.