Inspect vs OpenCompass : comparatif

Inspect vs OpenCompass
Fait	Inspect	OpenCompass
Langage	Python	Python
Licence	MIT	Apache-2.0
Étoiles	3k	7.5k
Dernière release	0.3.281	0.5.4
Dernier push	2026-10-17	2026-10-16
Rythme des releases	environ 2 jours entre les releases	environ 89 jours entre les releases
Contributeurs actifs	81+ auteurs de commits sur la branche par défaut ces 90 derniers jours	26 auteurs de commits sur la branche par défaut ces 90 derniers jours
Signalements	aucun	aucun

Ce qui les relie

Les deux remplacent LM Evaluation Harness. Alternatives à LM Evaluation Harness →
PartielInspectRuns benchmark tasks, but is built around custom evals and agents.
Remplacement completOpenCompassRuns benchmark suites over local and API models from a config.

0.3.2812026-10-15v0.3.281
0.3.2802026-10-14v0.3.280
0.3.2792026-10-12v0.3.279
0.3.2782026-10-09Tasks and samples can carry a description of what they ask of the agent, recorded in the eval log and in evals_df() and…

0.5.42026-08-26✨ Multimodal Evaluation with VLMEvalKit: OpenCompass now integrates VLMEvalKit for native multimodal dataset loading, O…
0.5.32026-06-29✨ 🧪 Extensive New Benchmarks and Dataset Support: Added support for a wide range of new benchmarks and datasets, inclu…
0.5.22026-02-14✨ 🧪 Extensive New Benchmarks Support: We have introduced comprehensive support for Scientific and General Benchmarks,…
0.5.1.post12025-10-17✨ A New Method to quickly Integrate and Evaluate Your Datasets: Added a fast dataset integration and evaluation method…
0.5.02025-09-01✨ Comprehensive Scientific Benchmarks: Integrated 10+ specialized datasets (MedXpertQA, ClimaQA, SmolInstruct, etc.),…

✓ signée La dernière release, 0.3.281, porte une signature vérifiée par GitHub.

Chargement du rapport de sécurité

✓ signée La dernière release, 0.5.4, porte une signature vérifiée par GitHub.

Chargement du rapport de sécurité