vergleichen
LM Evaluation Harness vs OpenCompass
Dieselben Fakten für beide, jede Nacht von GitHub gelesen, dazu die von Hand geprüfte Beziehung.
| Fakt | LM Evaluation Harness | OpenCompass |
|---|---|---|
| Sprache | Python | Python |
| Lizenz | MIT | Apache-2.0 |
| Sterne | 14k | 7.5k |
| Neuestes Release | v0.4.13 | 0.5.4 |
| Letzter Push | 2026-09-14 | 2026-10-16 |
| Release-Rhythmus | etwa 74 Tage zwischen Releases | etwa 89 Tage zwischen Releases |
| Aktive Mitwirkende | 52 Commit-Autoren auf dem Standard-Branch in den letzten 90 Tagen | 26 Commit-Autoren auf dem Standard-Branch in den letzten 90 Tagen |
| Hinweise | keine | keine |
Wie sie zusammenhängen
OpenCompass ersetzt LM Evaluation Harness. Alternativen zu LM Evaluation Harness →
Vollwertiger ErsatzRuns benchmark suites over local and API models from a config.
LM Evaluation Harness
- v0.4.132026-08-31A fix-focused release. The main fixes are for few-shot leakage, a multiple-choice filter bug, and group stderr, alongsi…
- v0.4.122026-05-11New release with four new model backends, tensor parallel support for transformers based models (hf), new benchmarks, a…
- v0.4.112026-02-13Minor release. Stay tuned for bigger changes next release.
- v0.4.102026-01-27The big change this release: the base package no longer installs model backends by default. We've also added new benchm…
- v0.4.9.22025-11-26lm-eval v0.4.9.2 Release Notes
OpenCompass
- 0.5.42026-08-26✨ Multimodal Evaluation with VLMEvalKit: OpenCompass now integrates VLMEvalKit for native multimodal dataset loading, O…
- 0.5.32026-06-29✨ 🧪 Extensive New Benchmarks and Dataset Support: Added support for a wide range of new benchmarks and datasets, inclu…
- 0.5.22026-02-14✨ 🧪 Extensive New Benchmarks Support: We have introduced comprehensive support for Scientific and General Benchmarks,…
- 0.5.1.post12025-10-17✨ A New Method to quickly Integrate and Evaluate Your Datasets: Added a fast dataset integration and evaluation method…
- 0.5.02025-09-01✨ Comprehensive Scientific Benchmarks: Integrated 10+ specialized datasets (MedXpertQA, ClimaQA, SmolInstruct, etc.),…
LM Evaluation Harness
✓ signiert Das neueste Release, v0.4.13, trägt eine Signatur, die GitHub geprüft hat.
Der Sicherheitsbericht wird geladen
OpenCompass
✓ signiert Das neueste Release, 0.5.4, trägt eine Signatur, die GitHub geprüft hat.
Der Sicherheitsbericht wird geladen