MMLU-Pro (TIGER-Lab Leaderboard)
42 modèles avec une valeur. En tête : Gemini 3.1 Pro (Vorschau) avec 91,16 %.
| Fiche du benchmark | |
|---|---|
| Tâche | allgemein - Wissen ueber 14 Fachgebiete |
| Métrique | Anteil richtiger Antworten, 10 Antwortoptionen, Gesamtwert ueber alle Fachgebiete |
| Sens | ↑ plus élevé = meilleur |
| Limite | 🔴 GEMISCHTE Quelle: die Rangliste der Benchmark-Autoren fuehrt eigene Messungen UND Herstellerangaben (Spalte Data Source). Der Katalog uebernimmt beide, kennzeichnet aber jeden Wert (mmlu_pro_herkunft) - Herstellerwerte sind ungeprueft. Artificial Analysis hat MMLU-Pro zurueckgezogen; eine unabhaengige Quelle mit aktuellen Modellen fehlt. Das klassische MMLU wird nicht gefuehrt: gesaettigt, und fuer aktuelle Modelle nur noch als Herstellerangabe verfuegbar. |
| Date | 11 mars 2026 |
| Source | huggingface.co |
| Licence | Apache-2.0 — TIGER-Lab MMLU-Pro |
Classement (42)
Aucune entrée ne correspond au filtre.
| Modèle | Rang | Valeur | Développeur | Traitement dans l'UE: EntréeUE entrée | Traitement dans l'UE: SortieUE sortie | tous fournisseurs: Entréetous entrée | tous fournisseurs: Sortietous sortie | Poids ouverts | Mémoire GPU (4 bits, estimée)Mémoire GPU |
|---|---|---|---|---|---|---|---|---|---|
| Gemini 3.1 Pro (Vorschau) | 1 | 91,16 % | – | – | 0,90 € | 5,37 € | – non | – | |
| Qwen3.5-397B-A17B | 2 | 87,8 % | Alibaba Cloud | 0,60 € | 3,58 € | 0,40 € | 2,69 € | ✓ oui | à partir de 226 Go |
| GPT-5.4 | 3 | 87,5 % | OpenAI | 2,60 € | 13,87 € | 1,12 € | 6,72 € | – non | – |
| Gemini 3.1 Flash-Lite | 4 | 86,2 % | 0,24 € | 1,46 € | 0,11 € | 0,67 € | – non | – | |
| Qwen3.5-27B | 5 | 86,1 % | Alibaba Cloud | – | – | 0,23 € | 2,33 € | ✓ oui | à partir de 20 Go |
| Gemini 2.5 Pro | 6 | 86 % | 1,34 € | 8,94 € | 0,56 € | 4,48 € | – non | – | |
| GLM-5 | 6 | 86 % | Z.ai | 1,15 € | 3,68 € | 0,45 € | 1,43 € | – | – |
| Qwen3.5-9B | 8 | 82,5 % | Alibaba Cloud | 0,09 € | 0,13 € | 0,09 € | 0,13 € | ✓ oui | à partir de 10 Go |
| GPT-4.1 | 9 | 81,8 % | OpenAI | 1,97 € | 7,87 € | 0,90 € | 3,58 € | – non | – |
| gpt-oss-120b | 10 | 80,8 % | OpenAI | 0,026 € | 0,12 € | 0,026 € | 0,12 € | ✓ oui | à partir de 69 Go |
| MiniMax M2.5 | 11 | 80,1 % | MiniMax | 0,31 € | 1,25 € | 0,13 € | 0,54 € | ✓ oui | à partir de 130 Go |
| Claude 3.5 Sonnet v2 | 12 | 77,64 % | Anthropic | – | – | 1,34 € | 6,72 € | – | – |
| Claude 3.5 Sonnet | 13 | 76,12 % | Anthropic | – | – | 1,34 € | 6,72 € | – | – |
| GPT-4o | 14 | 74,7 % | OpenAI | 2,39 € | 9,55 € | 1,12 € | 4,48 € | – non | – |
| GPT-4o-2024-08-06 | 15 | 74,68 % | OpenAI | 1,23 € | 4,93 € | 1,12 € | 4,48 € | – non | – |
| gpt-oss-20b | 16 | 73,1 % | OpenAI | 0,024 € | 0,11 € | 0,024 € | 0,11 € | ✓ oui | à partir de 16 Go |
| GPT-4o-2024-0513 | 17 | 72,55 % | OpenAI | 4,93 € | 14,78 € | 2,24 € | 6,72 € | – non | – |
| Phi-4 | 18 | 70,4 % | Microsoft | – | – | 0,063 € | 0,13 € | ✓ oui | à partir de 13 Go |
| Claude 3 Opus | 19 | 68,45 % | Anthropic | – | – | 6,72 € | 33,59 € | – | – |
| Mistral Large 2.1 | 20 | 67,9 % | Mistral AI | – | – | – | – | ✓ oui | à partir de 72 Go |
| Gemma 3 27B | 21 | 67,5 % | 0,089 € | 0,27 € | 0,072 € | 0,14 € | ✓ oui | à partir de 20 Go | |
| Mistral Small 3 24B | 22 | 66,3 % | Mistral AI | – | – | 0,045 € | 0,072 € | ✓ oui | à partir de 17 Go |
| Llama 3.3 70B | 23 | 65,9 % | Meta | 0,45 € | 0,65 € | 0,09 € | 0,29 € | ✓ oui | à partir de 43 Go |
| GPT-4-Turbo | 24 | 63,71 % | OpenAI | – | – | 10,84 € | 32,51 € | – non | – |
| GPT-4o mini | 25 | 63,1 % | OpenAI | 0,14 € | 0,57 € | 0,067 € | 0,27 € | – non | – |
| GPT-4o-mini-0718 | 26 | 63,09 % | OpenAI | 0,15 € | 0,59 € | 0,067 € | 0,27 € | – non | – |
| Llama 3.1 70B | 27 | 62,84 % | Meta | 0,31 € | 1,25 € | 0,31 € | 1,25 € | ✓ oui | à partir de 43 Go |
| Claude 3.5 Haiku | 28 | 62,12 % | Anthropic | – | – | 0,36 € | 1,79 € | – non | – |
| Gemma 3 12B | 29 | 60,6 % | – | – | 0,045 € | 0,13 € | ✓ oui | à partir de 11 Go | |
| Gemini 1.5 Flash | 30 | 59,12 % | – | – | – | – | – non | – | |
| Claude 3 Sonnet | 31 | 56,8 % | Anthropic | – | – | 1,34 € | 6,72 € | – non | – |
| Gemma 2 9B | 32 | 52,1 % | – | – | – | – | ✓ oui | à partir de 10 Go | |
| Jamba 1.5 Large | 33 | 49,46 % | AI21 Labs | – | – | 1,79 € | 7,17 € | – | – |
| Aya Expanse 32B | 34 | 45,41 % | – | – | – | 0,45 € | 1,34 € | – | – |
| Mistral Nemo Instruct | 35 | 44,81 % | Mistral AI | 0,016 € | 0,025 € | 0,016 € | 0,025 € | ✓ oui | à partir de 11 Go |
| Llama 3.1 8B Instruct | 36 | 44,25 % | Meta | 0,016 € | 0,041 € | 0,018 € | 0,036 € | ✓ oui | à partir de 9 Go |
| Mixtral 8x7B Instruct | 37 | 43,27 % | Mistral AI | 0,44 € | 0,68 € | 0,40 € | 0,63 € | ✓ oui | à partir de 30 Go |
| Claude 3 Haiku | 38 | 42,29 % | Anthropic | – | – | 0,11 € | 0,56 € | – non | – |
| WizardLM 2 8x22B | 39 | 39,24 % | – | – | – | 0,56 € | 0,56 € | ✓ oui | – |
| Command R 03-2024 | 40 | 37,9 % | Cohere | – | – | 0,45 € | 1,34 € | ✓ oui | à partir de 24 Go |
| Aya Expanse 8B | 41 | 33,74 % | – | – | – | 0,45 € | 1,34 € | – | – |
| mistral-7b-instruct-v0.2 | 42 | 30,84 % | Mistral AI | 0,14 € | 0,20 € | 0,14 € | 0,20 € | ✓ oui | à partir de 8 Go |
Valeurs égales = même rang. Lors du filtrage, le rang reste la position dans la liste complète. La mémoire GPU « à partir de … » est un minimum (paramètres × 0,55 Go + 4 Go). Prix : € par million de tokens. Source : pages tarifaires des fournisseurs, lues et vérifiées par searchit. Au 7 nov. 2026.
Prix et performance
Valeurs : MMLU-Pro (TIGER-Lab Leaderboard), Apache-2.0 — TIGER-Lab MMLU-Pro. Reprises telles quelles de la source.