MMLU-Pro (TIGER-Lab Leaderboard)
42 modelos com valor. Líder: Gemini 3.1 Pro (Vorschau) com 91,16 %.
| Ficha do benchmark | |
|---|---|
| Tarefa | allgemein - Wissen ueber 14 Fachgebiete |
| Métrica | Anteil richtiger Antworten, 10 Antwortoptionen, Gesamtwert ueber alle Fachgebiete |
| Direção | ↑ maior é melhor |
| Limitação | 🔴 GEMISCHTE Quelle: die Rangliste der Benchmark-Autoren fuehrt eigene Messungen UND Herstellerangaben (Spalte Data Source). Der Katalog uebernimmt beide, kennzeichnet aber jeden Wert (mmlu_pro_herkunft) - Herstellerwerte sind ungeprueft. Artificial Analysis hat MMLU-Pro zurueckgezogen; eine unabhaengige Quelle mit aktuellen Modellen fehlt. Das klassische MMLU wird nicht gefuehrt: gesaettigt, und fuer aktuelle Modelle nur noch als Herstellerangabe verfuegbar. |
| Data | 11/03/2026 |
| Fonte | huggingface.co |
| Licença | Apache-2.0 — TIGER-Lab MMLU-Pro |
Classificação (42)
Nenhuma entrada corresponde ao filtro.
| Modelo | Posição | Valor | Desenvolvedor | Processamento na UE: EntradaUE entrada | Processamento na UE: SaídaUE saída | todos os fornecedores: Entradatodos entrada | todos os fornecedores: Saídatodos saída | Pesos abertos | Memória GPU (4 bits, estimada)Memória GPU |
|---|---|---|---|---|---|---|---|---|---|
| Gemini 3.1 Pro (Vorschau) | 1 | 91,16 % | – | – | 0,90 € | 5,37 € | – não | – | |
| Qwen3.5-397B-A17B | 2 | 87,8 % | Alibaba Cloud | 0,60 € | 3,58 € | 0,40 € | 2,69 € | ✓ sim | a partir de 226 GB |
| GPT-5.4 | 3 | 87,5 % | OpenAI | 2,60 € | 13,87 € | 1,12 € | 6,72 € | – não | – |
| Gemini 3.1 Flash-Lite | 4 | 86,2 % | 0,24 € | 1,46 € | 0,11 € | 0,67 € | – não | – | |
| Qwen3.5-27B | 5 | 86,1 % | Alibaba Cloud | – | – | 0,23 € | 2,33 € | ✓ sim | a partir de 20 GB |
| Gemini 2.5 Pro | 6 | 86 % | 1,34 € | 8,94 € | 0,56 € | 4,48 € | – não | – | |
| GLM-5 | 6 | 86 % | Z.ai | 1,15 € | 3,68 € | 0,45 € | 1,43 € | – | – |
| Qwen3.5-9B | 8 | 82,5 % | Alibaba Cloud | 0,09 € | 0,13 € | 0,09 € | 0,13 € | ✓ sim | a partir de 10 GB |
| GPT-4.1 | 9 | 81,8 % | OpenAI | 1,97 € | 7,87 € | 0,90 € | 3,58 € | – não | – |
| gpt-oss-120b | 10 | 80,8 % | OpenAI | 0,026 € | 0,12 € | 0,026 € | 0,12 € | ✓ sim | a partir de 69 GB |
| MiniMax M2.5 | 11 | 80,1 % | MiniMax | 0,31 € | 1,25 € | 0,13 € | 0,54 € | ✓ sim | a partir de 130 GB |
| Claude 3.5 Sonnet v2 | 12 | 77,64 % | Anthropic | – | – | 1,34 € | 6,72 € | – | – |
| Claude 3.5 Sonnet | 13 | 76,12 % | Anthropic | – | – | 1,34 € | 6,72 € | – | – |
| GPT-4o | 14 | 74,7 % | OpenAI | 2,39 € | 9,55 € | 1,12 € | 4,48 € | – não | – |
| GPT-4o-2024-08-06 | 15 | 74,68 % | OpenAI | 1,23 € | 4,93 € | 1,12 € | 4,48 € | – não | – |
| gpt-oss-20b | 16 | 73,1 % | OpenAI | 0,024 € | 0,11 € | 0,024 € | 0,11 € | ✓ sim | a partir de 16 GB |
| GPT-4o-2024-0513 | 17 | 72,55 % | OpenAI | 4,93 € | 14,78 € | 2,24 € | 6,72 € | – não | – |
| Phi-4 | 18 | 70,4 % | Microsoft | – | – | 0,063 € | 0,13 € | ✓ sim | a partir de 13 GB |
| Claude 3 Opus | 19 | 68,45 % | Anthropic | – | – | 6,72 € | 33,59 € | – | – |
| Mistral Large 2.1 | 20 | 67,9 % | Mistral AI | – | – | – | – | ✓ sim | a partir de 72 GB |
| Gemma 3 27B | 21 | 67,5 % | 0,089 € | 0,27 € | 0,072 € | 0,14 € | ✓ sim | a partir de 20 GB | |
| Mistral Small 3 24B | 22 | 66,3 % | Mistral AI | – | – | 0,045 € | 0,072 € | ✓ sim | a partir de 17 GB |
| Llama 3.3 70B | 23 | 65,9 % | Meta | 0,45 € | 0,65 € | 0,09 € | 0,29 € | ✓ sim | a partir de 43 GB |
| GPT-4-Turbo | 24 | 63,71 % | OpenAI | – | – | 10,84 € | 32,51 € | – não | – |
| GPT-4o mini | 25 | 63,1 % | OpenAI | 0,14 € | 0,57 € | 0,067 € | 0,27 € | – não | – |
| GPT-4o-mini-0718 | 26 | 63,09 % | OpenAI | 0,15 € | 0,59 € | 0,067 € | 0,27 € | – não | – |
| Llama 3.1 70B | 27 | 62,84 % | Meta | 0,31 € | 1,25 € | 0,31 € | 1,25 € | ✓ sim | a partir de 43 GB |
| Claude 3.5 Haiku | 28 | 62,12 % | Anthropic | – | – | 0,36 € | 1,79 € | – não | – |
| Gemma 3 12B | 29 | 60,6 % | – | – | 0,045 € | 0,13 € | ✓ sim | a partir de 11 GB | |
| Gemini 1.5 Flash | 30 | 59,12 % | – | – | – | – | – não | – | |
| Claude 3 Sonnet | 31 | 56,8 % | Anthropic | – | – | 1,34 € | 6,72 € | – não | – |
| Gemma 2 9B | 32 | 52,1 % | – | – | – | – | ✓ sim | a partir de 10 GB | |
| Jamba 1.5 Large | 33 | 49,46 % | AI21 Labs | – | – | 1,79 € | 7,17 € | – | – |
| Aya Expanse 32B | 34 | 45,41 % | – | – | – | 0,45 € | 1,34 € | – | – |
| Mistral Nemo Instruct | 35 | 44,81 % | Mistral AI | 0,016 € | 0,025 € | 0,016 € | 0,025 € | ✓ sim | a partir de 11 GB |
| Llama 3.1 8B Instruct | 36 | 44,25 % | Meta | 0,016 € | 0,041 € | 0,018 € | 0,036 € | ✓ sim | a partir de 9 GB |
| Mixtral 8x7B Instruct | 37 | 43,27 % | Mistral AI | 0,44 € | 0,68 € | 0,40 € | 0,63 € | ✓ sim | a partir de 30 GB |
| Claude 3 Haiku | 38 | 42,29 % | Anthropic | – | – | 0,11 € | 0,56 € | – não | – |
| WizardLM 2 8x22B | 39 | 39,24 % | – | – | – | 0,56 € | 0,56 € | ✓ sim | – |
| Command R 03-2024 | 40 | 37,9 % | Cohere | – | – | 0,45 € | 1,34 € | ✓ sim | a partir de 24 GB |
| Aya Expanse 8B | 41 | 33,74 % | – | – | – | 0,45 € | 1,34 € | – | – |
| mistral-7b-instruct-v0.2 | 42 | 30,84 % | Mistral AI | 0,14 € | 0,20 € | 0,14 € | 0,20 € | ✓ sim | a partir de 8 GB |
Valores iguais = mesma posição. Ao filtrar, a posição continua a ser a da lista completa. A memória GPU «a partir de …» é um limite inferior (parâmetros × 0,55 GB + 4 GB). Preços: € por 1 M de tokens. Fonte: páginas de preços dos fornecedores, lidas e verificadas pela searchit. A 07/11/2026.
Preço e desempenho
Valores: MMLU-Pro (TIGER-Lab Leaderboard), Apache-2.0 — TIGER-Lab MMLU-Pro. Retirados sem alterações da fonte.