KI-Modelle selbst betreiben

Modelle mit offenen Gewichten, sortiert nach der Grafikkarte, auf der sie bei 4-Bit mindestens laufen – mit Lizenz, Modelldateien, bestem Benchmark und dem API-Preis zum Vergleich.

301Modelle mit offenen Gewichten

278mit Grafikspeicher-Angabe

284mit Modelldateien bei Hugging Face

Offene Gewichte heißt: Die Modelldateien sind öffentlich, Sie können das Modell auf eigener Hardware betreiben. Was Sie damit dürfen, regelt die Lizenz – nicht jede erlaubt jede Nutzung.

Der Grafikspeicher ist abgeleitet, nicht gemessen: Parameter (Mrd.) × 0,55 GB + 4 GB bei 4-Bit-Quantisierung. Beispiel: 32,8 Mrd. × 0,55 GB + 4 GB = 22,0 GB – passt auf eine 24-GB-Karte. Das ist eine Untergrenze: Gängige 4-Bit-Dateien brauchen bei großen Modellen eher 0,6 GB je Mrd. Parameter, langer Kontext und viele gleichzeitige Anfragen deutlich mehr.

Welche Hardware für welchen Zweck: Hardware für lokale LLMs (Techblog)

24 GB – eine RTX PRO 4000

Grafikspeicher (4-Bit, abgeleitet) bis 24 GB · 189 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
@cf/ai4bharat/indictrans2-en-indic-1B	Sprachmodelle	1,12	ab 5 GB	MIT	huggingface.co/ai4bharat/indictrans2-en-indic-1B	–	0,31 €	0,31 €
@cf/aisingapore/gemma-sea-lion-v4-27b-it	Sprachmodelle	27,43	ab 20 GB	Gemma Terms of Use	huggingface.co/aisingapore/Gemma-SEA-LION-v4-27B-IT	–	0,31 €	0,50 €
@cf/baai/bge-reranker-base	Sprachmodelle	0,28	ab 5 GB	MIT	huggingface.co/BAAI/bge-reranker-base	–	0,0027 €	–
@cf/baai/bge-small-en-v1.5	Einbettung	0,033	ab 5 GB	MIT	huggingface.co/BAAI/bge-small-en-v1.5	–	0,018 €	–
@cf/cloudflare/clef	Sprachmodelle	27,36	ab 20 GB	Apache-2.0	huggingface.co/Cloudflare/clef	–	–	–
@cf/cloudflare/clef-omni	Sprachmodelle	35,26 / 3	ab 24 GB	Apache-2.0	huggingface.co/Cloudflare/clef-omni	–	–	–
@cf/deepseek-ai/deepseek-r1-distill-qwen-32b	Sprachmodelle	32,76	ab 23 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B	–	0,45 €	4,37 €
@cf/huggingface/distilbert-sst-2-int8	Sprachmodelle	0,067	ab 5 GB	Apache-2.0	huggingface.co/distilbert/distilbert-base-uncased-finetuned-sst-2-english	–	–	–
@cf/ibm-granite/granite-4.0-h-micro	Sprachmodelle	3,19	ab 6 GB	Apache-2.0	huggingface.co/ibm-granite/granite-4.0-h-micro	–	0,015 €	0,10 €
@cf/meta/llama-2-7b-chat-fp16	Sprachmodelle	6,74	ab 8 GB	Llama 2 Community License	huggingface.co/meta-llama/Llama-2-7b-chat-hf	–	0,50 €	5,97 €
@cf/meta/llama-guard-3-8b	Sprachmodelle	8,03	ab 9 GB	Llama 3.1 Community License	huggingface.co/meta-llama/Llama-Guard-3-8B	–	0,43 €	0,027 €
@cf/meta/m2m100-1.2b	Sprachmodelle	1,2	ab 5 GB	MIT	huggingface.co/facebook/m2m100_1.2B	–	0,31 €	0,31 €
@cf/microsoft/resnet-50	Bilderzeugung	0,026	ab 5 GB	Apache-2.0	huggingface.co/microsoft/resnet-50	–	–	–
@cf/mistral/mistral-7b-instruct-v0.1	Sprachmodelle	7,24	ab 8 GB	Apache-2.0	huggingface.co/mistralai/Mistral-7B-Instruct-v0.1	–	0,099 €	0,17 €
@cf/moondream/moondream3.1-9B-A2B	Sprachmodelle	9,27 / 2	ab 10 GB	Moondream Model License 1.0	huggingface.co/moondream/moondream3.1-9B-A2B	–	0,27 €	0,90 €
@cf/pfnet/plamo-embedding-1b	Einbettung	1,05	ab 5 GB	Apache-2.0	huggingface.co/pfnet/plamo-embedding-1b	–	0,017 €	–
@cf/pipecat-ai/smart-turn-v2	Sprachmodelle	0,095	ab 5 GB	BSD-2-Clause	huggingface.co/pipecat-ai/smart-turn-v2	–	–	–
@cf/qwen/qwen2.5-coder-32b-instruct	Sprachmodelle	32,76	ab 23 GB	Apache-2.0	huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct	–	0,59 €	0,90 €
@cf/qwen/qwq-32b	Sprachmodelle	32,76	ab 23 GB	Apache-2.0	huggingface.co/Qwen/QwQ-32B	–	0,59 €	0,90 €
All MiniLM L12 v2	Einbettung	0,033	ab 5 GB	Apache-2.0	huggingface.co/sentence-transformers/all-MiniLM-L12-v2	MTEB NFCorpus · Rang 23 von 29	0,0045 €	–
all-MiniLM-L6-v2	Einbettung	0,022	ab 5 GB	Apache-2.0	huggingface.co/sentence-transformers/all-MiniLM-L6-v2	MTEB NFCorpus · Rang 24 von 29	0,0045 €	–
all-mpnet-base-v2	Einbettung	0,11	ab 5 GB	Apache-2.0	huggingface.co/sentence-transformers/all-mpnet-base-v2	MTEB EnglishFinance3Retrieval · Rang 11 von 34	0,0045 €	–
Argus-Colqwen3.5-9b-v0	Einbettung	8,82	ab 9 GB	Apache-2.0	huggingface.co/DataScience-UIBK/Argus-Colqwen3.5-9b-v0	–	–	–
AutoGLM Phone 9B Multilingual	Sprachmodelle	10,29	ab 10 GB	MIT	huggingface.co/zai-org/AutoGLM-Phone-9B-Multilingual	–	–	–
Aya Expanse	Sprachmodelle	32,3	ab 22 GB	CC-BY-NC-4.0	huggingface.co/CohereLabs/aya-expanse-32b	–	–	–
bekko-embedding-v1-a25m	Einbettung	0,12	ab 5 GB	MIT	huggingface.co/hotchpotch/bekko-embedding-v1-a25m	MTEB GermanQuAD-Retrieval · Rang 3 von 26	–	–
bekko-embedding-v1-a8m	Einbettung	0,11	ab 5 GB	MIT	huggingface.co/hotchpotch/bekko-embedding-v1-a8m	MTEB GermanQuAD-Retrieval · Rang 4 von 26	–	–
BGE Multilingual Gemma2	Einbettung	9,24	ab 10 GB	Gemma Terms	huggingface.co/BAAI/bge-multilingual-gemma2	MTEB ArguAna · Rang 2 von 38	0,01 €	–
BGE Reranker v2 M3	Sprachmodelle	0,57	ab 5 GB	Apache-2.0	huggingface.co/BAAI/bge-reranker-v2-m3	–	0,011 €	–
bge-base-en-v1.5	Einbettung	0,11	ab 5 GB	MIT	huggingface.co/BAAI/bge-base-en-v1.5	MTEB SciFact · Rang 4 von 28	0,0045 €	–
bge-en-icl	Einbettung	7,11	ab 8 GB	Apache-2.0	huggingface.co/BAAI/bge-en-icl	–	0,009 €	–
bge-large-en-v1.5	Einbettung	0,34	ab 5 GB	MIT	huggingface.co/BAAI/bge-large-en-v1.5	MTEB SciFact · Rang 3 von 28	0,009 €	–
BGE-M3	Einbettung	0,57	ab 5 GB	MIT	huggingface.co/BAAI/bge-m3	MTEB EnglishFinance1Retrieval · Rang 12 von 34	0,0082 €	–
Chroma	Bilderzeugung	8,9	ab 9 GB	Apache-2.0	huggingface.co/lodestones/Chroma1-HD	–	–	–
Cloudflare/clef-flash	Sprachmodelle	9,41	ab 10 GB	Apache-2.0	huggingface.co/Cloudflare/clef-flash	–	–	–
CogView-4	Bilderzeugung	6,37	ab 8 GB	Apache-2.0	huggingface.co/zai-org/CogView4-6B	–	–	–
COLMODERNVBERT	Einbettung	0,25	ab 5 GB	MIT	huggingface.co/ModernVBERT/colmodernvbert	–	–	–
colnomic-embed-multimodal-7b	Einbettung	7	ab 8 GB	Apache-2.0	huggingface.co/nomic-ai/colnomic-embed-multimodal-7b	–	–	–
colpali-v1.3	Einbettung	2,92	ab 6 GB	Apache-2.0	huggingface.co/vidore/colpali-v1.3	–	–	–
Command R 03-2024	Sprachmodelle	34,98	ab 24 GB	CC-BY-NC-4.0	huggingface.co/CohereLabs/c4ai-command-r-v01	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 40 von 42	0,45 €	1,34 €
convaiinnovations/laya	Sprachmodelle	0,42	ab 5 GB	Apache-2.0	huggingface.co/convaiinnovations/laya	–	–	–
Cydonia 24B v4.1	Sprachmodelle	23,57	ab 17 GB	–	huggingface.co/TheDrummer/Cydonia-24B-v4.1	–	0,27 €	0,45 €
DeepSeek OCR 2	Sprachmodelle	3,39	ab 6 GB	Apache-2.0	huggingface.co/deepseek-ai/DeepSeek-OCR-2	–	–	–
DeepSeek-OCR	Bildmodelle	3,34	ab 6 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-OCR	–	0,27 €	1,07 €
Devstral	Sprachmodelle	23,57	ab 17 GB	Apache-2.0	huggingface.co/mistralai/Devstral-Small-2507	–	–	–
e5-base-v2	Einbettung	0,11	ab 5 GB	MIT	huggingface.co/intfloat/e5-base-v2	MTEB TRECCOVID · Rang 24 von 37	0,0045 €	–
e5-large-v2	Einbettung	0,34	ab 5 GB	MIT	huggingface.co/intfloat/e5-large-v2	MTEB GermanDPR · Rang 11 von 22	0,009 €	–
E5-Mistral-7B	Einbettung	7,11 / 7,11	ab 8 GB	MIT	huggingface.co/intfloat/e5-mistral-7b-instruct	MTEB SciFact · Rang 2 von 28	0,02 €	–
embeddinggemma-300m	Einbettung	0,31	ab 5 GB	Gemma Terms	huggingface.co/google/embeddinggemma-300m	MTEB ArguAna · Rang 4 von 38	–	–
EuroLLM 22B	Sprachmodelle	22,64	ab 17 GB	Apache-2.0	huggingface.co/utter-project/EuroLLM-22B-Instruct-2512	–	–	–
Flux schnell	Bilderzeugung	11,89	ab 11 GB	Apache-2.0	huggingface.co/black-forest-labs/FLUX.1-schnell	–	–	–
FLUX-1-dev	Bilderzeugung	11,9	ab 11 GB	FLUX.1 [dev] Non-Commercial License	huggingface.co/black-forest-labs/FLUX.1-dev	–	–	–
FLUX-2-klein-4b	Bilderzeugung	3,88	ab 7 GB	Apache-2.0	huggingface.co/black-forest-labs/FLUX.2-klein-4B	–	–	–
FLUX-2-klein-9b	Bilderzeugung	9,08	ab 9 GB	FLUX Non-Commercial License	huggingface.co/black-forest-labs/FLUX.2-klein-9B	–	–	–
FLUX.2 [dev]	Bilderzeugung	32,22	ab 22 GB	FLUX Non-Commercial License	huggingface.co/black-forest-labs/FLUX.2-dev	–	–	–
Gemma 2 9B	Sprachmodelle	9,24	ab 10 GB	Gemma Terms of Use	huggingface.co/google/gemma-2-9b-it	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 32 von 42	–	–
Gemma 3 12B	Sprachmodelle	12,19	ab 11 GB	Gemma Terms of Use	huggingface.co/google/gemma-3-12b-it	Vectara HHEM-2.3 · Rang 5 von 82	0,045 €	0,13 €
Gemma 3 27B	Sprachmodelle	27,4	ab 20 GB	Gemma Terms of Use	huggingface.co/google/gemma-3-27b-it	Vectara HHEM-2.3 · Rang 27 von 82	0,072 €	0,14 €
Gemma 3 4B	Sprachmodelle	4,3	ab 7 GB	Gemma Terms of Use	huggingface.co/google/gemma-3-4b-it	Vectara HHEM-2.3 · Rang 23 von 82	0,018 €	0,036 €
Gemma 4 31B	Sprachmodelle	31	ab 22 GB	Apache-2.0	huggingface.co/google/gemma-4-31B-it	Vectara HHEM-2.3 · Rang 27 von 82	0,09 €	0,27 €
Gemma 4 Uncensored	Sprachmodelle	25,2 / 3,8	ab 18 GB	Gemma Terms of Use	huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2	–	0,15 €	0,45 €
gemma-4-12B-it	Sprachmodelle	11,95	ab 11 GB	Apache-2.0	huggingface.co/google/gemma-4-12B-it	–	0,09 €	0,27 €
GLM 4.7 Flash	Sprachmodelle	30 / 3	ab 21 GB	MIT	huggingface.co/zai-org/GLM-4.7-Flash	Vectara HHEM-2.3 · Rang 36 von 82	0,031 €	0,18 €
GLM 4.7 Flash Heretic	Sprachmodelle	30 / 3	ab 21 GB	MIT	huggingface.co/Olafangensan/GLM-4.7-Flash-heretic	–	0,063 €	0,36 €
GLM-4-32B-0414-128K	Sprachmodelle	32	ab 22 GB	MIT	huggingface.co/zai-org/GLM-4-32B-0414	–	0,09 €	0,09 €
GLM-OCR	Bildmodelle	0,9	ab 5 GB	–	huggingface.co/zai-org/GLM-OCR	–	0,027 €	0,027 €
gpt-oss-20b	Sprachmodelle	21 / 3,6	ab 16 GB	Apache-2.0	huggingface.co/openai/gpt-oss-20b	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 16 von 42	0,024 €	0,11 €
Granite 4.0 H Small	Sprachmodelle	32,21 / 9	ab 22 GB	Apache-2.0	huggingface.co/ibm-granite/granite-4.0-h-small	Vectara HHEM-2.3 · Rang 11 von 82	–	–
Granite Vision 3.2 2B	Bildmodelle	2,98	ab 6 GB	Apache-2.0	huggingface.co/ibm-granite/granite-vision-3.2-2b	–	–	–
granite-embedding-278m-multilingual	Einbettung	0,28	ab 5 GB	Apache-2.0	huggingface.co/ibm-granite/granite-embedding-278m-multilingual	MTEB GermanDPR · Rang 10 von 22	–	–
granite-embedding-311m-multilingual-r2	Einbettung	0,31	ab 5 GB	Apache-2.0	huggingface.co/ibm-granite/granite-embedding-311m-multilingual-r2	MTEB SciFact · Rang 14 von 28	–	–
granite-embedding-97m-multilingual-r2	Einbettung	0,097	ab 5 GB	Apache-2.0	huggingface.co/ibm-granite/granite-embedding-97m-multilingual-r2	MTEB LegalQuAD · Rang 27 von 44	–	–
granite-vision-3.3-2b-embedding	Einbettung	2,98	ab 6 GB	Apache-2.0	huggingface.co/ibm-granite/granite-vision-3.3-2b-embedding	–	–	–
green-embedding	Einbettung	4,02	ab 7 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Embedding-4B	–	0,20 €	–
green-l	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506	–	0,25 €	0,80 €
green-l-raw	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506	–	0,25 €	0,80 €
green-rerank	Sprachmodelle	4,02	ab 7 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Reranker-4B	–	0,12 €	–
gte-base	Einbettung	0,11	ab 5 GB	MIT	huggingface.co/thenlper/gte-base	MTEB GermanDPR · Rang 17 von 22	0,0045 €	–
gte-large	Einbettung	0,34	ab 5 GB	MIT	huggingface.co/thenlper/gte-large	MTEB GermanDPR · Rang 12 von 22	0,009 €	–
gte-multilingual-base	Einbettung	0,3	ab 5 GB	Apache-2.0	huggingface.co/Alibaba-NLP/gte-multilingual-base	MTEB SciFact · Rang 7 von 28	–	–
harrier-oss-v1-270m	Einbettung	0,27 / 0,27	ab 5 GB	MIT	huggingface.co/microsoft/harrier-oss-v1-270m	MTEB ArguAna · Rang 9 von 38	–	–
Ideogram V4	Bilderzeugung	9,3	ab 10 GB	Ideogram 4 Non-Commercial	huggingface.co/ideogram-ai/ideogram-4-fp8	–	–	–
intfloat/multilingual-e5-large	Einbettung	0,56	ab 5 GB	MIT	huggingface.co/intfloat/multilingual-e5-large	MTEB GermanDPR · Rang 4 von 22	0,0082 €	–
jina-clip-v1	Einbettung	0,22	ab 5 GB	Apache-2.0	huggingface.co/jinaai/jina-clip-v1	–	–	–
jina-clip-v2	Einbettung	0,86	ab 5 GB	Apache-2.0	huggingface.co/jinaai/jina-clip-v2	–	–	–
jina-embeddings-v2-base-de	Einbettung	0,16	ab 5 GB	Apache-2.0	huggingface.co/jinaai/jina-embeddings-v2-base-de	–	0,05 €	–
Kokoro Text to Speech	Sprachmodelle	0,082	ab 5 GB	Apache-2.0	huggingface.co/hexgrad/Kokoro-82M	–	–	–
Krea 2 Turbo	Bilderzeugung	12,82	ab 12 GB	Krea 2 Community License	huggingface.co/krea/Krea-2-Turbo	–	–	–
LFM2.5-VL-3B	Bildmodelle	3,12	ab 6 GB	LFM Open License	huggingface.co/LiquidAI/LFM2.5-VL-3B	–	–	–
LightOnOCR 2	Bildmodelle	1,01	ab 5 GB	Apache-2.0	huggingface.co/lightonai/LightOnOCR-2-1B	–	0,15 €	0,30 €
lightonocr-3-0.8b	Sprachmodelle	0,85	ab 5 GB	Apache-2.0	huggingface.co/lightonai/LightOnOCR-3-0.8B	–	–	–
Llama 3 8B	Sprachmodelle	8,03	ab 9 GB	Llama 3 Community License	huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 145 von 153	0,11 €	0,24 €
Llama 3 8B Stheno V3.2	Sprachmodelle	8,03	ab 9 GB	CC-BY-NC-4.0	huggingface.co/Sao10K/L3-8B-Stheno-v3.2	–	–	–
Llama 3.1 8B Instruct	Sprachmodelle	8,03	ab 9 GB	Llama 3.1 Community License	huggingface.co/meta-llama/Llama-3.1-8B-Instruct	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 36 von 42	0,018 €	0,036 €
Llama 3.2 1B	Sprachmodelle	1,24	ab 5 GB	Llama 3.2 Community License	huggingface.co/meta-llama/Llama-3.2-1B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 150 von 153	0,024 €	0,18 €
Llama 3.2 3B	Sprachmodelle	3,21	ab 6 GB	Llama 3.2 Community License	huggingface.co/meta-llama/Llama-3.2-3B-Instruct	Berkeley Function-Calling Leaderboard V4 · Rang 40 von 42	0,046 €	0,30 €
Llama 3.2 Vision 11B	Bildmodelle	10,67	ab 10 GB	Llama 3.2 Community License	huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct	–	0,14 €	0,14 €
Llama-Guard-4-12B	Sprachmodelle	12	ab 11 GB	Llama 4 Community License	huggingface.co/meta-llama/Llama-Guard-4-12B	–	0,16 €	0,16 €
LLaVA 1.5 7B	Bildmodelle	7,06	ab 8 GB	Llama-2-Lizenz	huggingface.co/llava-hf/llava-1.5-7b-hf	–	–	–
M MiniCPM-V 4.5	Sprachmodelle	8,7	ab 9 GB	Apache-2.0	huggingface.co/openbmb/MiniCPM-V-4_5	–	0,58 €	0,98 €
Magistral Small 1.2	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Magistral-Small-2509	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 116 von 153	0,22 €	0,67 €
Ministral 3 14B	Bildmodelle	13,95	ab 12 GB	Apache-2.0	huggingface.co/mistralai/Ministral-3-14B-Instruct-2512	Vectara HHEM-2.3 · Rang 79 von 82	0,09 €	0,09 €
Ministral 3 3B	Sprachmodelle	3,85	ab 7 GB	Apache-2.0	huggingface.co/mistralai/Ministral-3-3B-Instruct-2512	Vectara HHEM-2.3 · Rang 82 von 82	0,045 €	0,045 €
Ministral 3 8B	Sprachmodelle	8,92	ab 9 GB	Apache-2.0	huggingface.co/mistralai/Ministral-3-8B-Instruct-2512	searchit Entity Extraction · Rang 31 von 53	0,063 €	0,063 €
Mistral 7B	Sprachmodelle	7,25	ab 8 GB	Apache-2.0	huggingface.co/mistralai/Mistral-7B-Instruct-v0.3	–	0,13 €	0,18 €
Mistral 7B Instruct	Sprachmodelle	7,25	ab 8 GB	Apache-2.0	huggingface.co/mistralai/Mistral-7B-Instruct-v0.3	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 152 von 153	0,12 €	0,12 €
Mistral Nemo Instruct	Sprachmodelle	12,25	ab 11 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Nemo-Instruct-2407	Berkeley Function-Calling Leaderboard V4 · Rang 35 von 42	0,016 €	0,025 €
Mistral Small 24B Instruct New	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506	–	0,099 €	0,30 €
Mistral Small 3 24B	Sprachmodelle	23,6	ab 17 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501	Vectara HHEM-2.3 · Rang 8 von 82	0,045 €	0,072 €
Mistral Small 3.1 24B	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 139 von 153	0,09 €	0,27 €
Mistral Small 3.2 24B	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506	Berkeley Function-Calling Leaderboard V4 · Rang 26 von 42	0,061 €	0,16 €
mistral-7b-instruct-v0.2	Sprachmodelle	7,24	ab 8 GB	Apache-2.0	huggingface.co/mistralai/Mistral-7B-Instruct-v0.2	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 42 von 42	0,14 €	0,20 €
most-embed-de	Einbettung	1,14	ab 5 GB	CC-BY-NC-4.0	huggingface.co/malteos/most-embed-de	MTEB LegalQuAD · Rang 1 von 44	–	–
multi-qa-mpnet-base-dot-v1	Einbettung	0,11	ab 5 GB	–	huggingface.co/sentence-transformers/multi-qa-mpnet-base-dot-v1	–	0,0045 €	–
multilingual-e5-large-instruct	Einbettung	0,56	ab 5 GB	MIT	huggingface.co/intfloat/multilingual-e5-large-instruct	MTEB GermanQuAD-Retrieval · Rang 6 von 26	0,009 €	–
multilingual-e5-small	Einbettung	0,12	ab 5 GB	MIT	huggingface.co/intfloat/multilingual-e5-small	MTEB GermanQuAD-Retrieval · Rang 10 von 26	0,0067 €	–
mxbai-embed-large-v1	Einbettung	0,34	ab 5 GB	Apache-2.0	huggingface.co/mixedbread-ai/mxbai-embed-large-v1	MTEB NFCorpus · Rang 3 von 29	–	–
Nemotron Embed VL 1B v2	Einbettung	1,7	ab 5 GB	NVIDIA Open Model License	huggingface.co/nvidia/llama-nemotron-embed-vl-1b-v2	–	0,011 €	0,011 €
nemotron-colembed-vl-8b-v2	Einbettung	8,77	ab 9 GB	eigene Lizenz - vor Einsatz pruefen	huggingface.co/nvidia/nemotron-colembed-vl-8b-v2	–	–	–
Nemotron-Content-Safety-3.5	Sprachmodelle	4	ab 7 GB	OpenMDW-1.1 + Gemma Terms of Use	huggingface.co/nvidia/Nemotron-3.5-Content-Safety	–	0,18 €	0,18 €
nemotron-nano-v2-12b	Sprachmodelle	12,31	ab 11 GB	NVIDIA Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-Nano-12B-v2	–	0,21 €	0,64 €
nomic-embed-text-v1.5	Einbettung	0,14	ab 5 GB	Apache-2.0	huggingface.co/nomic-ai/nomic-embed-text-v1.5	MTEB SciFact · Rang 16 von 28	–	–
nomic-embed-text-v2-moe	Einbettung	0,47 / 0,3	ab 5 GB	Apache-2.0	huggingface.co/nomic-ai/nomic-embed-text-v2-moe	MTEB EnglishFinance1Retrieval · Rang 8 von 34	–	–
nomic-embed-vision-v1.5	Einbettung	0,093	ab 5 GB	Apache-2.0	huggingface.co/nomic-ai/nomic-embed-vision-v1.5	–	–	–
North Micro Vision Instruct	Bildmodelle	2,48	ab 6 GB	Apache-2.0	huggingface.co/CohereLabs/north-micro-vision-instruct	–	–	–
NVIDIA Nemotron 3 Nano 30B	Sprachmodelle	31,58 / 3,5	ab 22 GB	NVIDIA Nemotron Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16	Vectara HHEM-2.3 · Rang 40 von 82	0,027 €	0,11 €
NVIDIA Nemotron 3.5 Lightning 30B A3B	Sprachmodelle	30 / 3	ab 21 GB	OpenMDW-1.1	huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16	–	0,046 €	0,14 €
NVIDIA Nemotron Nano 2	Sprachmodelle	8,89	ab 9 GB	NVIDIA Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2	–	0,027 €	0,11 €
NVIDIA Nemotron Nano 2 VL	Sprachmodelle	13,18	ab 12 GB	NVIDIA Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16	–	0,054 €	0,21 €
Ops-Colqwen3-4B	Einbettung	4,44	ab 7 GB	Apache-2.0	huggingface.co/OpenSearch-AI/Ops-Colqwen3-4B	–	–	–
Orpheus TTS	Sprachmodelle	3,78	ab 7 GB	Apache-2.0	huggingface.co/canopylabs/orpheus-3b-0.1-ft	–	–	–
Parakeet ASR	Sprachmodelle	0,6	ab 5 GB	CC-BY-4.0	huggingface.co/nvidia/parakeet-tdt-0.6b-v3	–	–	–
paraphrase-MiniLM-L6-v2	Einbettung	0,023	ab 5 GB	Apache-2.0	huggingface.co/sentence-transformers/paraphrase-MiniLM-L6-v2	–	0,0045 €	–
Phi-4	Sprachmodelle	14,7	ab 13 GB	MIT	huggingface.co/microsoft/phi-4	Vectara HHEM-2.3 · Rang 3 von 82	0,063 €	0,13 €
Qwen 2.5 7B	Sprachmodelle	7 / 7,61	ab 9 GB	Apache 2.0	huggingface.co/Qwen/Qwen2.5-7B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 142 von 153	0,033 €	0,082 €
Qwen 3 TTS 0.6B	Sprachmodelle	0,91	ab 5 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice	–	–	–
Qwen 3 TTS 1.7B	Sprachmodelle	1,92	ab 6 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice	–	–	–
Qwen Image	Bilderzeugung	20	ab 15 GB	Apache-2.0	huggingface.co/Qwen/Qwen-Image	–	–	–
Qwen Image 2.1 Turbo	Bilderzeugung	7,12	ab 8 GB	Qwen Research License	huggingface.co/Qwen/Qwen-Image-2.1-Turbo	–	–	–
Qwen Image Edit	Bilderzeugung	20	ab 15 GB	Apache-2.0	huggingface.co/Qwen/Qwen-Image-Edit	–	–	–
Qwen/Qwen3-Reranker-0.6B	Sprachmodelle	0,6	ab 5 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Reranker-0.6B	–	0,0098 €	–
Qwen2.5-VL 32B Instruct	Bildmodelle	33,45	ab 23 GB	Apache-2.0	huggingface.co/Qwen/Qwen2.5-VL-32B-Instruct	–	–	–
Qwen2.5-VL 7B Instruct	Bildmodelle	8,29	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct	–	–	–
Qwen3 30B A3B Instruct 2507	Sprachmodelle	30,53 / 3,3	ab 21 GB	–	huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507	Berkeley Function-Calling Leaderboard V4 · Rang 22 von 42	0,089 €	0,27 €
Qwen3 8B	Sprachmodelle	8	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-8B	Vectara HHEM-2.3 · Rang 7 von 82	–	–
Qwen3 Coder 30B	Sprachmodelle	30,53 / 3,3	ab 21 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct	–	0,057 €	0,21 €
Qwen3 Embedding 8B	Einbettung	7,57 / 7,57	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Embedding-8B	MTEB TRECCOVID · Rang 1 von 37	0,009 €	–
Qwen3-14B	Sprachmodelle	14,77	ab 13 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-14B	Vectara HHEM-2.3 · Rang 13 von 82	0,11 €	0,21 €
Qwen3-30B-A3B	Sprachmodelle	30,5 / 3,3	ab 21 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-30B-A3B	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 96 von 153	0,046 €	0,30 €
Qwen3-32B	Sprachmodelle	32,8	ab 23 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-32B	Vectara HHEM-2.3 · Rang 19 von 82	0,072 €	0,25 €
Qwen3-Embedding-0.6B	Einbettung	0,59 / 0,6	ab 5 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Embedding-0.6B	MTEB TRECCOVID · Rang 2 von 37	0,011 €	–
Qwen3-Reranker-4B	Sprachmodelle	4	ab 7 GB	Apache 2.0	huggingface.co/Qwen/Qwen3-Reranker-4B	–	0,05 €	–
Qwen3-VL 30B-A3B Instruct	Bildmodelle	31,07 / 3	ab 22 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-30B-A3B-Instruct	–	0,13 €	0,54 €
Qwen3-VL 32B Instruct	Bildmodelle	33,36	ab 23 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-32B-Instruct	–	–	–
Qwen3-VL 32B Thinking	Bildmodelle	33,36	ab 23 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-32B-Thinking	–	–	–
Qwen3-VL 4B Instruct	Bildmodelle	4,44	ab 7 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-4B-Instruct	–	–	–
Qwen3-VL 8B Instruct	Bildmodelle	8,77	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-8B-Instruct	–	0,22 €	0,67 €
Qwen3-VL 8B Thinking	Bildmodelle	8,77	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-8B-Thinking	–	–	–
Qwen3-VL Embedding 8B	Einbettung	8,14	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-Embedding-8B	–	0,08 €	–
Qwen3-VL Reranker-8B	Sprachmodelle	8	ab 9 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-Reranker-8B	–	0,04 €	–
Qwen3-VL-Embedding-2B	Einbettung	2,13	ab 6 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-Embedding-2B	–	–	–
Qwen3.5 2B	Sprachmodelle	2,27	ab 6 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-2B	–	–	–
Qwen3.5-27B	Sprachmodelle	27,78	ab 20 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-27B	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 5 von 42	0,23 €	2,33 €
Qwen3.5-35B-A3B	Sprachmodelle	35,95 / 3	ab 24 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-35B-A3B	searchit Entity Extraction · Rang 28 von 53	0,13 €	0,90 €
Qwen3.5-9B	Sprachmodelle	9,65	ab 10 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-9B	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 8 von 42	0,09 €	0,13 €
Qwen3.6-27B	Sprachmodelle	27,78	ab 20 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.6-27B	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 54 von 153	0,22 €	1,79 €
Qwen3.6-35B-A3B	Sprachmodelle	35,95 / 3	ab 24 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.6-35B-A3B	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 64 von 153	0,13 €	0,45 €
Qwen3.8-27B	Sprachmodelle	27,78	ab 20 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.8-27B	searchit Entity Extraction · Rang 27 von 53	0,09 €	0,27 €
Safety GPT OSS 20B	Sprachmodelle	21 / 3,6	ab 16 GB	Apache-2.0	huggingface.co/openai/gpt-oss-safeguard-20b	–	0,027 €	0,09 €
SauerkrautLM-ColQwen3-8b-v0.1	Einbettung	8,14	ab 9 GB	Apache-2.0	huggingface.co/VAGOsolutions/SauerkrautLM-ColQwen3-8b-v0.1	–	–	–
Seed-OSS-36B-Instruct	Sprachmodelle	36,15	ab 24 GB	Apache-2.0	huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 90 von 153	–	–
siglip-so400m-patch14-384	Einbettung	0,88	ab 5 GB	Apache-2.0	huggingface.co/google/siglip-so400m-patch14-384	–	–	–
SNOWFLAKE ARCTIC-EMBED-M-V1.5	Einbettung	0,11	ab 5 GB	Apache-2.0	huggingface.co/Snowflake/snowflake-arctic-embed-m-v1.5	MTEB TRECCOVID · Rang 6 von 37	0,022 €	–
snowflake-arctic-embed-l	Einbettung	0,34	ab 5 GB	Apache-2.0	huggingface.co/Snowflake/snowflake-arctic-embed-l	MTEB SciFact · Rang 6 von 28	–	–
snowflake-arctic-embed-l-v2.0	Einbettung	0,57	ab 5 GB	Apache-2.0	huggingface.co/Snowflake/snowflake-arctic-embed-l-v2.0	MTEB GermanQuAD-Retrieval · Rang 2 von 26	–	–
snowflake-arctic-embed-m-long	Einbettung	0,14	ab 5 GB	Apache-2.0	huggingface.co/Snowflake/snowflake-arctic-embed-m-long	MTEB ArguAna · Rang 11 von 38	–	–
snowflake-arctic-embed-m-v2.0	Einbettung	0,3	ab 5 GB	Apache-2.0	huggingface.co/Snowflake/snowflake-arctic-embed-m-v2.0	MTEB LegalQuAD · Rang 10 von 44	0,036 €	–
text2vec-base-chinese	Einbettung	0,1	ab 5 GB	Apache-2.0	huggingface.co/shibing624/text2vec-base-chinese	MTEB LegalQuAD · Rang 44 von 44	0,0045 €	–
UI-TARS 1.5 7B	Sprachmodelle	8,29	ab 9 GB	Apache-2.0	huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B	–	0,09 €	0,18 €
Venice SD35	Bilderzeugung	8,15	ab 9 GB	Stability AI Community License	huggingface.co/stabilityai/stable-diffusion-3.5-large	–	–	–
Venice Uncensored 1.2	Sprachmodelle	24,01	ab 18 GB	Apache-2.0	huggingface.co/dphn/Dolphin-Mistral-24B-Venice-Edition	–	0,18 €	0,81 €
Voxtral Mini 1.0	Sprachmodelle	4,68	ab 7 GB	Apache-2.0	huggingface.co/mistralai/Voxtral-Mini-3B-2507	–	0,018 €	0,018 €
Voxtral Small 24B	Sprachmodelle	24,26	ab 18 GB	Apache-2.0	huggingface.co/mistralai/Voxtral-Small-24B-2507	–	0,045 €	0,13 €
Voxtral-Mini-3B-2507	Sprachmodelle	4	ab 7 GB	Apache-2.0	huggingface.co/mistralai/Voxtral-Mini-3B-2507	–	–	–
VultronRetrieverPrime-Qwen3.5-8B	Einbettung	8,39	ab 9 GB	Apache-2.0	huggingface.co/vultr/VultronRetrieverPrime-Qwen3.5-8B	–	–	–
webAI-ColVec1.1-8b	Einbettung	8,39	ab 9 GB	eigene Lizenz - vor Einsatz pruefen	huggingface.co/webAI-Official/webAI-ColVec1.1-8b	–	–	–
Whisper Large V3 Turbo	Sprachmodelle	0,81 / 0,81	ab 5 GB	MIT	huggingface.co/openai/whisper-large-v3-turbo	–	9,21 €	9,21 €
Whisper large-v3 New	Sprachmodelle	1,54 / 1,55	ab 5 GB	Apache-2.0	huggingface.co/openai/whisper-large-v3	–	14,61 €	14,61 €
Z-Image Turbo	Bilderzeugung	6,16	ab 8 GB	Apache-2.0	huggingface.co/Tongyi-MAI/Z-Image-Turbo	–	–	–

API-Preis: günstigstes Angebot weltweit in € je 1 Mio. Token – zum Vergleich „mieten oder selbst betreiben“. Bester Benchmark: der beste Rang des Modells in den Bestenlisten. Quelle: Preisseiten der Anbieter, gelesen und geprüft von searchit. Stand 07.11.2026.

48 GB – eine RTX PRO 5000

Grafikspeicher (4-Bit, abgeleitet) über 24 GB bis 48 GB · 13 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
Hunyuan Image 3.0	Bilderzeugung	80 / 13	ab 48 GB	Tencent Hunyuan Community License (Image 3.0)	huggingface.co/tencent/HunyuanImage-3.0	–	–	–
Hunyuan-A13B-Instruct	Sprachmodelle	80 / 13	ab 48 GB	Tencent Hunyuan Community License (A13B)	huggingface.co/tencent/Hunyuan-A13B-Instruct	–	0,13 €	0,51 €
Llama 3 70B	Sprachmodelle	70,55	ab 43 GB	Llama 3 Community License	huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 137 von 153	2,37 €	3,13 €
Llama 3.1 70B	Sprachmodelle	70,55	ab 43 GB	Llama 3.1 Community License	huggingface.co/meta-llama/Llama-3.1-70B-Instruct	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 27 von 42	0,31 €	1,25 €
Llama 3.3 70B	Sprachmodelle	70,6	ab 43 GB	Llama 3.3 Community License	huggingface.co/meta-llama/Llama-3.3-70B-Instruct	Vectara HHEM-2.3 · Rang 4 von 82	0,09 €	0,29 €
Macaron V1 Tall	Sprachmodelle	50	ab 32 GB	MIT	huggingface.co/mindlab-research/Macaron-V1-Tall	–	0,22 €	1,28 €
Mixtral 8x7B Instruct	Sprachmodelle	46,7 / 13	ab 30 GB	Apache-2.0	huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 37 von 42	0,40 €	0,63 €
Qwen2.5-72B-Instruct	Sprachmodelle	72,7	ab 44 GB	Qwen License	huggingface.co/Qwen/Qwen2.5-72B-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 123 von 153	0,32 €	0,36 €
Qwen2.5-VL 72B Instruct	Bildmodelle	73,41	ab 45 GB	Qwen-Lizenz (nicht Apache)	huggingface.co/Qwen/Qwen2.5-VL-72B-Instruct	–	0,72 €	0,90 €
Qwen3-Coder-Next (80B)	Sprachmodelle	80 / 3	ab 48 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Coder-Next	–	0,057 €	0,21 €
Qwen3-Next-80B-Thinking	Sprachmodelle	80 / 3	ab 48 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Next-80B-A3B-Thinking	–	0,13 €	1,07 €
Skyfall 36B v2 (FP8)	Sprachmodelle	36,91	ab 25 GB	–	huggingface.co/TheDrummer/Skyfall-36B-v2	–	0,49 €	0,72 €
SwissAI Apertus 1.5 70B	Sprachmodelle	70	ab 43 GB	Apache-2.0	huggingface.co/swiss-ai/Apertus-v1.5-70B	–	0,70 €	2,80 €

96 GB – eine RTX PRO 6000

Grafikspeicher (4-Bit, abgeleitet) über 48 GB bis 96 GB · 20 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
@cf/nvidia/nemotron-3-120b-a12b	Sprachmodelle	123,61 / 12	ab 72 GB	NVIDIA Nemotron Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16	–	0,45 €	1,34 €
Command R+ 04-2024	Sprachmodelle	103,81	ab 62 GB	CC-BY-NC-4.0	huggingface.co/CohereLabs/c4ai-command-r-plus	–	2,69 €	13,43 €
Devstral 2 123B	Sprachmodelle	125,03	ab 73 GB	Modified MIT	huggingface.co/mistralai/Devstral-2-123B-Instruct-2512	–	0,43 €	2,15 €
GLM 4.5 Air	Sprachmodelle	106 / 12	ab 63 GB	MIT	huggingface.co/zai-org/GLM-4.5-Air	–	0,12 €	0,76 €
GLM 4.5V	Bildmodelle	106 / 12	ab 63 GB	MIT	huggingface.co/zai-org/GLM-4.5V	–	0,54 €	1,61 €
GLM 4.6V	Bildmodelle	106	ab 63 GB	MIT	huggingface.co/zai-org/GLM-4.6V	–	0,27 €	0,81 €
GPT OSS Safeguard 120B	Sprachmodelle	117 / 5,1	ab 69 GB	Apache-2.0	huggingface.co/openai/gpt-oss-safeguard-120b	–	0,063 €	0,27 €
gpt-oss-120b	Sprachmodelle	117 / 5,1	ab 69 GB	Apache-2.0	huggingface.co/openai/gpt-oss-120b	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 10 von 42	0,026 €	0,12 €
Ling 3.0 Flash	Sprachmodelle	124 / 5,1	ab 73 GB	MIT	huggingface.co/inclusionAI/Ling-3.0-flash	–	0,054 €	0,16 €
Ling 3.0 Flash Fin	Sprachmodelle	124 / 5,1	ab 73 GB	MIT	huggingface.co/inclusionAI/Ling-3.0-flash-Fin	–	0,067 €	0,20 €
Ling 3.0 Flash VL	Sprachmodelle	124 / 5,5	ab 73 GB	MIT	huggingface.co/inclusionAI/Ling-3.0-flash-VL	–	0,067 €	0,20 €
Llama 3.2 90B	Sprachmodelle	88,59	ab 53 GB	Llama 3.2 Community License	huggingface.co/meta-llama/Llama-3.2-90B-Vision-Instruct	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 141 von 153	0,64 €	0,64 €
Llama 4 Scout 17B-16E	Bildmodelle	108,64 / 17	ab 64 GB	Llama 4 Community License	huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct	Vectara HHEM-2.3 · Rang 29 von 82	0,09 €	0,27 €
Mistral Large 2.1	Sprachmodelle	123	ab 72 GB	proprietär	huggingface.co/mistralai/Mistral-Large-Instruct-2411	Vectara HHEM-2.3 · Rang 6 von 82	–	–
Mistral Medium 3.5	Sprachmodelle	127,7	ab 75 GB	Modified MIT (Umsatzgrenze 20 Mio. USD/Monat)	huggingface.co/mistralai/Mistral-Medium-3.5-128B	searchit Entity Extraction · Rang 9 von 53	1,50 €	6,00 €
Mistral Small	Sprachmodelle	119,4 / 6,5	ab 70 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Small-4-119B-2603	–	0,90 €	2,69 €
NVIDIA Nemotron 3 Super 120B A12B	Sprachmodelle	120 / 12	ab 70 GB	NVIDIA Nemotron Open Model License	huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16	searchit Entity Extraction · Rang 38 von 53	0,067 €	0,29 €
Pixtral Large 25.02	Sprachmodelle	124	ab 73 GB	Mistral Research License (MRL)	huggingface.co/mistralai/Pixtral-Large-Instruct-2411	–	1,79 €	5,37 €
Qwen 3 Next 80b	Sprachmodelle	81,33 / 3	ab 49 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct	searchit Entity Extraction · Rang 24 von 53	0,063 €	0,54 €
Qwen3.5-122B-A10B	Bildmodelle	125,09 / 10	ab 73 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-122B-A10B	Vectara HHEM-2.3 · Rang 54 von 82	0,22 €	1,57 €

192 GB – zwei RTX PRO 6000

Grafikspeicher (4-Bit, abgeleitet) über 96 GB bis 192 GB · 18 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
DeepSeek V4 Flash	Sprachmodelle	290,94 / 13	ab 165 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V4-Flash	searchit Entity Extraction · Rang 21 von 53	0,081 €	0,16 €
DeepSeek V4 Flash 0423	Sprachmodelle	290,94 / 13	ab 165 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V4-Flash	–	0,12 €	0,25 €
DeepSeek V4 Flash 0731	Sprachmodelle	304,18	ab 172 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 40 von 153	0,054 €	0,16 €
deepseek-v4-flash-vision-exp	Sprachmodelle	304,65	ab 172 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Vision-Exp	–	0,39 €	1,18 €
GLM 5.3 Flash	Sprachmodelle	320 / 18	ab 180 GB	MIT	huggingface.co/zai-org/GLM-5.3-Flash	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 43 von 153	0,09 €	0,31 €
Hy3	Sprachmodelle	295 / 21	ab 167 GB	Apache-2.0	huggingface.co/tencent/Hy3	–	0,12 €	0,47 €
MiMo v2.5	Sprachmodelle	310 / 15	ab 175 GB	MIT	huggingface.co/XiaomiMiMo/MiMo-V2.5	searchit Entity Extraction · Rang 11 von 53	0,13 €	0,25 €
MiMo V2.6 Flash	Sprachmodelle	309 / 15	ab 174 GB	MIT	huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-RL	–	0,13 €	0,26 €
Minimax M2	Sprachmodelle	230 / 10	ab 131 GB	Modified-MIT	huggingface.co/MiniMaxAI/MiniMax-M2	–	0,13 €	0,54 €
Minimax M2.1	Sprachmodelle	229 / 10	ab 130 GB	Modified-MIT	huggingface.co/MiniMaxAI/MiniMax-M2.1	Vectara HHEM-2.3 · Rang 56 von 82	0,13 €	0,54 €
MiniMax M2.5	Sprachmodelle	228,7 / 10	ab 130 GB	MiniMax Model License	huggingface.co/MiniMaxAI/MiniMax-M2.5	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 11 von 42	0,13 €	0,54 €
MiniMax M2.7	Sprachmodelle	228,69 / 10	ab 130 GB	MiniMax Non-Commercial License	huggingface.co/MiniMaxAI/MiniMax-M2.7	Vectara HHEM-2.3 · Rang 67 von 82	0,27 €	1,07 €
Qwen 3 235B A22B FP8	Sprachmodelle	235 / 22	ab 134 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-235B-A22B-FP8	–	0,18 €	0,54 €
Qwen 3 235B A22B Thinking 2507	Sprachmodelle	235,09 / 22	ab 134 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 61 von 153	0,40 €	3,13 €
Qwen3 235B A22B Instruct 2507	Sprachmodelle	235,09 / 22	ab 134 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507	searchit Entity Extraction · Rang 17 von 53	0,099 €	0,39 €
Qwen3-VL 235B-A22B Instruct	Bildmodelle	235,67 / 22	ab 134 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-VL-235B-A22B-Instruct	–	0,18 €	0,79 €
Qwen3.8-Flash	Sprachmodelle	180 / 6	ab 103 GB	proprietär	huggingface.co/Qwen/Qwen3.8-Flash-Next	searchit Entity Extraction · Rang 36 von 53	0,13 €	0,44 €
Step 3.7 Flash	Sprachmodelle	198 / 11	ab 113 GB	Apache-2.0	huggingface.co/stepfun-ai/Step-3.7-Flash	–	0,18 €	1,03 €

384 GB – vier RTX PRO 6000

Grafikspeicher (4-Bit, abgeleitet) über 192 GB bis 384 GB · 19 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
DeepSeek R1 Turbo	Sprachmodelle	684,49 / 37	ab 381 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-R1	–	–	–
DeepSeek V3.1	Sprachmodelle	671 / 37	ab 374 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V3.1	Vectara HHEM-2.3 · Rang 14 von 82	0,22 €	0,85 €
DeepSeek-R1 (0528)	Sprachmodelle	684,53 / 37	ab 381 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-R1-0528	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 93 von 153	0,45 €	1,93 €
DeepSeek-V3	Sprachmodelle	684,53 / 37	ab 381 GB	DeepSeek Model License	huggingface.co/deepseek-ai/DeepSeek-V3	Vectara HHEM-2.3 · Rang 20 von 82	0,29 €	0,80 €
deepseek-v3.2	Sprachmodelle	685,36	ab 381 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V3.2	Vectara HHEM-2.3 · Rang 22 von 82	0,23 €	0,34 €
GLM 4.6	Sprachmodelle	357	ab 201 GB	MIT	huggingface.co/zai-org/GLM-4.6	Berkeley Function-Calling Leaderboard V4 · Rang 3 von 42	0,39 €	1,57 €
GLM 4.7	Sprachmodelle	358	ab 201 GB	MIT	huggingface.co/zai-org/GLM-4.7	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 73 von 153	0,27 €	0,99 €
GLM-4.5	Sprachmodelle	355 / 32	ab 200 GB	MIT	huggingface.co/zai-org/GLM-4.5	–	0,54 €	1,97 €
H Hermes 4 405B	Sprachmodelle	405,85	ab 228 GB	–	huggingface.co/NousResearch/Hermes-4-405B	–	0,89 €	2,68 €
Llama 4 Maverick	Sprachmodelle	401,58 / 17	ab 225 GB	Llama 4 Community License	huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct	Vectara HHEM-2.3 · Rang 31 von 82	0,16 €	0,52 €
MiniMax M1	Sprachmodelle	456 / 45,9	ab 255 GB	Apache-2.0	huggingface.co/MiniMaxAI/MiniMax-M1-80k	–	0,49 €	1,97 €
MiniMax M3	Sprachmodelle	427,04 / 23	ab 239 GB	eigene Lizenz	huggingface.co/MiniMaxAI/Minimax-M3	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 84 von 153	0,27 €	1,07 €
Mistral Large	Sprachmodelle	675 / 41	ab 376 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512	–	0,45 €	1,34 €
Mistral Large 3	Sprachmodelle	675 / 41	ab 376 GB	Apache-2.0	huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512	Vectara HHEM-2.3 · Rang 72 von 82	0,22 €	0,67 €
NVIDIA Nemotron 3 Ultra	Sprachmodelle	550 / 55	ab 307 GB	OpenMDW-1.1	huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 61 von 153	0,45 €	1,97 €
Qwen 3 Coder 480B Turbo	Sprachmodelle	480 / 35	ab 268 GB	Apache-2.0	huggingface.co/Qwen/Qwen3-Coder-480B-A35B-Instruct	–	0,099 €	0,81 €
Qwen3.5-397B-A17B	Sprachmodelle	403,4 / 17	ab 226 GB	Apache-2.0	huggingface.co/Qwen/Qwen3.5-397B-A17B	MMLU-Pro (TIGER-Lab Leaderboard) · Rang 2 von 42	0,40 €	2,69 €
R1	Sprachmodelle	671 / 37	ab 374 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-R1	–	1,21 €	4,84 €
Trinity Large (Thinking)	Sprachmodelle	398 / 13	ab 223 GB	OpenMDW-1.1	huggingface.co/arcee-ai/Trinity-Large-Thinking	–	0,20 €	0,76 €

768 GB – acht RTX PRO 6000

Grafikspeicher (4-Bit, abgeleitet) über 384 GB bis 768 GB · 14 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
GLM 5.1	Sprachmodelle	754	ab 419 GB	–	huggingface.co/zai-org/GLM-5.1	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 45 von 153	0,81 €	2,60 €
glm-5.2	Sprachmodelle	753	ab 419 GB	MIT	huggingface.co/zai-org/GLM-5.2	SWE-bench Verified (Epoch AI) · Rang 3 von 33	0,15 €	0,48 €
glm-5.3	Sprachmodelle	753,3	ab 419 GB	GLM-5.3 License	huggingface.co/zai-org/GLM-5.3	FrontierMath Tiers 1-3 v2 (Epoch AI) · Rang 30 von 91	0,18 €	0,57 €
Hy4 Preview	Sprachmodelle	770 / 49	ab 428 GB	Apache-2.0	huggingface.co/tencent/Hy4-preview	–	0,75 €	2,24 €
Inkling	Sprachmodelle	975 / 41	ab 541 GB	Apache-2.0	huggingface.co/thinkingmachines/Inkling	–	–	–
Kimi K2 Instruct	Sprachmodelle	1.000 / 32	ab 554 GB	Modified MIT	huggingface.co/moonshotai/Kimi-K2-Instruct	Berkeley Function-Calling Leaderboard V4 · Rang 8 von 42	0,51 €	2,06 €
Kimi K2 Instruct 0905	Sprachmodelle	1.000 / 32	ab 554 GB	Modified MIT	huggingface.co/moonshotai/Kimi-K2-Instruct-0905	Vectara HHEM-2.3 · Rang 76 von 82	0,51 €	2,06 €
Kimi K2 Thinking	Sprachmodelle	1.000 / 32	ab 554 GB	Modified MIT	huggingface.co/moonshotai/Kimi-K2-Thinking	–	0,27 €	1,12 €
Kimi K2.5 (Retiring)	Sprachmodelle	1.000 / 32	ab 554 GB	Modified MIT	huggingface.co/moonshotai/Kimi-K2.5	searchit Entity Extraction · Rang 8 von 53	0,27 €	1,34 €
Kimi K2.6	Sprachmodelle	1.026,88 / 32	ab 569 GB	eigene Lizenz	huggingface.co/moonshotai/Kimi-K2.6	searchit Entity Extraction · Rang 10 von 53	0,35 €	1,61 €
Kimi K2.7 Code	Sprachmodelle	1.000 / 32	ab 554 GB	–	huggingface.co/moonshotai/Kimi-K2.7-Code	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 33 von 153	0,59 €	2,96 €
Macaron V1 Venti	Sprachmodelle	748	ab 416 GB	MIT	huggingface.co/mindlab-research/Macaron-V1-Venti	–	0,74 €	2,22 €
MiMo V2.6 Pro	Sprachmodelle	1.020 / 42	ab 565 GB	MIT	huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL	–	0,78 €	1,56 €
Mistral Large 4	Sprachmodelle	1.050 / 52	ab 582 GB	–	–	searchit Entity Extraction · Rang 3 von 53	0,50 €	1,75 €

Rechenzentrum – mehr als acht Karten

Grafikspeicher (4-Bit, abgeleitet) über 768 GB · 5 Modelle

Modell	Art	Parameter (Mrd., gesamt / aktiv)	Grafikspeicher (4-Bit, abgeleitet)Grafikspeicher	Lizenz	Modelldateien	Bester Benchmark	API-Preis: EingabeAPI-Preis ein	API-Preis: AusgabeAPI-Preis aus
DeepSeek V4 Pro	Sprachmodelle	1.598,84 / 49	ab 884 GB	MIT	huggingface.co/deepseek-ai/DeepSeek-V4-Pro	searchit Entity Extraction · Rang 6 von 53	0,90 €	1,79 €
DeepSeek V4 Pro 0813	Sprachmodelle	1.650,5 / 49	ab 912 GB	–	huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 22 von 153	1,16 €	2,33 €
Kimi K3	Sprachmodelle	2.779,93 / 104	ab 1.533 GB	eigene Lizenz	huggingface.co/moonshotai/Kimi-K3	searchit Entity Extraction · Rang 7 von 53	1,66 €	8,51 €
Qwen 3.8 2.4T	Sprachmodelle	2.400 / 95	ab 1.324 GB	Qwen3.8-Max License	huggingface.co/Qwen/Qwen3.8-2.4T-A95B	–	2,24 €	6,72 €
Qwen3.8-Max	Sprachmodelle	2.446,18 / 95	ab 1.350 GB	Qwen3.8-Max License	huggingface.co/Qwen/Qwen3.8-2.4T-A95B	OTIS Mock AIME 2024-2025 (Epoch AI) · Rang 13 von 153	1,48 €	4,43 €

23 weitere Modelle mit offenen Gewichten haben keine Grafikspeicher-Angabe; sie stehen in der Modellliste.