Alibabas Qwen-3-Familie ist das am schnellsten wachsende Open-Source-Modell 2026 — und ihr braucht dafür kein Nvidia-Monopol. Dank llama.cpp und ROCm laufen die Modelle auch auf AMD-Grafikkarten. Wer seine KI-Anfragen nicht in eine Cloud schicken will, hat damit eine echte Alternative.

Welches Modell auf welche Karte passt

Qwen 3 gibt es von winzigen 0,8 Milliarden bis zu 72 Milliarden Parametern. Entscheidend ist der VRAM eurer GPU — mit Q4-Quantisierung (75 Prozent weniger Speicher, kaum Qualitätsverlust) sieht die Rechnung so aus:

  • 8 GB VRAM (RX 7600, Arc B580): Qwen 3 Small bis 9B — reicht für Chat, Zusammenfassungen, einfaches Coding
  • 16 GB VRAM (RX 7800 XT): QwQ-32B passt mit Q4 in 17 GB — das ist ein Reasoning-Modell auf DeepSeek-R1-Niveau
  • 24 GB VRAM (RX 7900 XTX oder gebrauchte RTX 3090): Qwen 3 72B quantisiert, das volle Flaggschiff

Auf AMD-Karten nutzt ihr llama.cpp mit ROCm-Backend oder Ollama, das den Setup-Aufwand auf einen einzigen Befehl reduziert: ollama run qwen3. LM Studio bietet eine grafische Oberfläche, falls ihr keine Kommandozeile mögt. AMDs eigener ROCm-Guide vom Juni 2026 erklärt die Einrichtung Schritt für Schritt.

Abliterierte Modelle: Zensur chirurgisch entfernt

Neben den offiziellen Qwen-Releases findet ihr auf Hugging Face sogenannte „abliterierte" Varianten. Das Konzept: Forscher haben 2024 entdeckt, dass das Verweigerungsverhalten von LLMs in einer bestimmten Richtung im neuronalen Netz sitzt — einem einzelnen Vektor. Entfernt man diesen Vektor mathematisch, verliert das Modell seine Fähigkeit, Anfragen abzulehnen, behält aber sein Faktenwissen.

Der Unterschied zu klassisch „unzensierten" Fine-Tunes: Abliterierung ist ein chirurgischer Eingriff an den Gewichten, kein Nachtrainieren mit gegenteiligen Beispielen. Das Ergebnis ist sauberer — die Modelle halluzinieren nicht mehr und verlieren weniger Fähigkeiten.

Für wen ist das relevant? Sicherheitsforscher, die Exploits analysieren wollen, ohne dass das Modell abblockt. Autoren, die Konflikte in Geschichten brauchen. Oder schlicht Leute, die genervt sind, wenn ein Chatbot auf eine harmlose Medizinfrage mit „Das kann ich leider nicht beantworten" reagiert.

Ehrlich gesagt finde ich den Trend wichtig: Wer ein Modell lokal hostet, sollte selbst entscheiden dürfen, welche Leitplanken es hat — nicht der Hersteller auf einem anderen Kontinent.