Prompt Tuning — Große Sprachmodelle mit lernbaren Prompt-Vektoren kostengünstig an neue Aufgaben anpassen

Prompt Tuning ist eine Methode des Parameter-Efficient Fine-Tuning, bei der die ursprünglichen Parameter eines Large Language Model (LLM) unverändert bleiben und stattdessen nur kleine lernbare Prompt-Vektoren am Anfang der Eingabe trainiert werden, um das Modell an eine bestimmte Aufgabe anzupassen. Beim klassischen Full Fine-Tuning müssen sämtliche Modellparameter aktualisiert werden, wodurch ein hoher Speicher- und Rechenaufwand entsteht. Prompt Tuning reduziert diesen Aufwand erheblich, da nur eine sehr kleine Anzahl zusätzlicher trainierbarer Vektoren angepasst wird. Dadurch kann das Modell lernen, Eingaben für eine bestimmte Aufgabe besser zu interpretieren, ohne das gesamte Modell erneut zu trainieren.

07/22/2026