Parameter

Definition

Parameter sind die numerischen Werte (Gewichte) in einem neuronalen Netz, die beim Training angepasst werden. Sie bestimmen, wie das Modell Eingaben verarbeitet und Ausgaben erzeugt. GPT-4 hat geschätzt über 1 Billion Parameter, Llama 3 gibt es in Varianten von 8B bis 405B Parametern. Mehr Parameter ermöglichen grundsätzlich komplexeres Verständnis und bessere Ausgaben, erhöhen aber auch die Rechenkosten für Training und Inferenz. Kleinere Modelle (7–13B Parameter) können für spezifische Aufgaben durch Fine-Tuning ähnlich gute Ergebnisse liefern wie größere Modelle — bei deutlich niedrigeren Betriebskosten.

Verwandte Begriffe