Fine-Tuning

Definition

Fine-Tuning bezeichnet das zusätzliche Training eines bereits vortrainierten Modells auf einem spezifischen Datensatz. Statt ein Modell von Grund auf zu trainieren (was Millionen kostet), nimmt man ein bestehendes Modell (z.B. Llama oder Mistral) und trainiert es mit eigenen Daten weiter. So kann ein Modell an Fachsprache, Unternehmenswissen oder spezifische Aufgaben angepasst werden. Fine-Tuning ist günstiger als Pre-Training, erfordert aber technisches Know-how und ausreichend qualitative Trainingsdaten. Für die meisten Unternehmensanwendungen ist RAG eine einfachere Alternative, die ohne Modell-Training auskommt.

Verwandte Begriffe