Schulung und Feinabstimmung der OpenClaw-Fähigkeiten

OpenClaw Skills, die mit allgemeinen Grundmodellen eingesetzt werden, eignen sich gut für Standardgeschäftsaufgaben – Dokumentenzusammenfassung, strukturierte Datenextraktion, Workflow-Koordination. Aber domänenspezifische Aufgaben – medizinische Kodierung, Analyse von Rechtsklauseln, spezielle technische Klassifizierung, branchenspezifische Risikobewertung – erfordern Modelle und Eingabeaufforderungen, die auf den jeweiligen Bereich abgestimmt sind, um Genauigkeit in Produktionsqualität zu erreichen.

Dieser Leitfaden deckt den gesamten Arbeitsablauf für das Training und die Feinabstimmung von OpenClaw-Fähigkeiten ab: von der Ermittlung, wann eine Feinabstimmung erforderlich ist, über die Datenvorbereitung, die Feinabstimmung der Ausführung, die Bewertung bis hin zur laufenden Iteration.

Wichtige Erkenntnisse

– Durch die Feinabstimmung wird die Genauigkeit bei domänenspezifischen Aufgaben im Vergleich zu allgemeinen Grundlagenmodellen um 15–40 % verbessert

• Bevor in die Feinabstimmung investiert wird, sollten schnelles Engineering und wenige Schritte Lernen ausgeschöpft werden – Für die Feinabstimmung sind für die meisten Geschäftsaufgaben 500–5.000 hochwertige Schulungsbeispiele erforderlich
• Datenqualität zählt mehr als Quantität – 500 hervorragende Beispiele übertreffen 5.000 mittelmäßige
• Eine Evaluierung anhand eines ausstehenden Testsatzes ist erforderlich, bevor fein abgestimmte Modelle in der Produktion eingesetzt werden
• Fein abgestimmte Modelle erfordern eine Neuschulung, wenn sich Geschäftsregeln ändern oder Modellabweichungen festgestellt werden
• PEFT-Methoden (Parameter-Efficient Fine-Tuning) wie LoRA ermöglichen eine Feinabstimmung ohne großen Rechenaufwand – Iterationszyklen von 4–8 Wochen sorgen für eine kontinuierliche Verbesserung der Modellleistung im Laufe der Zeit

---

Wenn eine Feinabstimmung erforderlich ist (und nicht).

Feinabstimmung ist nicht der erste Ausweg zur Verbesserung der Agentengenauigkeit – sie ist der letzte Ausweg, nachdem einfachere Ansätze ausgeschöpft sind. Die Investition ist unter bestimmten Umständen gerechtfertigt.

Beginnen Sie hier: Prompt-Engineering. Optimieren Sie vor jeder Schulungsinvestition den Prompt. Der Unterschied zwischen einer mittelmäßigen und einer hervorragenden Eingabeaufforderung für dieselbe Aufgabe liegt häufig in einer Genauigkeitsverbesserung von 20–30 %. Techniken: klare Aufgabenbeschreibung, explizite Spezifikation des Ausgabeformats, Anweisungen zur Gedankenkette, ein oder zwei Beispiele in der Eingabeaufforderung (wenige Aufnahmen). Viele Teams investieren in die Feinabstimmung, obwohl eine bessere, zeitnahe Technik das Problem gelöst hätte.

Dann: RAG (Retrieval Augmented Generation). Für Aufgaben, die Zugriff auf spezifisches Wissen erfordern (Produktkatalogdetails, behördliche Vorschriften, unternehmensspezifische Informationen), ist die Bereitstellung des relevanten Wissens im Kontext oft effektiver als die Feinabstimmung des Modells, um die Informationen zu „kennen“. RAG ist wartbarer – aktualisieren Sie die Wissensdatenbank und nicht das Modell, wenn sich Informationen ändern.

Dann: Wenige Beispiele in der Eingabeaufforderung. Das Hinzufügen von 3–10 hochwertigen Eingabe-/Ausgabebeispielen zur Eingabeaufforderung (In-Kontext-Lernen) verbessert die Leistung bei strukturierten Aufgaben erheblich. Dies ist der schnellste Weg, Ausgabeformat, Detaillierungsgrad und Stilerwartungen zu demonstrieren.

Eine Feinabstimmung ist gerechtfertigt, wenn:

• Die Aufgabe erfordert verinnerlichtes Wissen, das nicht in den Kontext passt (umfangreiche regulatorische Regelwerke, große Produktklassifizierungshierarchien) – Das Ausgabeformat ist sehr spezifisch und Beispiele im Kontext haben keine konsistente Konformität erreicht – Die Aufgabe verwendet Fachterminologie, die allgemeine Modelle nicht richtig verarbeiten
• Latenzbeschränkungen verhindern große Kontextfenster (fein abgestimmte Modelle sind schneller bei gleicher Genauigkeit)
• Die Genauigkeit bleibt nach der Erschöpfung von Prompt-Engineering- und RAG-Ansätzen unter dem Grenzwert

---

OpenClaw Skill-Architektur verstehen

Bevor Sie sich mit der Feinabstimmung befassen, sollten Sie verstehen, wie Fertigkeiten funktionieren, um den Trainingsansatz zu prägen.

Ein Skill ist eine konfigurierte Agentenfunktion mit vier Komponenten:

Systemaufforderung: Anweisungen, die die Rolle, Aufgabe, das Ausgabeformat und die Einschränkungen des Skills definieren. Dies ist der Haupthebel für Verbesserungen, die nicht auf Feinabstimmung ausgerichtet sind.

Eingabeschema: Definiert die strukturierte Eingabe, die der Skill akzeptiert – welche Datenfelder er erwartet, welche Typen sie haben und welche erforderlich sind.

Modellkonfiguration: Das für diesen Skill verwendete Basismodell und die Inferenzparameter (Temperatur, maximale Anzahl an Token, Top-P). Unterschiedliche Aufgaben profitieren von unterschiedlichen Einstellungen.

Ausgabeschema: Definiert das strukturierte Ausgabeformat. Fertigkeiten mit starken Ausgabeschemata führen zu konsistenteren, analysierbaren Ergebnissen als Fertigkeiten mit Freiformausgaben.

Die Feinabstimmung zielt auf die Modellkomponente ab – die Anpassung der Modellgewichte, um bei der Aufgabe und Domäne Ihres spezifischen Skills eine bessere Leistung zu erzielen. Die Prompt-Optimierung zielt auf die System-Prompt ab. Beide ergänzen sich.

---

Feinabstimmungsansätze

Vollständige Feinabstimmung: Alle Modellparameter werden während des Trainings aktualisiert. Erzielt die größten Genauigkeitsgewinne, erfordert jedoch erhebliche Rechenleistung und ist teuer. Praktisch nur für Organisationen mit ML-Engineering-Ressourcen und großen Trainingsdatensätzen (über 10.000 Beispiele).

PEFT (Parameter-Efficient Fine-Tuning): Nur eine kleine Teilmenge der Parameter wird aktualisiert, wodurch der Rechenbedarf drastisch reduziert wird. Die gebräuchlichste PEFT-Methode ist LoRA (Low-Rank Adaptation), die mit 10–100x weniger Rechenleistung und Speicher vergleichbare Ergebnisse wie eine vollständige Feinabstimmung erzielt.

LoRA-Feinabstimmung ist der empfohlene Ansatz für die meisten Feinabstimmungsanforderungen von OpenClaw Skill, weil: – Machbar auf Cloud-GPU-Instanzen ohne spezielle ML-Infrastruktur

• Trainingsdatensätze mit 500–5.000 Beispielen sind ausreichend
• Trainingsläufe sind in Stunden und nicht in Tagen abgeschlossen
• Mehrere LoRA-Adapter können gleichzeitig verwaltet werden, einer pro Skill
• LoRA-Adapter können ausgetauscht werden, ohne das Basismodell neu zu laden

Prompt-Tuning: Ein sanfterer Ansatz, bei dem nur eine kleine Anzahl von „Soft-Prompt“-Token trainiert wird. Weniger rechenintensiv als LoRA, führt aber typischerweise zu geringeren Genauigkeitsgewinnen. Geeignet für kleinere Stil- und Formatkalibrierungen.

RLHF (Reinforcement Learning from Human Feedback): Beinhaltet das Trainieren eines Belohnungsmodells auf der Grundlage menschlicher Präferenzbewertungen und dessen anschließende Verwendung als Leitfaden für die Feinabstimmung des Modells. Erzielt die besten Ergebnisse für eine subjektive Qualitätsverbesserung (Schreibstil, Angemessenheit, Hilfsbereitschaft), erfordert jedoch einen erheblichen menschlichen Kennzeichnungsaufwand und ML-Fachwissen.

---

Datenvorbereitung

Die Datenqualität ist der wichtigste Faktor für den Erfolg einer Feinabstimmung. Das Modell lernt, den Inhalt der Trainingsdaten zu reproduzieren. Wenn die Trainingsdaten inkonsistent, falsch oder von geringer Qualität sind, gilt dies auch für das optimierte Modell.

Datenerfassungsstrategien

Stichprobe des Produktionsdatenverkehrs: Wenn der Skill bereits bereitgestellt ist (möglicherweise mit geringerer Genauigkeit), nehmen Sie Stichproben von Produktionseingaben und lassen Sie Domänenexperten die korrekten Ausgaben für jede mit Anmerkungen versehen. Dadurch entstehen maximal repräsentative Trainingsdaten, da sie die tatsächliche Verteilung der Eingaben widerspiegeln, die der Skill in der Produktion sehen wird.

Expertenkonstruktion: Domänenexperten erstellen manuell Eingabe-/Ausgabepaare, die den gesamten Bereich der Fälle abdecken, die der Skill bearbeiten soll. Dies ist von höherer Qualität, aber teurer und es können Fälle fehlen, die in der Produktion auftauchen.

Erweiterung: Systematische Variation vorhandener Beispiele zur Erweiterung des Datensatzes. Für eine Aufgabe zur Klassifizierung von Vertragsklauseln: Variieren Sie die Klauselsprache, die Vertragsgerichtsbarkeit und die Branche und behalten Sie dabei einheitliche Bezeichnungen bei.

Synthetische Generierung: Verwenden Sie ein leistungsstarkes Basismodell, um Trainingsbeispiele aus Spezifikationen zu generieren. Dies ist schnell und skalierbar, erzeugt jedoch synthetische Daten, die die Produktionsbedingungen möglicherweise nicht vollständig widerspiegeln. Verwendung als Ergänzung zu realen Daten, nicht als Ersatz.

Anforderungen an die Datenqualität

Richtigkeit: Jedes Trainingsbeispiel muss korrekt sein. Eine falsche Bezeichnung von 100 ist schlimmer als kein Beispiel – das Modell lernt das falsche Verhalten explizit. Richten Sie einen Überprüfungsprozess ein, bei dem jedes Beispiel von einem qualifizierten Prüfer überprüft wird.

Konsistenz: Ähnliche Eingaben sollten ähnliche Ausgaben erzeugen. Wenn zwei nahezu identische Vertragsklauseln unterschiedliche Risikobewertungen erhalten, lernt das Modell eher Rauschen als Signal. Legen Sie klare Kennzeichnungsrichtlinien fest und klären Sie Meinungsverschiedenheiten, bevor Sie sie zum Trainingssatz hinzufügen.

Abdeckung: Der Trainingssatz muss den gesamten Bereich der Eingaben abdecken, auf die der Skill in der Produktion stößt. Lücken in der Abdeckung führen dazu, dass ein Modell bei Fällen, die es gesehen hat, hervorragend und bei Fällen, bei denen es es nicht gesehen hat, schlecht abschneidet. Analysieren Sie Ihre Produktionsverteilung und stellen Sie sicher, dass die Trainingsdaten diese widerspiegeln.

Format: Das Trainingsdatenformat muss genau dem entsprechen, was der Skill in der Produktion sehen wird – dieselbe Eingabeaufforderungsvorlage, dieselbe Eingabestruktur, dasselbe Ausgabeformat. Formatkonflikte zwischen Training und Inferenz sind eine häufige Ursache für schlechte Ergebnisse bei der Feinabstimmung.

Richtlinien zur Datensatzgröße

Dies sind Mindestwerte für akzeptable Ergebnisse. Mehr Daten verbessern die Leistung kontinuierlich, bis hin zu sinkenden Erträgen.

Trainings-/Validierungs-/Testaufteilung

Teilen Sie Ihren beschrifteten Datensatz in drei Partitionen auf:

• Trainingssatz (70–80 %): Wird zum Aktualisieren der Modellgewichte während der Feinabstimmung verwendet
• Validierungssatz (10–15 %): Wird verwendet, um den Trainingsfortschritt zu überwachen und eine Überanpassung zu verhindern
• Testsatz (10–15 %): Bis zur endgültigen Bewertung vollständig durchgehalten – während des Trainings nie verwendet

Der Testsatz liefert eine unvoreingenommene Schätzung der Leistung des fein abgestimmten Modells bei Produktionsdaten. Nutzen Sie niemals die Leistung von Testsätzen, um Trainingsentscheidungen zu treffen – das führt zu Datenlecks und überhöhten Genauigkeitsschätzungen.

---

Feinabstimmung der Ausführung

Umgebungseinrichtung

Die Feinabstimmung von LoRA-Adaptern für typische Skill-Aufgaben erfordert:

• GPU-Instanz: A10G (24 GB VRAM) oder gleichwertig für 7B-13B-Parametermodelle; A100 (80 GB) für größere Modelle
• Cloud-Anbieter: AWS SageMaker, Google Vertex AI, Azure ML oder Lambda Cloud GPU-Instanzen
• Framework: Hugging Face Transformers + PEFT-Bibliothek (Standard für LoRA-Feinabstimmung)
• Überwachung: Weights & Biases oder MLflow zur Verfolgung von Trainingsläufen

ECOSIRE stellt im Rahmen der Schulungsberatung eine vorkonfigurierte Feinabstimmungsumgebung zur Verfügung – Sie müssen die ML-Infrastruktur nicht eigenständig einrichten.

Hyperparameter-Konfiguration

Wichtige Hyperparameter für die LoRA-Feinabstimmung:

LoRA-Rang (r): Steuert die Anzahl der Parameter im LoRA-Adapter. Höherer Rang = mehr Parameter = bessere Kapazität, aber höheres Überanpassungsrisiko. Beginnen Sie mit r=16, experimentieren Sie mit r=8 und r=32.

LoRA Alpha: Skalierungsfaktor für LoRA-Updates. Wird normalerweise auf das Zweifache des Rangwerts eingestellt (Alpha=32, wenn r=16).

Lernrate: Zu hoch und das Modell divergiert; zu niedrig und das Training ist langsam. Für die meisten Feinabstimmungen von Fertigkeiten sind 2e-4 bis 5e-4 ein angemessener Anfangsbereich.

Epochen: Anzahl der Durchläufe durch die Trainingsdaten. Überwachen Sie den Validierungsverlust, um die optimale Epochenanzahl zu ermitteln – stoppen Sie, wenn sich der Validierungsverlust nicht mehr verbessert (frühzeitiges Stoppen).

Batch-Größe: Größere Batches trainieren schneller, können jedoch die Genauigkeit verringern. Balancieren Sie die Stapelgröße mit dem verfügbaren GPU-Speicher.

Trainingsüberwachung

Überwachen Sie während des Trainings Folgendes:

• Trainingsverlust: Sollte stetig abnehmen. Plateaus oder Spitzen weisen auf Probleme hin.
• Validierungsverlust: Sollte parallel zum Trainingsverlust abnehmen. Divergenz (der Trainingsverlust nimmt ab, während der Validierungsverlust zunimmt) weist auf eine Überanpassung hin – Trainingszeit reduzieren oder regulieren.
• Beispielausgaben: Bewerten Sie das Modell während des Trainings regelmäßig anhand von Beispieleingaben, um zu überprüfen, ob es das richtige Verhalten lernt.

---

Evaluierung und Abnahmetests

Durch die Feinabstimmung entsteht ein Modell. Ob dieses Modell besser ist als die Basislinie, erfordert eine systematische Bewertung anhand des durchgeführten Testsatzes.

Standardmetriken nach Aufgabentyp:

• Klassifizierung: Genauigkeit, F1-Punktzahl pro Klasse, Verwirrungsmatrix
• Extraktion: Präzision, Rückruf, F1 für jedes extrahierte Feld
• Bewertung/Bewertung: Mittlerer absoluter Fehler, Korrelation mit menschlichen Bewertungen
• Generierung: Aufgabenspezifische Rubrikbewertung (verwenden Sie LLM als Richter für die Skala)

Akzeptanzschwellen: Legen Sie vor Beginn des Trainings Mindestgenauigkeitsschwellen fest. Das fein abgestimmte Modell muss diese Schwellenwerte überschreiten, um bereitgestellt zu werden. Gemeinsame Schwellenwerte:

• Ersetzen Sie das allgemeine Modell, wenn die fein abgestimmte Genauigkeit den Basiswert um mehr als 5 Prozentpunkte überschreitet
• Bereitstellung, wenn die fein abgestimmte Genauigkeit das definierte Minimum überschreitet (z. B. 92 % beim Testsatz)

Fehleranalyse: Schauen Sie sich nicht nur die aggregierte Genauigkeit an, sondern analysieren Sie Fehler. Bei welchen Eingabetypen macht das Modell immer wieder Fehler? Deutet das Fehlermuster auf ein Datenqualitätsproblem, eine Abdeckungslücke oder eine grundlegende Modellbeschränkung hin?

Regressionstests: Das fein abgestimmte Modell darf keine Rückschritte bei Aufgaben machen, die das Basismodell gut bewältigen kann. Führen Sie zur Bestätigung die Golden-Dataset-Auswertung durch.

---

Bereitstellung und Iteration

Bereitstellung: Der fein abgestimmte LoRA-Adapter wird zusammen mit dem Basismodell in die OpenClaw-Bereitstellungsinfrastruktur geladen. Anfragen für den fein abgestimmten Skill werden an das durch den Adapter erweiterte Modell weitergeleitet. In derselben Bereitstellungsumgebung können mehrere Adapter für unterschiedliche Fähigkeiten nebeneinander existieren.

Überwachung nach der Bereitstellung: Wenden Sie denselben Überwachungsansatz an, der im Test- und Überwachungsleitfaden beschrieben ist. Das fein abgestimmte Modell sollte in regelmäßigen Abständen neu bewertet werden, um Abweichungen zu erkennen.

Iterationsauslöser:

• Die Genauigkeit der Produktionsüberwachung fällt unter den Grenzwert
• Geschäftsregeln ändern sich und erfordern, dass das Modell neues Verhalten lernt
• In der Produktion tauchen neue Eingabetypen auf, die in der Schulung nicht behandelt wurden
• Die Feinabstimmung wird abgeschlossen und die Ergebnisse deuten auf spezifische Lücken hin, die behoben werden müssen

Iterationsprozess:

1. Sammeln Sie neue Schulungsbeispiele aus Produktionsinputs, die die identifizierte Lücke abdecken
2. Zum vorhandenen Trainingsdatensatz hinzufügen
3. Feinabstimmung des Modells (ausgehend von den aktuell feinabgestimmten Gewichten, nicht vom Basismodell)
4. Evaluieren Sie anhand des erweiterten Testsatzes
5. Bereitstellung, wenn die Verbesserung bestätigt wird

Reife Fähigkeiten durchlaufen 4–8 Iterationszyklen pro Jahr, wobei jeder Schritt die Leistung verbessert.

---

Häufig gestellte Fragen

Wie teuer ist die Feinabstimmung eines Modells für einen OpenClaw-Skill?

Die LoRA-Feinabstimmung für eine typische Skill-Aufgabe an einem 7B-13B-Parametermodell kostet je nach Datensatzgröße und Modellgröße 50 bis 300 US-Dollar an Cloud-GPU-Rechenleistung pro Trainingslauf. Die Datenvorbereitung (Kennzeichnung) ist mit den höheren Kosten verbunden – ein gut gekennzeichneter Datensatz mit 1.000 Beispielen von Fachexperten kostet in der Regel 2.000 bis 8.000 US-Dollar an Expertenzeit. Der Schulungsberatungsservice von ECOSIRE umfasst sowohl die technische Ausführung als auch die Datenaufbereitungsmethodik.

Können wir die Modelle von OpenAI oder Anthropic optimieren?

OpenAI unterstützt die Feinabstimmung für GPT-4o mini und GPT-3.5 Turbo über ihre Feinabstimmungs-API. Anthropic bietet derzeit keine öffentliche Feinabstimmung für Claude-Modelle an. Google bietet über Vertex AI eine Feinabstimmung für Gemini-Modelle an. Für Aufgaben, bei denen eine Feinabstimmung unerlässlich ist und Sie Grenzmodelle verwenden möchten, ist die Feinabstimmungs-API von OpenAI der am besten zugängliche Weg. Für Aufgaben, bei denen eine Feinabstimmung unerlässlich ist und der Datenschutz eine Verarbeitung vor Ort erfordert, sind Open-Source-Modelle (Llama, Mistral, Qwen) mit LoRA-Feinabstimmung geeignet.

Wie behalten wir fein abgestimmte Modelle bei, wenn sich das Basismodell ändert?

Wenn das Basismodell aktualisiert wird (neue Version von Llama, GPT-4o usw.), müssen LoRA-Adapter, die mit der alten Version trainiert wurden, normalerweise auf die neue Version umgeschult werden. Dies ist ein wichtiger Wartungsaspekt – planen Sie Umschulungszyklen ein, wenn Hauptmodellversionen veröffentlicht werden. Der Wartungsvertrag von ECOSIRE umfasst die Modellumschulung als abgedeckten Service für Kunden mit fein abgestimmten Fähigkeiten.

Was ist die Eingabeaufforderung für wenige Schüsse und wann ersetzt sie die Feinabstimmung?

Few-Shot-Prompting stellt beispielhafte Eingabe-/Ausgabepaare direkt in der Eingabeaufforderung bereit und zeigt dem Modell, wie korrekte Antworten aussehen, ohne die Modellgewichtungen zu ändern. Es funktioniert gut, wenn Sie über 5–10 hochwertige Beispiele verfügen, das Ausgabeformat konsistent ist und die Aufgabe innerhalb der allgemeinen Leistungsfähigkeit des Modells liegt. Es bricht zusammen, wenn Sie Dutzende von Beispielen benötigen (Kontextfensterbeschränkungen), wenn die Leistung bei hohem Volumen konsistent sein muss (Kontextbeispiele erhöhen Latenz und Kosten) oder wenn die Aufgabe spezielles Wissen erfordert, über das das Modell nicht verfügt.

Woher wissen wir, ob eine schlechte Leistung ein Problem mit der Eingabeaufforderung oder ein Modellproblem ist?

Systematische Ablationstests: Halten Sie eine Variable konstant, während Sie die andere ändern. Testen Sie mehrere Prompt-Formulierungen mit dem Basismodell. Wenn die Leistung der besten Eingabeaufforderung immer noch unter dem Schwellenwert liegt, liegt das Problem an der zugrunde liegenden Fähigkeit des Modells – eine Feinabstimmung oder ein Wechsel zu einem leistungsfähigeren Basismodell ist erforderlich. Wenn Prompt-Varianten deutlich unterschiedliche Ergebnisse liefern, liegt das Problem in der Prompt-Qualität – investieren Sie in Prompt-Engineering, bevor Sie eine Feinabstimmung vornehmen.

Benötigen wir ML-Ingenieure in unserem Team, um die Feinabstimmung umzusetzen?

Nicht, wenn Sie mit ECOSIRE arbeiten. Die Feinabstimmung ist eine Spezialdisziplin, die für die Einrichtung, Ausführung und Evaluierung Fachwissen im Bereich ML-Engineering erfordert. Der Schulungsberatungsservice von ECOSIRE bietet dieses Fachwissen, ohne dass Sie ML-Ingenieure einstellen müssen. Was Ihr Team mitbringen muss, ist Domänenexpertise für die Datenkennzeichnung und -auswertung – die technische Umsetzung übernimmt ECOSIRE.

---

Nächste Schritte

Die Feinabstimmung von OpenClaw Skills ist der Weg zu höchster Genauigkeit bei domänenspezifischen Aufgaben, erfordert jedoch eine sorgfältige Datenvorbereitung, technische Ausführung und fortlaufende Wartung, um dauerhaften Wert zu liefern. Das Schulungs- und Beratungsteam von ECOSIRE verwaltet den gesamten Feinabstimmungslebenszyklus, sodass sich Ihr Team auf die Fachkompetenz konzentrieren kann, die nur es bereitstellen kann.

[Entdecken Sie die Schulungs- und Beratungsdienste von OpenClaw] (/services/openclaw/training-consulting), um Ihre Anforderungen an die Genauigkeit Ihrer Fähigkeiten zu besprechen und eine Feinabstimmungs-Roadmap für Ihre spezifischen Anwendungsfälle zu entwerfen.