Large Language Models (LLM)
RAG-Tuning und Evaluation
Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen. Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.
| Termine | Ort | Garantiert | Buchen |
|---|
Kurstyp: LME
Grundlagen von Retrieval-Qualität
– Metriken: Recall, Precision, nDCG
– Warum klassisches IR- und LLM-Tuning zusammengehören
Tuning-Strategien
– Chunking-Varianten (Overlaps, Semantik-basiert)
– Embedding-Modelle vergleichen
– Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search
– Lexikalische + semantische Suche kombinieren
– Einsatz von Cross-Encodern
– Trade-offs zwischen Qualität und Kosten
Evaluationstechniken
– Human-in-the-loop Verfahren
– Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
– Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb
– Bias-Checks, Halluzinationsanalyse
– Drift Detection bei Embeddings
– Canary-Tests für neue Pipelines
Monitoring & Reporting
– KPI-Tracking: Retrieval-Präzision, Factuality
– Dashboards für Stakeholder
– Feedback Loops und kontinuierliche Verbesserung
Ihr ITventive Trainings Team
mail: it-trainings@itventive.com
Telefon allgem.