1. Grundlagen, Generalisierung und kNN

1.1 Supervised Learning als Lernproblem

Beim Supervised Learning sind für Trainingsbeobachtungen sowohl Features X als auch Labels Y bekannt. Aus den Daten wird eine Funktion f̂ gelernt, die für neue Eingaben möglichst gut generalisiert. Das Grundmodell lautet:

X

Featurevektor mit p Eingabevariablen.

Y

beobachtete Zielvariable bzw. Label.

f

wahre, unbekannte Abbildung; bei Regression ist der bedingte Erwartungswert unter quadratischem Verlust optimal.

f̂

aus den Trainingsdaten geschätztes Modell.

ε

nicht reduzierbarer Fehler mit typischerweise E(ε)=0 und Varianz σ².

1.2 Vorhersage, Schlussfolgerung und Modellflexibilität

Flexible Modelle sind besonders plausibel bei großem n, kleinem p und stark nichtlinearen Zusammenhängen. Unflexiblere Modelle sind oft robuster bei kleinem n, großem p oder starkem Rauschen.

1.3 Bias-Variance Trade-off

Mit steigender Flexibilität sinkt typischerweise der Bias, während die Varianz steigt. Der Trainingsfehler sinkt fast monoton; der Testfehler ist meist U-förmig. Der nicht reduzierbare Fehler bleibt konstant.

1.4 k-Nearest Neighbors und Curse of Dimensionality

Für einen neuen Punkt werden die k nächsten Trainingspunkte anhand einer Distanz gesucht. Bei Regression wird zum Beispiel ihr Mittelwert, bei Klassifikation die häufigste Klasse oder deren relative Häufigkeit vorhergesagt.

• Kleines k: flexible Grenze, niedriger Bias, hohe Varianz.
• Großes k: glatte Grenze, höherer Bias, niedrigere Varianz.
• Features müssen sinnvoll skaliert werden; sonst dominiert die größte Einheit.
• Mit wachsendem p enthalten lokale Boxen nur noch einen winzigen Datenanteil: Bei 10 Prozent Breite pro Dimension bleiben in zwei Dimensionen 1 Prozent, in zehn Dimensionen nur 10^-10.

2. Lineare Regression

2.1 Modell, Vorhersage und Residuen

Least Squares wählt die Koeffizienten so, dass die Summe der quadrierten Residuen minimal wird.

2.2 Koeffizienten korrekt interpretieren

In einer multiplen Regression beschreibt β_j die erwartete Änderung von Y bei einer Erhöhung von X_j um eine Einheit, während alle anderen Modellfeatures konstant gehalten werden. Dieser Zusatz ist klausurrelevant.

Enthält das Intervall 0, kann die Nullhypothese auf dem zugehörigen Niveau typischerweise nicht verworfen werden. Ein statistischer Zusammenhang ist keine Ursache. Konfundierung kann sogar das Vorzeichen eines Koeffizienten ändern.

2.3 Dummies, Interaktionen und Nichtlinearität

Ein kategorisches Feature mit K Ausprägungen benötigt bei vorhandenem Intercept K-1 Dummies. Die ausgelassene Kategorie ist die Referenz.

Die Interaktion ändert die Wirkung eines Features abhängig vom anderen Feature. Nach dem Hierarchieprinzip bleiben die zugehörigen Haupteffekte im Modell. Quadratische oder höhere Polynomterme machen den Zusammenhang in x nichtlinear, das Modell bleibt aber linear in den Parametern.

2.4 Modellwahl und Diagnose

• Forward Selection: mit Intercept starten und schrittweise das Feature mit dem größten Gewinn nach festgelegtem Kriterium hinzufügen.
• Kollinearität: korrelierte Features erhöhen die Unsicherheit einzelner Koeffizienten; Vorhersage kann trotzdem brauchbar sein.
• Ausreißer und Leverage: Punkte weit vom Zentrum des Feature-Raums können die Gerade stark ziehen.
• Residualmuster: systematische Krümmung weist auf fehlende Nichtlinearität hin; Trichterform auf Heteroskedastizität.
• Validierung: Modellkomplexität nicht anhand des Trainings-RSS auswählen.

3. Klassifikation

3.1 Logistische Regression

Die lineare Regression ist für Klassenwahrscheinlichkeiten ungeeignet, weil sie Werte außerhalb von [0,1] erzeugen kann. Die logistische Regression modelliert lineare Log-Odds und transformiert sie in eine Wahrscheinlichkeit:

• β_j ist die Änderung der Log-Odds pro Einheit von x_j.
• e^β_j ist der multiplikative Faktor der Odds.
• Bei Schwelle 0.5 liegt die Entscheidungsgrenze bei a=0, also einer Hyperebene.
• Bei exakt trennbaren Daten können Koeffizienten ohne Regularisierung gegen unendlich laufen.

3.2 LDA, QDA und Naive Bayes

Ist die wahre Bayes-Grenze linear, kann QDA den Trainingssatz besser fitten, aber LDA auf Testdaten besser generalisieren. Flexibler ist nicht automatisch besser.

3.3 Bewertung, Schwellenwert und Klassenungleichgewicht

4. Support Vector Machines

4.1 Hyperebene, Margin und Supportvektoren

Eine Hyperebene teilt den Raum in zwei Halbräume. Der Hard-Margin Classifier maximiert den kleinsten Abstand zu den Trainingspunkten und setzt perfekte lineare Trennbarkeit voraus. Soft Margin erlaubt Marginverletzungen über Slack-Variablen und ist gegenüber Rauschen und Ausreißern robuster. Nur Punkte auf oder innerhalb der Margin beeinflussen die Lösung direkt: die Supportvektoren.

4.2 Kernel Trick

Nichtlinear trennbare Daten werden durch eine Transformation in einen höherdimensionalen Feature-Raum dort linear getrennt. Der Kernel berechnet innere Produkte im transformierten Raum, ohne die Transformation explizit aufzubauen.

• Nur Trainingspunkte mit α_i≠0 tragen zur Vorhersage bei.
• Großes γ im RBF-Kernel bedeutet sehr lokale Wirkung und höhere Flexibilität.
• Der Soft-Margin-Parameter steuert die Strafe für Verletzungen; seine genaue Richtung hängt von der verwendeten Konvention C bzw. Kostenparameter ab.
• Mehrklassen: One-vs-Rest benötigt K Modelle; One-vs-One K(K-1)/2.

5. Resampling und saubere Evaluation

5.1 Rollen von Training, Validierung und Test

5.2 Hold-out, k-fold CV und LOOCV

1. Trainingsdaten zufällig oder strukturgerecht in k Folds teilen.
2. Für jeden Fold auf den übrigen k-1 Folds trainieren.
3. Auf dem ausgelassenen Fold bewerten.
4. Fehler mitteln; Streuung der Foldfehler als Stabilitätshinweis berichten.
5. Nach Modellwahl auf allen Entwicklungsdaten neu fitten und genau einmal testen.

Größeres k bedeutet größere Trainingsfolds und meist weniger pessimistische Schätzung, aber höheren Rechenaufwand und stärker korrelierte Fits. LOOCV ist der Extremfall k=n. Häufig ist 5- oder 10-fold CV ein guter Kompromiss.

5.3 Bootstrap und Out-of-Bag

Ein Bootstrap-Sample zieht n Beobachtungen mit Zurücklegen. Mehrfach gezogene Punkte erhalten bei Least Squares entsprechend mehrfaches Gewicht. Im Mittel sind nur etwa 63.2 Prozent der ursprünglichen Beobachtungen eindeutig enthalten; etwa 36.8 Prozent bleiben Out-of-Bag und können zur Bewertung des jeweiligen Fits dienen.

Bootstrap eignet sich besonders zur Schätzung der Streuung von Statistiken und Modellparametern. OOB-Fehler sind eine interne Validierung, aber kein Ersatz für einen unberührten finalen Testsatz, wenn viele Entscheidungen getroffen wurden.

5.4 Leakage verhindern

Für jeden Fold:
  fit preprocessing nur auf fold_train
  transform fold_train und fold_valid
  fit model auf transformiertem fold_train
  evaluate auf transformiertem fold_valid

Bei Zeitreihen, Gruppen oder wiederholten Messungen ist eine gewöhnliche Zufallsteilung oft falsch. Splits müssen die spätere Einsatzsituation und Abhängigkeiten abbilden.

6. Trees und Ensembles

6.1 Entscheidungsbäume

Bäume zerlegen den Feature-Raum rekursiv durch achsenparallele Regeln wie x_j<s. Jede Beobachtung folgt von der Wurzel zu einem Blatt. Regression sagt den Mittelwert im Blatt vorher, Klassifikation typischerweise Mehrheitsklasse oder Klassenhäufigkeiten.

Gini und Cross-Entropy reagieren empfindlicher auf veränderte Klassenanteile als die Fehlklassifizierungsrate und sind deshalb für den Baumaufbau meist besser. Greedy Splitting findet nicht garantiert den global optimalen Baum. Tiefe Bäume haben hohe Varianz; Pruning oder Tiefenbegrenzung wird per Validierung gewählt.

6.2 Bagging, Random Forest und Boosting

7. Neuronale Netze

7.1 Neuron, Layer und Forward Pass

x⃗

Eingabe des Neurons.

w⃗

Gewichte der Eingaben.

b

Bias bzw. verschiebbarer Schwellenwert.

z

gewichtete Summe vor Aktivierung.

g

nichtlineare Aktivierungsfunktion.

Ein einzelnes lineares Ausgabeneuron entspricht linearer Regression; ein einzelnes Sigmoid-Neuron entspricht logistischer Regression. Mehrere Layer und nichtlineare Aktivierungen erzeugen flexible Funktionsklassen.

7.2 Training

1. Forward Pass berechnet Vorhersage ŷ.
2. Loss misst Abweichung, zum Beispiel MSE bei Regression oder Cross-Entropy bei Klassifikation.
3. Backpropagation wendet die Kettenregel rückwärts im Computation Graph an.
4. Gradientenverfahren aktualisiert Parameter: θ ← θ - η∇_θL.
5. Validierungsdaten steuern Epochenzahl, Architektur, Regularisierung und Lernrate.

Mehr Breite oder Tiefe erhöht Kapazität, aber auch Rechenaufwand und Overfitting-Risiko. Typische Gegenmaßnahmen sind Early Stopping, Weight Decay, Dropout, Datenaugmentation und mehr Daten. Preprocessing muss in die Validierungsstrategie eingebettet bleiben.

7.3 Typische NN-Fragen aus den Übungen

• Neuronenausgabe exakt als Skalarprodukt, Bias und Aktivierung berechnen.
• Netz aus Gewichten zeichnen und einen Forward Pass datenpunktweise durchführen.
• Lineare/logistische Regression als Spezialfall eines Netzes erkennen.
• Frameworks unterscheiden: TensorFlow und PyTorch sind Implementierungen; Keras ist primär eine High-Level-Schnittstelle.
• Grenzen benennen: Daten- und Energiebedarf, Urheberrecht, Verzerrungen, Halluzinationen, mangelnde Erklärbarkeit.

8. Klausurtraining: Vorgehen nach Aufgabentyp

8.1 Zehn Aufgaben der Übungsklausur auf einen Blick

10. Prüfungsfallen, Lerncheckliste und Fragen

10.1 Häufige Prüfungsfallen

10.2 Kompakte Lerncheckliste

• Ich kann Regression und Klassifikation am Label unterscheiden und n sowie p bestimmen.
• Ich kann Bias, Varianz, irreduziblen Fehler, Underfit und Overfit in einem Diagramm erklären.
• Ich kann kNN-Distanzen und Vorhersagen für Regression und Klassifikation berechnen.
• Ich kann RSS, MSE, TSS und R² berechnen und interpretieren.
• Ich kann Dummies, Polynomterme und Interaktionen in linearen Modellen auswerten.
• Ich kann p-Wert, Konfidenzintervall und Koeffizient voneinander abgrenzen.
• Ich kann Logit, Odds und Wahrscheinlichkeit ineinander umrechnen.
• Ich kann LDA, QDA, Naive Bayes und logistische Regression vergleichen.
• Ich kann Hyperebene, Margin, Supportvektoren, Soft Margin und Kernel erklären.
• Ich kann einen leakage-freien Train/Validation/Test- und CV-Prozess beschreiben.
• Ich kann einen Baum ablaufen sowie Gini, Bagging, Random Forest und Boosting erklären.
• Ich kann einen vollständigen NN Forward Pass mit Bias und Aktivierung rechnen.

10.3 Mögliche Klausurfragen

1. Warum kann ein flexibleres Modell trotz niedrigerem Trainingsfehler einen höheren Testfehler haben?
2. Wie ändert sich die kNN-Grenze mit k, und warum verschärft großes p das Problem?
3. Interpretieren Sie einen Interaktionsterm zwischen numerischem Feature und Dummyvariable.
4. Warum ist ein kleiner p-Wert weder ein großer Effekt noch ein Kausalitätsbeweis?
5. Leiten Sie die logistische Entscheidungsgrenze für zwei Features her.
6. Wann ist QDA gegenüber LDA plausibel, und welcher Bias-Variance-Trade-off entsteht?
7. Erklären Sie den Kernel Trick und berechnen Sie eine SVM-Vorhersage aus Kernelwerten.
8. Skizzieren Sie eine vollständig leakage-freie k-fold Cross-Validation.
9. Warum reduziert Random Forest gegenüber Bagging häufig zusätzlich die Varianz?
10. Führen Sie einen Forward Pass durch und bestimmen Sie Outputparameter unter einer Zielbedingung.