Supervised Learning

Question:
# Supervised Learning
Was ist der Kern eines überwachten Lernproblems?

Answer:
Beim **Supervised Learning** gibt es Trainingsdaten mit Eingaben $x$ und bekannten Zielwerten oder Labels $y$. Das Modell lernt eine Funktion $\hat f$, die für neue Eingaben eine Vorhersage $\hat y = \hat f(x)$ erzeugt.

Prüfungsfalle: Entscheidend ist das vorhandene Zielsignal. Ohne Labels ist es kein supervised, sondern typischerweise unsupervised learning.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 1


Supervised Learning

Question:
# Regression vs. Klassifikation
Worin unterscheiden sich Regression und Klassifikation?

Answer:
- **Regression:** Zielvariable $y$ ist numerisch, z. B. Umsatz, Preis oder Temperatur.
- **Klassifikation:** Zielvariable $y$ ist kategorial, z. B. `default` ja/nein oder Iris-Spezies.

Die Modellbewertung muss dazu passen: bei Regression z. B. MSE/RMSE, bei Klassifikation z. B. Fehlerrate, Confusion Matrix, Precision oder Recall.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitte 2 und 7


Supervised Learning

Question:
# Notation
Was bedeuten $X$, $Y$, $f$ und $\varepsilon$ im Statistical Learning?

Answer:
Typische Schreibweise:

- $X$: Eingabevariablen bzw. Features.
- $Y$: Zielvariable.
- $f(X)$: systematischer Zusammenhang zwischen Features und Ziel.
- $\varepsilon$: nicht erklärbarer Zufallsfehler.

Das Grundmodell lautet oft $Y = f(X) + \varepsilon$. Das Modell schätzt $f$ durch $\hat f$.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 2.2


Supervised Learning

Question:
# Prediction vs. Inference
Was ist der Unterschied zwischen Prediction und Inference?

Answer:
**Prediction** fragt: Wie gut kann das Modell neue Zielwerte vorhersagen?

**Inference** fragt: Wie hängen Features und Zielvariable zusammen, welche Variablen sind wichtig, und wie interpretierbar ist der Effekt?

Prüfungsfalle: Ein flexibles Modell kann sehr gut vorhersagen, aber schwer interpretierbar sein. Ein lineares Modell ist oft interpretierbarer, aber möglicherweise weniger genau.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 2.3


Supervised Learning

Question:
# Irreducible Error
Warum kann selbst das beste Modell einen Restfehler behalten?

Answer:
Der irreduzible Fehler entsteht durch Rauschen, Messfehler, unbeobachtete Einflussgrößen oder echte Zufälligkeit. Selbst wenn $f$ perfekt bekannt wäre, bliebe der Fehlerterm $\varepsilon$.

Daraus folgt: Man kann nicht jeden Fehler durch ein komplexeres Modell eliminieren.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 2.5


Supervised Learning

Question:
# kNN-Regression
Wie funktioniert Neighborhood Averaging bei kNN-Regression?

Answer:
Für einen neuen Punkt $x_0$ werden die $k$ nächsten Trainingspunkte gesucht. Die Vorhersage ist der Mittelwert ihrer Zielwerte:

$$\hat f(x_0)=\frac{1}{k}\sum_{i \in N_k(x_0)} y_i$$

$N_k(x_0)$ ist die Menge der $k$ nächsten Nachbarn von $x_0$.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 3.1


Supervised Learning

Question:
# Wahl von k
Was passiert bei sehr kleinem bzw. sehr großem $k$ in kNN?

Answer:
- Kleines $k$, z. B. $k=1$: sehr flexibel, niedriger Trainingsfehler, hohe Varianz, Overfitting-Risiko.
- Großes $k$: glatte Vorhersage, geringere Varianz, höherer Bias, Underfitting-Risiko.

Die Wahl von $k$ steuert also direkt die Modellkomplexität.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 3.3


Supervised Learning

Question:
# Curse of Dimensionality
Warum leidet kNN besonders unter vielen Features?

Answer:
In hohen Dimensionen werden Datenpunkte relativ gesehen dünn verteilt. Nächste Nachbarn sind dann oft gar nicht wirklich nah, und lokale Mittelwerte werden instabil.

Prüfungsfalle: Mehr Features helfen nicht automatisch. Irrelevante oder schlecht skalierte Features können Distanzverfahren deutlich verschlechtern.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 3.4


Supervised Learning

Question:
# MSE
Wie ist der Mean Squared Error definiert und wann nutzt man ihn?

Answer:
Der Mean Squared Error misst den mittleren quadratischen Vorhersagefehler:

$$MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat f(x_i))^2$$

Er wird typischerweise für Regressionsprobleme genutzt. Große Fehler werden wegen des Quadrats besonders stark bestraft.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 4.3


Supervised Learning

Question:
# Trainingsfehler vs. Testfehler
Warum ist ein niedriger Trainingsfehler allein kein gutes Qualitätskriterium?

Answer:
Ein Modell kann Trainingsdaten auswendig lernen und dadurch einen sehr niedrigen Trainingsfehler erreichen. Entscheidend ist aber die Generalisierung auf ungesehene Daten.

Prüfungsfalle: Modellwahl über den Testdatensatz macht den Testfehler optimistisch. Testdaten dürfen nicht indirekt in Training oder Auswahl einfließen.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 4.4


Supervised Learning

Question:
# Underfitting und Overfitting
Wie erkennst du Underfitting und Overfitting an Trainings- und Testfehler?

Answer:
- **Underfitting:** Trainingsfehler und Testfehler sind beide hoch. Das Modell ist zu einfach.
- **Guter Fit:** Trainingsfehler und Testfehler sind angemessen niedrig.
- **Overfitting:** Trainingsfehler ist niedrig, Testfehler aber hoch. Das Modell hat Rauschen oder Zufälligkeiten gelernt.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 4.2


Supervised Learning

Question:
# Bias-Variance Trade-off
Aus welchen Teilen besteht der erwartete Testfehler konzeptionell?

Answer:
Der erwartete Testfehler lässt sich konzeptionell zerlegen in:

- **Bias:** systematischer Fehler durch zu einfache Modellannahmen.
- **Variance:** Empfindlichkeit gegenüber der konkreten Trainingsstichprobe.
- **Irreduzibler Fehler:** Rauschen, das kein Modell erklären kann.

Mehr Flexibilität senkt oft Bias, erhöht aber Varianz.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 5


Supervised Learning

Question:
# Bayes-Klassifikator
Was macht der Bayes-optimale Klassifikator?

Answer:
Der Bayes-Klassifikator wählt für einen Featurevektor $x$ die Klasse mit der größten bedingten Wahrscheinlichkeit:

$$\hat y = \arg\max_k P(Y=k \mid X=x)$$

Er ist theoretisch optimal für die Fehlklassifizierungsrate, wenn die wahren Klassenwahrscheinlichkeiten bekannt sind.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 7.2


Supervised Learning

Question:
# Fehlklassifizierungsrate
Wie ist die Fehlklassifizierungsrate definiert?

Answer:
Die Fehlklassifizierungsrate ist der Anteil falsch klassifizierter Beobachtungen:

$$Error = \frac{1}{n}\sum_{i=1}^{n} I(y_i \ne \hat y_i)$$

$I(\cdot)$ ist eine Indikatorfunktion, die 1 liefert, wenn die Bedingung wahr ist, sonst 0.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 7.4


Supervised Learning

Question:
# kNN-Klassifikation
Wie trifft kNN bei Klassifikation eine Entscheidung?

Answer:
Für einen neuen Punkt werden die $k$ nächsten Nachbarn gesucht. Die vorhergesagte Klasse ist typischerweise die Mehrheitsklasse dieser Nachbarn.

Kleines $k$ erzeugt sehr flexible, unruhige Entscheidungsgrenzen. Größeres $k$ glättet die Grenze, kann aber relevante lokale Struktur verlieren.

Zusammenfassung 10 Ch2 Statistical Learning; Abschnitt 7.3


Supervised Learning

Question:
# Lineares Regressionsmodell
Wie lautet das einfache lineare Regressionsmodell?

Answer:
Für ein Feature lautet das Modell:

$$Y = \beta_0 + \beta_1 X + \varepsilon$$

$\beta_0$ ist der Achsenabschnitt, $\beta_1$ die Steigung und $\varepsilon$ der Fehlerterm. Die Vorhersage ist $\hat y = \hat\beta_0 + \hat\beta_1 x$.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 2


Supervised Learning

Question:
# Residuum und RSS
Was sind Residuen und die Residual Sum of Squares?

Answer:
Das Residuum einer Beobachtung ist:

$$e_i = y_i - \hat y_i$$

Die Residual Sum of Squares ist:

$$RSS = \sum_{i=1}^{n}(y_i-\hat y_i)^2$$

Least Squares wählt die Koeffizienten so, dass RSS auf den Trainingsdaten minimal wird.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 3


Supervised Learning

Question:
# Least Squares in Matrixform
Wie lautet die analytische Least-Squares-Lösung und wann ist sie problematisch?

Answer:
In Matrixform gilt bei vollem Rang:

$$\hat\beta = (X^T X)^{-1}X^T y$$

Problematisch wird es, wenn $X^T X$ nicht invertierbar oder numerisch instabil ist, z. B. bei perfekter Kollinearität oder zu vielen linear abhängigen Features.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 3


Supervised Learning

Question:
# Standardfehler und Konfidenzintervall
Was sagt ein Konfidenzintervall für einen Regressionskoeffizienten aus?

Answer:
Ein Konfidenzintervall gibt einen plausiblen Bereich für den wahren Koeffizienten an, basierend auf Stichprobenschwankung und Modellannahmen.

Für einen Koeffizienten wird oft genutzt:

$$\hat\beta_j \pm t \cdot SE(\hat\beta_j)$$

Prüfungsfalle: Ein breites Intervall bedeutet hohe Unsicherheit, nicht automatisch keinen Effekt.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 4


Supervised Learning

Question:
# p-Wert in Regression
Wie interpretierst du einen p-Wert für $\beta_j$ korrekt?

Answer:
Der p-Wert bewertet die Daten unter der Nullhypothese $H_0: \beta_j=0$. Ein kleiner p-Wert spricht gegen $H_0$, sofern Modellannahmen und Testsetting passen.

Prüfungsfalle: Der p-Wert ist nicht die Wahrscheinlichkeit, dass $H_0$ wahr ist, und er beweist keine Kausalität.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 4


Supervised Learning

Question:
# $R^2$
Was misst $R^2$ in der linearen Regression?

Answer:
$R^2$ misst den Anteil der Varianz von $Y$, der durch das Modell erklärt wird:

$$R^2 = 1 - \frac{RSS}{TSS}$$

$RSS$ ist die Residual Sum of Squares, $TSS$ die Total Sum of Squares. Ein höheres $R^2$ bedeutet bessere Anpassung auf den betrachteten Daten, aber nicht automatisch bessere Testleistung.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 4


Supervised Learning

Question:
# Multiple Regression
Wie interpretierst du einen Koeffizienten in multipler linearer Regression?

Answer:
Im Modell

$$Y = \beta_0 + \beta_1X_1 + \dots + \beta_pX_p + \varepsilon$$

beschreibt $\beta_j$ den erwarteten Unterschied in $Y$ bei einer Einheit mehr in $X_j$, **wenn alle anderen Features konstant gehalten werden**.

Prüfungsfalle: Das ist ein bedingter Zusammenhang, kein automatisch kausaler Effekt.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 5


Supervised Learning

Question:
# Kollinearität
Warum ist Kollinearität in multipler Regression ein Problem?

Answer:
Kollinearität bedeutet, dass Features stark miteinander zusammenhängen. Dadurch werden einzelne Koeffizienten schwer stabil zu schätzen: Standardfehler steigen, Vorzeichen können instabil wirken und Interpretation wird unsicher.

Prüfungsfalle: Gute Gesamtvorhersage kann trotz problematischer Einzelkoeffizienten möglich sein.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 5


Supervised Learning

Question:
# Feature Selection
Warum reicht es nicht, einfach das Modell mit niedrigstem Trainings-RSS zu wählen?

Answer:
Mehr Features senken den Trainings-RSS fast immer oder lassen ihn gleich. Das kann Overfitting erzeugen.

Für Modellwahl nutzt man deshalb Kriterien oder Validierung, z. B. Adjusted $R^2$, AIC, BIC, Validierungsfehler oder Cross-Validation.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 6


Supervised Learning

Question:
# Dummy-Codierung
Wie interpretierst du eine Dummyvariable in linearer Regression?

Answer:
Bei einer binären Dummyvariable mit Referenzgruppe 0 misst der Koeffizient den Unterschied zur Referenzgruppe, bei gleichen übrigen Features.

Beispiel: Ist `student=1` codiert und $\beta_{student}=250$, dann liegt die erwartete Zielgröße für Studierende um 250 Einheiten höher als für die Referenzgruppe, sofern andere Features konstant sind.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 7


Supervised Learning

Question:
# Dummy Trap
Warum darf man bei $K$ Kategorien nicht einfach alle $K$ Dummyvariablen plus Intercept verwenden?

Answer:
Mit Intercept sind alle $K$ Dummies linear abhängig, weil genau eine Kategorie aktiv ist. Das führt zu perfekter Multikollinearität.

Korrekt: Eine Referenzkategorie weglassen oder ohne Intercept modellieren. Üblich ist: $K-1$ Dummies plus Intercept.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 7


Supervised Learning

Question:
# Interaktionen
Was bedeutet ein Interaktionsterm in einer Regression?

Answer:
Ein Interaktionsterm erlaubt, dass der Effekt eines Features vom Wert eines anderen Features abhängt.

Beispiel:

$$Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \beta_3X_1X_2 + \varepsilon$$

Dann ändert $\beta_3$ die Steigung von $X_1$ je nach $X_2$.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 8


Supervised Learning

Question:
# Hierarchieprinzip
Welche Prüfungsfalle gibt es bei Interaktionstermen?

Answer:
Wenn ein Modell eine Interaktion enthält, sollten die zugehörigen Haupteffekte normalerweise im Modell bleiben. Das ist das Hierarchieprinzip.

Prüfungsfalle: Eine Interaktion ohne Haupteffekte ist meist schwer sinnvoll zu interpretieren und sollte nur mit guter fachlicher Begründung verwendet werden.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 8


Supervised Learning

Question:
# Nichtlinearität in linearer Regression
Wie kann ein lineares Modell nichtlineare Zusammenhänge abbilden?

Answer:
Ein Modell ist linear in den Parametern, nicht zwingend in den ursprünglichen Features. Man kann neue Features konstruieren, z. B. $X^2$, $\log(X)$ oder Interaktionen.

Prüfungsfalle: Mehr Terme senken oft den Trainingsfehler, aber sie können den Testfehler erhöhen. Validierung bleibt nötig.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 9


Supervised Learning

Question:
# Vorhersage und Residuum
Wie berechnest du in einer Regressionsaufgabe Vorhersage und Residuum?

Answer:
1. Setze die Featurewerte in das geschätzte Modell ein.
2. Berechne $\hat y$.
3. Berechne das Residuum als $e = y - \hat y$.

Prüfungsfalle: Das Vorzeichen des Residuums ist wichtig. Ein positives Residuum heißt: Der echte Wert liegt über der Vorhersage.

Zusammenfassung 20 Ch3 Linear Regression; Abschnitt 10


Supervised Learning

Question:
# Klassifikationsproblem
Was ist das Ziel eines Klassifikationsmodells?

Answer:
Ein Klassifikationsmodell soll für Eingaben $x$ eine Klasse $\hat y$ oder Klassenwahrscheinlichkeiten $P(Y=k\mid X=x)$ vorhersagen.

Typische Ziele sind gute Trennung der Klassen, interpretierbare Wahrscheinlichkeiten und geringe Fehlklassifikation auf ungesehenen Daten.

Zusammenfassung 30 Ch4 Classification; Abschnitt 2


Supervised Learning

Question:
# Lineare Entscheidungsgrenze
Was bedeutet lineare Klassifikation geometrisch?

Answer:
Lineare Klassifikation trennt Klassen durch eine Gerade, Ebene oder Hyperebene. Die Entscheidungsfunktion hat die Form:

$$\beta_0 + \beta_1x_1 + \dots + \beta_px_p = 0$$

Die beiden Seiten der Hyperebene entsprechen unterschiedlichen vorhergesagten Klassen.

Zusammenfassung 30 Ch4 Classification; Abschnitt 3


Supervised Learning

Question:
# Lineare Regression für Klassifikation
Warum ist lineare Regression für Klassifikation nur begrenzt geeignet?

Answer:
Lineare Regression kann bei binären Labels zwar eine Zahl liefern, aber diese Zahl ist nicht sauber auf $[0,1]$ beschränkt und keine stabile Wahrscheinlichkeit.

Bei Mehrklassenproblemen kann eine beliebige Zahlenkodierung künstliche Ordnung erzeugen, die fachlich nicht existiert.

Zusammenfassung 30 Ch4 Classification; Abschnitt 4


Supervised Learning

Question:
# Logistische Regression
Welche Wahrscheinlichkeit modelliert die logistische Regression?

Answer:
Bei binärer Klassifikation modelliert sie:

$$p(x)=P(Y=1\mid X=x)=\frac{e^{\eta(x)}}{1+e^{\eta(x)}}$$

mit linearem Prädiktor $\eta(x)=\beta_0+\beta_1x_1+\dots+\beta_px_p$.

Zusammenfassung 30 Ch4 Classification; Abschnitt 5.1


Supervised Learning

Question:
# Log-Odds
Wie interpretierst du Koeffizienten in logistischer Regression?

Answer:
Ein Koeffizient $\beta_j$ wirkt linear auf die Log-Odds:

$$\log\left(\frac{p(x)}{1-p(x)}\right)=\beta_0+\beta_1x_1+\dots+\beta_px_p$$

$e^{\beta_j}$ ist der multiplikative Effekt auf die Odds bei einer Einheit mehr in $X_j$, wenn andere Features konstant bleiben.

Prüfungsfalle: $\beta_j$ ist kein direkter Prozentpunkt-Effekt auf $p(x)$.

Zusammenfassung 30 Ch4 Classification; Abschnitt 5.2


Supervised Learning

Question:
# Entscheidungsgrenze der logistischen Regression
Wie findest du die Grenze bei Schwelle 0,5?

Answer:
Bei Schwelle 0,5 gilt $p(x)=0.5$. Das entspricht $\eta(x)=0$, weil die Odds dann 1 sind.

Mit einem Feature ist die Grenze:

$$x = -\frac{\beta_0}{\beta_1}$$

Mit mehreren Features ist es eine Gerade, Ebene oder Hyperebene.

Zusammenfassung 30 Ch4 Classification; Abschnitt 5.3 und 12


Supervised Learning

Question:
# Confounding
Warum kann ein Koeffizient in einem multiplen Klassifikationsmodell sein Vorzeichen wechseln?

Answer:
In einem multiplen Modell sind Koeffizienten bedingte Effekte: Sie gelten bei konstant gehaltenen übrigen Features. Ein marginaler Zusammenhang kann deshalb ein anderes Vorzeichen haben als der bedingte Effekt.

Prüfungsfalle: Boxplots oder einfache Gruppenmittel zeigen nicht automatisch den Effekt im multiplen Modell.

Zusammenfassung 30 Ch4 Classification; Abschnitt 6.1


Supervised Learning

Question:
# Case-Control-Sampling
Was ist bei Case-Control-Sampling für Wahrscheinlichkeiten zu beachten?

Answer:
Case-Control-Sampling verändert die Klassenanteile in den Daten. Das kann für das Lernen einer Trennregel nützlich sein, aber geschätzte Wahrscheinlichkeiten müssen an die echte Prävalenz angepasst bzw. vorsichtig interpretiert werden.

Prüfungsfalle: Gute Trennung heißt nicht automatisch kalibrierte reale Wahrscheinlichkeit.

Zusammenfassung 30 Ch4 Classification; Abschnitt 6.3


Supervised Learning

Question:
# Separation
Warum ist perfekte Trennbarkeit für logistische Regression problematisch?

Answer:
Bei perfekter Separation kann die logistische Regression die Koeffizienten immer weiter vergrößern, um Wahrscheinlichkeiten gegen 0 oder 1 zu drücken. Die Maximum-Likelihood-Schätzung wird instabil oder degeneriert.

Symptome: sehr große Koeffizienten, riesige Standardfehler, Warnungen, perfekte Trainingsklassifikation.

Zusammenfassung 30 Ch4 Classification; Abschnitt 8


Supervised Learning

Question:
# LDA
Welche Grundannahme steckt hinter Linear Discriminant Analysis?

Answer:
LDA modelliert die Featureverteilung je Klasse typischerweise als normalverteilt und nimmt gleiche Kovarianzmatrizen für die Klassen an. Daraus entstehen lineare Entscheidungsgrenzen.

LDA kann bei kleinerem $n$ stabiler sein als flexiblere Verfahren, wenn die Annahmen ungefähr passen.

Zusammenfassung 30 Ch4 Classification; Abschnitt 9.2


Supervised Learning

Question:
# QDA vs. LDA
Wann ist QDA flexibler als LDA und was ist der Preis?

Answer:
QDA erlaubt unterschiedliche Kovarianzmatrizen je Klasse. Dadurch entstehen quadratische Entscheidungsgrenzen.

Der Preis ist höhere Varianz und mehr zu schätzende Parameter. QDA braucht daher typischerweise mehr Daten als LDA.

Zusammenfassung 30 Ch4 Classification; Abschnitt 9.3


Supervised Learning

Question:
# Naive Bayes
Was ist die zentrale Annahme von Naive Bayes?

Answer:
Naive Bayes nimmt an, dass Features innerhalb einer Klasse bedingt unabhängig sind:

$$P(X_1,\dots,X_p\mid Y=k) \approx \prod_{j=1}^{p}P(X_j\mid Y=k)$$

Die Annahme ist oft unrealistisch, kann aber bei vielen Features robuste Klassifikatoren liefern.

Zusammenfassung 30 Ch4 Classification; Abschnitt 9.3


Supervised Learning

Question:
# Accuracy bei unausgewogenen Daten
Warum kann Accuracy bei Imbalanced Data täuschen?

Answer:
Wenn eine Klasse dominiert, kann ein Modell durch ständiges Vorhersagen der Mehrheitsklasse hohe Accuracy erreichen und trotzdem für die Minderheitsklasse unbrauchbar sein.

Deshalb immer Confusion Matrix, klassenbezogene Fehler, Precision, Recall, F1 oder Balanced Accuracy prüfen.

Zusammenfassung 30 Ch4 Classification; Abschnitt 10


Supervised Learning

Question:
# Precision und Recall
Wie unterscheiden sich Precision und Recall?

Answer:
- **Precision:** Anteil korrekter positiver Vorhersagen an allen positiven Vorhersagen: $TP/(TP+FP)$.
- **Recall:** Anteil gefundener positiver Fälle an allen tatsächlich positiven Fällen: $TP/(TP+FN)$.

Precision bestraft False Positives, Recall bestraft False Negatives.

Zusammenfassung 30 Ch4 Classification; Abschnitt 10.3


Supervised Learning

Question:
# Modellwahl Klassifikation
Wann passen logistische Regression, LDA, QDA oder Naive Bayes?

Answer:
Grobe Daumenregeln:

- **Logistische Regression:** interpretierbare Wahrscheinlichkeiten, lineare Log-Odds, keine perfekte Separation.
- **LDA:** ungefähr normalverteilte Klassen, gleiche Kovarianzen, eher kleineres $n$.
- **QDA:** unterschiedliche Kovarianzen, genug Daten.
- **Naive Bayes:** viele Features oder einfache probabilistische Baseline trotz Unabhängigkeitsannahme.

Zusammenfassung 30 Ch4 Classification; Abschnitt 12


Supervised Learning

Question:
# Hyperebene
Wie wird eine Hyperebene in SVMs typischerweise geschrieben?

Answer:
Eine Hyperebene hat die Form:

$$w^T x + b = 0$$

$w$ ist der Normalenvektor, $b$ der Bias bzw. Achsenabschnitt. Das Vorzeichen von $w^T x + b$ bestimmt die Seite der Hyperebene.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 1


Supervised Learning

Question:
# Abstand zur Hyperebene
Wie berechnet man den Abstand eines Punktes zu einer Hyperebene?

Answer:
Der vorzeichenlose Abstand eines Punktes $x_0$ zur Hyperebene $w^Tx+b=0$ ist:

$$\frac{|w^T x_0+b|}{\lVert w\rVert}$$

Ohne Betrag erhält man den vorzeichenbehafteten Abstand, der zusätzlich die Seite der Hyperebene zeigt.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 1


Supervised Learning

Question:
# Hard Margin SVM
Was optimiert der Hard Margin Classifier?

Answer:
Der Hard Margin Classifier sucht unter perfekt trennbaren Daten die trennende Hyperebene mit maximaler Margin.

Äquivalent wird oft $\lVert w\rVert$ minimiert, während alle Beobachtungen korrekt außerhalb der Margin liegen müssen.

Prüfungsfalle: Hard Margin setzt perfekte lineare Trennbarkeit voraus.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 3


Supervised Learning

Question:
# Supportvektoren
Warum bestimmen Supportvektoren die SVM-Lösung?

Answer:
Supportvektoren sind die Trainingspunkte, die auf oder innerhalb der Margin liegen und damit die Lage der optimalen Hyperebene festlegen.

Punkte weit weg von der Grenze ändern die Lösung oft nicht. Entfernt oder verschiebt man aber Supportvektoren, kann sich die Entscheidungsgrenze ändern.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 3.2


Supervised Learning

Question:
# Margin-Bedingung
Wie lautet die SVM-Margin-Bedingung bei Labels $y_i \in \{-1,1\}$?

Answer:
Eine übliche Bedingung ist:

$$y_i(w^T x_i+b) \ge 1$$

Sie bedeutet: Beobachtungen müssen korrekt klassifiziert sein und mindestens auf der richtigen Margin-Seite liegen. Punkte mit Gleichheit sind Supportvektoren.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 3.3


Supervised Learning

Question:
# Soft Margin
Wozu dienen Slack-Variablen in Soft-Margin-SVMs?

Answer:
Slack-Variablen $\xi_i$ erlauben Margin-Verletzungen und Fehlklassifikationen. Dadurch kann die SVM auch mit überlappenden oder verrauschten Klassen umgehen.

Die Nebenbedingung wird typischerweise:

$$y_i(w^Tx_i+b) \ge 1-\xi_i,\quad \xi_i \ge 0$$

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 4


Supervised Learning

Question:
# C-Parameter
Welche Rolle spielt $C$ beim Support Vector Classifier?

Answer:
$C$ steuert den Trade-off zwischen großer Margin und Bestrafung von Margin-Verletzungen.

- Großes $C$: Verletzungen teuer, engere Anpassung, Overfitting-Risiko.
- Kleines $C$: mehr Verletzungen erlaubt, breitere Margin, stärker regularisiert.

Prüfungsfalle: Die genaue Parameterrichtung kann je nach Softwaredokumentation anders benannt sein; immer Definition prüfen.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 4


Supervised Learning

Question:
# Kernel-Idee
Warum nutzt man Kernel in SVMs?

Answer:
Kernel erlauben nichtlineare Entscheidungsgrenzen, indem sie Skalarprodukte in einem erweiterten Feature-Raum berechnen, ohne diesen Raum explizit aufzubauen.

Die SVM bleibt dort linear, wirkt im ursprünglichen Inputraum aber nichtlinear.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 5


Supervised Learning

Question:
# Radial Kernel
Wie lautet die Grundidee des radialen Kernels?

Answer:
Der Radial Basis Function Kernel misst Ähnlichkeit über Distanz:

$$K(x,x')=\exp(-\gamma\lVert x-x'\rVert^2)$$

Nahe Punkte haben hohe Ähnlichkeit, weit entfernte Punkte niedrige. $\gamma$ steuert, wie lokal der Einfluss einzelner Punkte ist.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 5.4


Supervised Learning

Question:
# Kernel-Trick
Was ist der Kernel-Trick?

Answer:
Der Kernel-Trick ersetzt ein explizites Skalarprodukt $\phi(x)^T\phi(x')$ im Feature-Raum durch eine Kernel-Funktion $K(x,x')$.

Dadurch kann ein Modell in sehr hohen oder unendlichen Feature-Räumen arbeiten, ohne die transformierten Features explizit zu berechnen.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 5.5


Supervised Learning

Question:
# Kernel-SVM-Vorhersage
Von welchen Trainingspunkten hängt die Kernel-SVM-Vorhersage hauptsächlich ab?

Answer:
Die Vorhersage hängt über Kernelwerte besonders von den Supportvektoren ab:

$$f(x)=b+\sum_{i \in SV}\alpha_i y_i K(x_i,x)$$

Nur Supportvektoren haben relevante Koeffizienten $\alpha_i$ ungleich 0.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 5.6


Supervised Learning

Question:
# Mehrklassen-SVM
Wie kann eine binäre SVM auf mehrere Klassen erweitert werden?

Answer:
Übliche Strategien sind:

- **One-vs-Rest:** pro Klasse ein Modell gegen alle anderen.
- **One-vs-One:** pro Klassenpaar ein Modell; finale Klasse per Abstimmung.

Prüfungsfalle: Eine Standard-SVM ist zunächst binär. Mehrklassenfähigkeit hängt von der gewählten Strategie bzw. Software ab.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 6


Supervised Learning

Question:
# Skalierung bei SVMs
Warum ist Feature-Skalierung bei SVMs wichtig?

Answer:
SVMs und insbesondere Kernel-SVMs hängen stark von Distanzen und Skalarprodukten ab. Features mit großen numerischen Skalen können die Geometrie dominieren.

Prüfungsfalle: Skalierung muss innerhalb des Resampling-Prozesses gelernt werden, nicht auf dem gesamten Datensatz vor Cross-Validation.

Zusammenfassung 40 Ch9 Support Vector Machines; Abschnitt 7; Zusammenfassung 50 Ch5 Resampling Abschnitt 6


Supervised Learning

Question:
# Rollen von Datensplits
Welche Rollen haben Training, Validierung und Test?

Answer:
- **Training:** Modellparameter lernen.
- **Validierung:** Hyperparameter und Modellvarianten auswählen.
- **Test:** finale, möglichst unverzerrte Schätzung der Generalisierung.

Prüfungsfalle: Der Testdatensatz darf nicht für Feature-Auswahl, Tuning oder wiederholte Modellentscheidungen genutzt werden.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 2


Supervised Learning

Question:
# Hold-out Validation
Wie läuft Hold-out Validation ab?

Answer:
1. Daten in Training und Validierung aufteilen.
2. Modell auf Training fitten.
3. Fehler auf Validierungsdaten berechnen.
4. Modellvariante mit bestem Validierungsfehler wählen.

Nachteil: Ergebnis hängt stark vom zufälligen Split ab, besonders bei kleinen Datensätzen.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 3


Supervised Learning

Question:
# Hold-out Bias
Warum kann Hold-out den späteren Fehler überschätzen?

Answer:
Das im Hold-out bewertete Modell wird nur auf einem Teil des Development-Sets trainiert. Das finale Modell kann später auf mehr Daten trainiert werden und dadurch besser sein.

Deshalb kann der Hold-out-Validierungsfehler pessimistisch wirken, besonders wenn zusätzliche Trainingsdaten stark helfen.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 3.4


Supervised Learning

Question:
# K-fold Cross-Validation
Wie funktioniert K-fold Cross-Validation?

Answer:
Die Daten werden in $K$ Folds geteilt. Für jeden Fold wird auf den übrigen $K-1$ Folds trainiert und auf dem gehaltenen Fold validiert. Die Fehler werden anschließend gemittelt.

Bei gleich großen Folds:

$$CV_K = \frac{1}{K}\sum_{k=1}^{K} Error_k$$

Zusammenfassung 50 Ch5 Resampling; Abschnitt 4.1-4.2


Supervised Learning

Question:
# Ungleich große Folds
Welche Prüfungsfalle gibt es beim Mitteln von Fold-Fehlern?

Answer:
Wenn Folds unterschiedlich groß sind, darf man die Fold-Fehler nicht blind ungewichtet mitteln. Große Folds müssen stärker zählen.

Korrekt ist eine Gewichtung nach Fold-Größe oder direkt die Mittelung über alle Validierungsbeobachtungen.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 4.2


Supervised Learning

Question:
# LOOCV
Was ist Leave-One-Out Cross-Validation?

Answer:
LOOCV ist K-fold Cross-Validation mit $K=n$. Jedes Mal wird genau eine Beobachtung validiert und auf den übrigen $n-1$ Beobachtungen trainiert.

Vorteil: nutzt fast alle Daten pro Training. Nachteil: kann teuer sein und hat oft hohe Varianz in der Fehlerschätzung.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 4.4


Supervised Learning

Question:
# Wahl von K
Warum sind $K=5$ oder $K=10$ häufig praktische Standardwerte?

Answer:
Sie balancieren Rechenaufwand, Bias und Varianz der Fehlerschätzung.

- Kleineres $K$: weniger Trainingsläufe, aber kleinere Trainingssets je Lauf.
- Größeres $K$: mehr Trainingsdaten pro Lauf, aber mehr Rechenaufwand und ggf. höhere Varianz.

$5$- oder $10$-fold CV ist oft ein pragmatischer Kompromiss.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 4.5


Supervised Learning

Question:
# Bootstrap
Wie wird eine Bootstrap-Stichprobe erzeugt?

Answer:
Aus einem Datensatz mit $n$ Beobachtungen werden $n$ Beobachtungen **mit Zurücklegen** gezogen. Manche Beobachtungen kommen mehrfach vor, andere gar nicht.

Bootstrap wird genutzt, um Stichprobenschwankung, Unsicherheit oder Modellstabilität abzuschätzen.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 5


Supervised Learning

Question:
# Out-of-Bag-Anteil
Warum fehlen bei Bootstrap im Mittel etwa 36,8 % der Beobachtungen?

Answer:
Für eine konkrete Beobachtung ist die Wahrscheinlichkeit, in einer Bootstrap-Ziehung nie gezogen zu werden:

$$(1-\frac{1}{n})^n \approx e^{-1} \approx 0.368$$

Diese nicht gezogenen Beobachtungen heißen Out-of-Bag und können zur internen Fehlerschätzung genutzt werden.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 5.3 und 10.3


Supervised Learning

Question:
# Datenleckage
Was ist falsch, wenn man vor Cross-Validation auf dem gesamten Datensatz skaliert und Features auswählt?

Answer:
Skalierung und Feature Selection lernen Informationen aus allen Daten, also auch aus späteren Validierungsfolds. Dadurch ist die CV-Schätzung optimistisch.

Korrekt: In jedem Fold müssen Skalierung, Imputation, Feature Selection, Tuning und Training nur auf dem Trainingsanteil gelernt und dann auf den Validierungsanteil angewendet werden.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 6


Supervised Learning

Question:
# Modell nach Resampling
Welches Modell nimmt man nach vielen Resampling-Läufen?

Answer:
Resampling dient zur Auswahl von Modellklasse und Hyperparametern. Danach trainiert man ein finales Modell mit den gewählten Einstellungen auf dem gesamten Development- bzw. Trainingsdatensatz.

Der finale Testdatensatz bleibt bis zur abschließenden Bewertung unberührt.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 7.1


Supervised Learning

Question:
# Unsicherheit des Testfehlers
Warum ist auch ein einmaliger Testfehler unsicher?

Answer:
Ein Testfehler ist eine Schätzung auf einer endlichen Stichprobe. Ein anderer Testdatensatz aus derselben Verteilung könnte einen anderen Fehler liefern.

Kleine Testsets, seltene Klassen oder starke Datenheterogenität erhöhen diese Unsicherheit.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 7.2


Supervised Learning

Question:
# Datenstruktur beim Split
Warum muss man Datenstruktur beim Train/Test-Split beachten?

Answer:
Nicht alle Beobachtungen sind unabhängig austauschbar. Zeitreihen, Gruppen, Personen, Sessions oder räumliche Cluster brauchen passende Splits.

Prüfungsfalle: Wenn fast identische oder zusammengehörige Beobachtungen in Train und Test landen, wird die Testleistung zu optimistisch.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 7.3


Supervised Learning

Question:
# K-fold-Rechenweg
Fünf gleich große Folds haben Fehler 0,22; 0,18; 0,25; 0,20; 0,15. Wie groß ist der CV-Fehler?

Answer:
Bei gleich großen Folds wird arithmetisch gemittelt:

$$CV=\frac{0.22+0.18+0.25+0.20+0.15}{5}=\frac{1.00}{5}=0.20$$

Der geschätzte Cross-Validation-Fehler beträgt also 0,20 bzw. 20 %.

Zusammenfassung 50 Ch5 Resampling; Abschnitt 10.1


Supervised Learning

Question:
# Regression Tree
Was ist die Grundidee eines Regressionsbaums?

Answer:
Ein Regressionsbaum teilt den Feature-Raum rekursiv in Regionen. In jeder Endregion bzw. jedem Blatt wird ein konstanter Wert vorhergesagt, meist der Mittelwert der Trainingslabels in diesem Blatt.

Dadurch entstehen achsenparallele, stückweise konstante Vorhersagen.

Zusammenfassung 60 Ch8 Trees; Abschnitt 2


Supervised Learning

Question:
# Baumbegriffe
Was bedeuten Root, interner Knoten, Blatt und Split?

Answer:
- **Root:** Startknoten des Baums.
- **Interner Knoten:** Knoten mit einer Entscheidungsregel.
- **Split:** Regel, die Daten in Teilmengen trennt, z. B. $X_j < s$.
- **Blatt:** Endknoten mit der finalen Vorhersage.

Zusammenfassung 60 Ch8 Trees; Abschnitt 2.3


Supervised Learning

Question:
# Baumvorhersage
Wie entsteht die Vorhersage in Regressions- und Klassifikationsbäumen?

Answer:
- **Regression:** Vorhersage im Blatt ist meist der Mittelwert der Zielwerte.
- **Klassifikation:** Vorhersage im Blatt ist meist die Mehrheitsklasse; Klassenwahrscheinlichkeiten können als relative Häufigkeiten im Blatt geschätzt werden.

Ein neuer Datenpunkt wird entlang der Split-Regeln bis zu einem Blatt geschickt.

Zusammenfassung 60 Ch8 Trees; Abschnitte 2.5 und 4.1


Supervised Learning

Question:
# RSS in Regressionsbäumen
Welches Kriterium wird bei Regressionsbaum-Splits typischerweise minimiert?

Answer:
Regressionsbäume minimieren typischerweise die Summe der quadratischen Abweichungen innerhalb der Blätter:

$$RSS = \sum_{m=1}^{M}\sum_{i:x_i\in R_m}(y_i-\hat y_{R_m})^2$$

$R_m$ ist Region bzw. Blatt $m$, $\hat y_{R_m}$ der Blattmittelwert.

Zusammenfassung 60 Ch8 Trees; Abschnitt 3.1


Supervised Learning

Question:
# Recursive Binary Splitting
Wie baut ein Entscheidungsbaum seine Splits auf?

Answer:
Recursive Binary Splitting sucht greedy nach dem Feature und Splitpunkt, der das Kriterium lokal am stärksten verbessert. Danach wird in den entstandenen Teilregionen weitergesplittet.

Prüfungsfalle: Greedy optimal bedeutet nicht global optimal für den gesamten Baum.

Zusammenfassung 60 Ch8 Trees; Abschnitt 3.2


Supervised Learning

Question:
# Pruning
Warum beschneidet man Entscheidungsbäume?

Answer:
Große Bäume können Trainingsdaten sehr genau anpassen, aber stark overfitten. Pruning begrenzt die Baumgröße bzw. entfernt wenig nützliche Splits.

Prüfungsfalle: Niedriger Trainings-RSS ist nicht automatisch besser. Die Baumgröße sollte mit Validierung oder Cross-Validation gewählt werden.

Zusammenfassung 60 Ch8 Trees; Abschnitt 3.4


Supervised Learning

Question:
# Gini und Entropy
Welche Splitkriterien nutzt man bei Klassifikationsbäumen?

Answer:
Wichtige Kriterien sind:

- Klassifikationsfehlerrate: $1-\max_k p_k$
- Gini-Index: $\sum_k p_k(1-p_k)$
- Cross-Entropy: $-\sum_k p_k\log(p_k)$

$p_k$ ist der Klassenanteil der Klasse $k$ im Knoten.

Zusammenfassung 60 Ch8 Trees; Abschnitt 4.3


Supervised Learning

Question:
# Fehlerrate vs. Gini
Warum ist die einfache Klassifikationsfehlerrate für Split-Auswahl oft zu grob?

Answer:
Die Fehlerrate betrachtet nur die Mehrheitsklasse. Zwei Knoten können dieselbe Fehlerrate haben, obwohl einer deutlich reinere Klassenanteile besitzt.

Gini und Cross-Entropy reagieren sensibler auf Reinheit und eignen sich deshalb oft besser zur Split-Auswahl.

Zusammenfassung 60 Ch8 Trees; Abschnitt 4.4


Supervised Learning

Question:
# Bäume vs. lineare Modelle
Wann können Bäume besser passen als lineare Modelle?

Answer:
Bäume passen gut zu nichtlinearen, intervallartigen oder regelbasierten Strukturen. Lineare Modelle passen besser zu ungefähr linearen Zusammenhängen und sind oft stabiler extrapolierbar.

Prüfungsfalle: Ein interpretierbarer Einzelbaum ist nicht automatisch genauer als ein lineares Modell.

Zusammenfassung 60 Ch8 Trees; Abschnitt 5


Supervised Learning

Question:
# Ensemble-Idee
Warum kann Mittelung mehrerer Modelle Varianz reduzieren?

Answer:
Wenn einzelne Modelle schwanken, kann ihr Durchschnitt stabiler sein. Zufällige Fehler einzelner Modelle gleichen sich teilweise aus.

Das funktioniert besonders gut, wenn die Einzelmodelle nicht perfekt korreliert sind. Deshalb versucht Random Forest, Bäume zusätzlich zu dekorrelieren.

Zusammenfassung 60 Ch8 Trees; Abschnitt 6 und 7.1


Supervised Learning

Question:
# Bagging
Wie funktionieren Bagging-Vorhersagen für Regression und Klassifikation?

Answer:
Bei Bagging werden viele Modelle auf Bootstrap-Stichproben trainiert.

- **Regression:** Durchschnitt der Baumvorhersagen.
- **Klassifikation:** Mehrheitsvotum oder Mittelung der Klassenwahrscheinlichkeiten.

Bagging reduziert vor allem Varianz.

Zusammenfassung 60 Ch8 Trees; Abschnitt 7


Supervised Learning

Question:
# OOB-Fehler
Was ist der Out-of-Bag-Fehler bei Bagging oder Random Forests?

Answer:
Für jeden Baum sind einige Trainingsbeobachtungen wegen Bootstrap nicht gezogen worden. Diese Out-of-Bag-Beobachtungen können für diesen Baum wie Validierungsdaten genutzt werden.

Der OOB-Fehler aggregiert solche Vorhersagen und liefert eine interne Fehlerschätzung.

Prüfungsfalle: OOB ersetzt keinen wirklich finalen externen Test.

Zusammenfassung 60 Ch8 Trees; Abschnitt 7.5


Supervised Learning

Question:
# Random Forest
Was unterscheidet Random Forest von einfachem Bagging?

Answer:
Random Forest nutzt Bagging plus zufällige Feature-Auswahl bei jedem Split. Statt alle Features zu prüfen, wird pro Split nur eine zufällige Teilmenge von $m$ Features betrachtet.

Das dekorreliert Bäume und kann die Ensembleleistung verbessern.

Zusammenfassung 60 Ch8 Trees; Abschnitt 8.1-8.2


Supervised Learning

Question:
# Feature-Auswahl bei Random Forest
Wann passiert die zufällige Feature-Auswahl im Random Forest?

Answer:
Die zufällige Feature-Auswahl passiert **bei jedem Split neu**, nicht nur einmal pro Baum.

Prüfungsfalle: Genau diese wiederholte zufällige Einschränkung hilft, dominante Features nicht in jedem Baum gleich zu nutzen und Bäume stärker zu dekorrelieren.

Zusammenfassung 60 Ch8 Trees; Abschnitt 8.2


Supervised Learning

Question:
# Feature Importance
Warum beweist hohe Feature Importance keine Kausalität?

Answer:
Feature Importance ist modell- und datenabhängig. Korrelierte Features können Wichtigkeit teilen oder sich gegenseitig verdrängen. Außerdem misst Importance Beitrag zur Vorhersage, nicht kausale Wirkung.

Prüfungsfalle: Wichtig für ein Modell heißt nicht automatisch ursächlich relevant.

Zusammenfassung 60 Ch8 Trees; Abschnitt 8.3


Supervised Learning

Question:
# Boosting
Wie unterscheidet sich Boosting von Bagging?

Answer:
Bagging trainiert viele Modelle weitgehend unabhängig auf Bootstrap-Stichproben. Boosting trainiert Modelle sequenziell, sodass neue Modelle Fehler des bisherigen Ensembles korrigieren.

Bei Regressionsbäumen werden neue Bäume typischerweise an aktuelle Residuen angepasst.

Zusammenfassung 60 Ch8 Trees; Abschnitt 9.1-9.2


Supervised Learning

Question:
# Boosting-Parameter
Welche Rolle spielen Lernrate, Baumtiefe und Anzahl Bäume beim Boosting?

Answer:
- **Lernrate:** wie stark jeder neue Baum das Ensemble verändert.
- **Anzahl Bäume:** wie viele Korrekturschritte gelernt werden.
- **Baumtiefe:** wie komplex einzelne Korrekturmodelle sind.

Prüfungsfalle: Mehr Bäume oder tiefere Bäume sind nicht automatisch besser. Validierung ist nötig.

Zusammenfassung 60 Ch8 Trees; Abschnitt 9.5-9.6


Supervised Learning

Question:
# Bagging, Random Forest, Boosting
Unterscheide die drei Ensemble-Methoden in einem Satz je Methode.

Answer:
- **Bagging:** viele Modelle auf Bootstrap-Stichproben, Vorhersagen mitteln oder abstimmen.
- **Random Forest:** Bagging plus zufällige Feature-Auswahl pro Split zur Dekorrelation.
- **Boosting:** sequentielle Modelle, die Fehler des bisherigen Ensembles korrigieren.

Zusammenfassung 60 Ch8 Trees; Abschnitt 12.4


Supervised Learning

Question:
# Künstliches Neuron
Wie ist ein künstliches Neuron aufgebaut?

Answer:
Ein künstliches Neuron bildet zuerst eine gewichtete Summe und wendet dann eine Aktivierungsfunktion an:

$$z = w^T x + b$$
$$a = g(z)$$

$w$ sind Gewichte, $b$ der Bias, $g$ die Aktivierungsfunktion und $a$ die Ausgabe des Neurons.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 3.1


Supervised Learning

Question:
# MLP, Layer, Tiefe
Was bedeuten Layer, MLP und Tiefe bei neuronalen Netzen?

Answer:
Ein Layer ist eine Schicht von Neuronen. Ein MLP ist ein feed-forward Netzwerk aus Eingabeschicht, einer oder mehreren Hidden Layers und Output Layer.

Die Tiefe meint die Anzahl lernender Schichten bzw. Hidden/Output-Schichten, je nach Konvention. Mehr Tiefe erhöht Ausdrucksstärke, aber auch Trainings- und Overfitting-Risiken.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 3.2


Supervised Learning

Question:
# ReLU
Warum ist ReLU eine häufige Aktivierungsfunktion für Hidden Layers?

Answer:
ReLU ist definiert als:

$$g(z)=\max(0,z)$$

Sie ist einfach zu berechnen, erzeugt Nichtlinearität und mildert im Vergleich zu Sigmoid/Tanh oft das Vanishing-Gradient-Problem für positive Aktivierungen.

Prüfungsfalle: ReLU kann tote Neuronen erzeugen, wenn Aktivierungen dauerhaft null bleiben.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 4.1


Supervised Learning

Question:
# Sigmoid und Tanh
Wann nutzt man Sigmoid oder Tanh und welche Grenze haben sie?

Answer:
Sigmoid bildet auf $(0,1)$ ab und passt gut zu binärer Output-Wahrscheinlichkeit. Tanh bildet auf $(-1,1)$ ab und ist zentriert.

Beide können bei großen Beträgen von $z$ saturieren. Dann werden Gradienten klein und Lernen kann langsam werden.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitte 4.2-4.3


Supervised Learning

Question:
# Softmax
Warum nutzt man Softmax bei mehreren exklusiven Klassen?

Answer:
Softmax wandelt mehrere Scores in gemeinsam normierte Klassenwahrscheinlichkeiten um:

$$p_k=\frac{e^{z_k}}{\sum_j e^{z_j}}$$

Alle Wahrscheinlichkeiten sind positiv und summieren sich zu 1.

Prüfungsfalle: Für mehrere exklusive Klassen sind unabhängige Sigmoid-Ausgaben meist nicht die Standardantwort.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 4.4


Supervised Learning

Question:
# Logistische Regression als Spezialfall
Inwiefern ist logistische Regression ein Spezialfall eines neuronalen Netzes?

Answer:
Ein einzelnes Neuron mit linearer Kombination $z=w^Tx+b$ und Sigmoid-Aktivierung liefert dieselbe Grundform wie binäre logistische Regression.

Neuronale Netze verallgemeinern diese Idee durch mehrere Neuronen, Hidden Layers und nichtlineare Transformationen.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 5


Supervised Learning

Question:
# Forward Pass
Was passiert in einem Forward Pass?

Answer:
Im Forward Pass werden Eingaben schichtweise durch das Netz gerechnet:

$$z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}$$
$$a^{(l)} = g(z^{(l)})$$

Am Ende entsteht die Modellvorhersage, z. B. ein numerischer Wert oder Klassenwahrscheinlichkeiten.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 6


Supervised Learning

Question:
# Matrixdimensionen
Welche Prüfungsfalle gibt es bei der Matrixform eines Layers?

Answer:
Die Orientierung von Daten, Gewichten und Bias ist Konvention. Wichtig ist Konsistenz: Dimensionen müssen zur Multiplikation passen, und Bias muss korrekt auf Beobachtungen bzw. Units angewendet werden.

Prüfungsfalle: Eine formal ähnliche Formel kann falsch sein, wenn Shapes nicht stimmen.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 6.2


Supervised Learning

Question:
# Computation Graph
Wozu dient ein Computation Graph?

Answer:
Ein Computation Graph zerlegt eine Modellrechnung in elementare Operationen. Dadurch kann man Vorwärtsrechnung und Gradientenberechnung systematisch darstellen.

Für Backpropagation ist er nützlich, weil Gradienten über die Kettenregel rückwärts durch den Graphen propagiert werden.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 7


Supervised Learning

Question:
# Loss-Funktionen
Welche Loss-Funktionen passen zu Regression und Klassifikation?

Answer:
Typische Zuordnung:

- **Regression:** Mean Squared Error oder RMSE-orientierte Ziele.
- **Binäre Klassifikation:** Binary Cross-Entropy bzw. Log-Loss.
- **Mehrklassen-Klassifikation:** Categorical oder Sparse Categorical Cross-Entropy mit Softmax.

Prüfungsfalle: Output-Aktivierung und Loss müssen zusammenpassen.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 8.2


Supervised Learning

Question:
# Backpropagation
Was ist die Kernidee von Backpropagation?

Answer:
Backpropagation berechnet Gradienten der Loss-Funktion bezüglich der Modellparameter effizient rückwärts durch das Netzwerk.

Dabei wird die Kettenregel genutzt: Der Fehlergradient am Output wird Schicht für Schicht auf Gewichte und Biases zurückgeführt. Optimierer wie Gradient Descent nutzen diese Gradienten für Updates.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 8.3


Supervised Learning

Question:
# Parameterzahl Dense Layer
Wie berechnest du die Parameterzahl eines Dense Layers?

Answer:
Für einen Dense Layer mit $d_{in}$ Eingängen und $d_{out}$ Neuronen gilt:

$$\text{Parameter}=d_{in}\cdot d_{out}+d_{out}$$

Der erste Term sind Gewichte, der zweite Term sind Biases.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 11 Aufgabe 4


Supervised Learning

Question:
# Architekturentscheidungen
Welche Architektur-Hyperparameter eines neuronalen Netzes sind klausurrelevant?

Answer:
Wichtige Hyperparameter sind Anzahl Hidden Layers, Neuronen pro Layer, Aktivierungsfunktionen, Output-Aktivierung, Loss-Funktion, Optimierer, Lernrate, Batch Size und Epochen.

Prüfungsfalle: Mehr Layer oder Neuronen erhöhen Kapazität, aber nicht automatisch Testleistung.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 8.4


Supervised Learning

Question:
# Keras Sequential
Was beschreibt ein Keras-Sequential-Modell konzeptionell?

Answer:
Ein `Sequential`-Modell beschreibt einen linearen Stapel von Schichten. Die Ausgabe einer Schicht wird direkt zur Eingabe der nächsten Schicht.

Das passt zu einfachen MLPs und kann als Computation Graph mit einer klaren Vorwärtsrichtung verstanden werden.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 9.1


Supervised Learning

Question:
# Palmer-Penguins-Lab
Was ist das Ziel des Palmer-Penguins-Labs?

Answer:
Aus numerischen Merkmalen wie Schnabellänge, Schnabeltiefe, Flossenlänge und Körpergewicht soll die Pinguin-Spezies klassifiziert werden.

Das Lab zeigt einen typischen Workflow: Daten laden, fehlende Werte entfernen, Features/Label trennen, Labels codieren, Modell definieren, trainieren und evaluieren.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 10.1-10.3


Supervised Learning

Question:
# Vorverarbeitung im NN-Lab
Welche Datenleckage-Falle gibt es bei Vorverarbeitung vor Validierung?

Answer:
Vorverarbeitung darf nicht auf zukünftige Validierungs- oder Testdaten schauen. Skalierung, Imputation und Feature Selection müssen im jeweiligen Trainingsfold gelernt werden.

Im Lab ist Label-Encoding über alle Labels meist weniger kritisch, aber bei Feature-Transformationen wäre das ein echtes Leakage-Problem.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 10.3


Supervised Learning

Question:
# NN-Validierung
Warum reicht Training auf allen Daten nicht als Gütenachweis?

Answer:
Wenn ein Netz auf allen Daten trainiert und anschließend auf denselben Daten bewertet wird, misst man vor allem Anpassung an bekannte Daten. Das sagt wenig über Generalisierung.

Für eine Güteaussage braucht man Validierungs- oder Testdaten bzw. Cross-Validation.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 10.5-10.6


Supervised Learning

Question:
# Deep Learning Grenzen
Warum ist die Aussage 'Deep Learning ist immer besser' falsch?

Answer:
Deep Learning braucht ausreichend Daten, passende Architektur, geeignete Loss-Funktion, sinnvolle Vorverarbeitung, Regularisierung, Validierung und Fehleranalyse.

Bei kleinen tabellarischen Daten können lineare Modelle, Bäume, Random Forests oder Boosting oft stabiler, schneller und interpretierbarer sein.

Zusammenfassung 80 Ch10 Neural Networks; Abschnitt 2.3