Unsupervised Learning

Question:
# Grundidee
Was ist der Kern von Unsupervised Learning?

Answer:
Unsupervised Learning sucht Muster in Daten ohne explizite Labels.

Kernfrage: Welche Struktur steckt in den Eingaben $x$, wenn kein Zielsignal $\tilde y$ vorhanden ist?

Typische Ziele:

- Pattern finden: Gruppen, Dichten, Nachbarschaften
- Pattern repraesentieren: Embeddings, latente Faktoren, Dimensionsreduktion
- Pattern nutzen: Transfer, OOD-Erkennung, Self-Supervised Learning

Pruefungsfalle: Ohne Labels heisst nicht ohne Annahmen. Metrik, Skalierung und Modellklasse definieren, was als Muster zaehlt.

Zusammenfassung Abschnitt 1; Skript Seiten 13-15


Unsupervised Learning

Question:
# Kein Label, kein direkter Fehler
Warum fehlt im Unsupervised Learning ein direkter Trainingsfehler gegen ein Ziel?

Answer:
Im Supervised Learning vergleicht man eine Vorhersage $\hat y$ mit einem beobachteten Ziel $\tilde y$ und optimiert z. B.

$$\theta \leftarrow \theta - \eta \nabla_\theta L(\hat y, \tilde y).$$

Im Unsupervised Learning gibt es dieses externe Zielsignal nicht. Das Modell muss daher Struktur aus den Eingaben selbst ableiten, z. B. ueber Distanzen, Rekonstruktion, Dichte, Vorhersage maskierter Teile oder Rewards.

Zusammenfassung Abschnitt 1; Skript Seiten 13-14


Unsupervised Learning

Question:
# Pattern-Kette
Welche drei Fragen strukturieren das Skript zu Unsupervised Learning?

Answer:
Die Stofflogik ist:

1. **Pattern finden:** Welche Punkte sind aehnlich? Welche Gruppen oder Dichten gibt es?
2. **Pattern repraesentieren:** Welche Koordinaten, Embeddings oder latenten Faktoren tragen die Information?
3. **Pattern nutzen:** Wie verwendet man gelernte Repraesentationen fuer Transfer, Unsicherheit, Weak Supervision oder interaktive Lernsignale?

Diese Kette hilft in Klausurantworten, Methoden nicht isoliert, sondern nach ihrem Zweck einzuordnen.

Zusammenfassung Abschnitt 1; Skript Inhaltsverzeichnis Seiten 5-6


Unsupervised Learning

Question:
# Feature Space
Was bedeutet Feature Space im Kontext von Clustering?

Answer:
Ein Datenpunkt ist ein Vektor im Feature Space:

$$x_i = (x_i^{(1)}, x_i^{(2)}, \dots, x_i^{(d)}).$$

Jedes Feature ist eine Dimension. Clustering-Algorithmen treffen Aussagen ueber Abstaende, Nachbarschaften oder Dichten in diesem Raum.

Pruefungsfalle: Der Feature Space ist nicht neutral. Feature-Auswahl, Skalierung und Metrik veraendern die Geometrie und damit das gefundene Muster.

Zusammenfassung Abschnitt 2.1; Skript Seiten 14-16


Unsupervised Learning

Question:
# Distanzmetrik
Welche vier Eigenschaften muss eine echte Distanzmetrik erfuellen?

Answer:
Eine Distanzfunktion $d:X\times X\to \mathbb{R}_{\ge 0}$ muss erfuellen:

1. **Nichtnegativitaet:** $d(x,y)\ge 0$
2. **Identitaet:** $d(x,y)=0 \Leftrightarrow x=y$
3. **Symmetrie:** $d(x,y)=d(y,x)$
4. **Dreiecksungleichung:** $d(x,z)\le d(x,y)+d(y,z)$

Diese Eigenschaften machen Distanz als formale Aehnlichkeit interpretierbar.

Zusammenfassung Abschnitt 2.2; Skript Seite 16


Unsupervised Learning

Question:
# Euclidean vs. Manhattan
Wie unterscheiden sich Euclidean Distance und Manhattan Distance?

Answer:
**Euclidean Distance** misst den Luftlinienabstand:

$$d_E(x,y)=\sqrt{\sum_{i=1}^d (x_i-y_i)^2}.$$

**Manhattan Distance** misst achsengebundene Wege:

$$d_1(x,y)=\sum_{i=1}^d |x_i-y_i|.$$

Euclidean passt zu glatten kontinuierlichen Raeumen, Manhattan zu Grid-/Taxicab-Geometrien. Beide sind skalenempfindlich.

Zusammenfassung Abschnitt 2.3; Skript Seiten 16-18


Unsupervised Learning

Question:
# Rechenmuster Distanz
Berechne fuer $A=(3,1)$ und $B=(6,8)$ die Euclidean und Manhattan Distance.

Answer:
Differenzen: $(6-3, 8-1)=(3,7)$.

Euclidean:

$$d_E(A,B)=\sqrt{3^2+7^2}=\sqrt{58}\approx 7.62.$$

Manhattan:

$$d_1(A,B)=|3|+|7|=10.$$

Interpretation: Dieselben Punkte bekommen je nach Metrik unterschiedliche Abstaende, weil die Metrik unterschiedliche Annahmen ueber Aehnlichkeit codiert.

Zusammenfassung Abschnitt 2.3; Skript Seiten 17-20


Unsupervised Learning

Question:
# Cosine Similarity
Wann ist Cosine Similarity sinnvoll und was ignoriert sie?

Answer:
Cosine Similarity misst den Winkel bzw. die Richtung zweier Vektoren:

$$\cos(x,y)=\frac{x^T y}{\lVert x\rVert_2\lVert y\rVert_2}.$$

Sinnvoll, wenn Richtung wichtiger ist als Betrag, z. B. bei Text-Embeddings oder Profilvektoren.

Pruefungsfalle: Cosine ignoriert die Intensitaet. Zwei Vektoren mit gleicher Richtung wirken sehr aehnlich, auch wenn einer viel groesser ist.

Zusammenfassung Abschnitt 2.3; Skript Seiten 18-19


Unsupervised Learning

Question:
# Mahalanobis Distance
Was beruecksichtigt die Mahalanobis Distance zusaetzlich zur Euclidean Distance?

Answer:
Mahalanobis Distance beruecksichtigt Varianzen und Korrelationen der Features:

$$d_{Mah}(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}.$$

$\Sigma$ ist die Kovarianzmatrix. Richtungen mit hoher Varianz werden relativ abgeschwaecht, korrelierte Features werden nicht doppelt gezaehlt.

Praktischer Hinweis: Numerisch nicht blind $\Sigma^{-1}$ explizit invertieren, sondern ein lineares System loesen.

Zusammenfassung Abschnitt 2.3; Skript Seiten 19-20


Unsupervised Learning

Question:
# Skalierung
Warum ist Standardisierung vor Distanzverfahren oft notwendig?

Answer:
Standardisierung setzt jedes Feature auf Mittelwert 0 und Standardabweichung 1:

$$z_i=\frac{x_i-\mu_i}{\sigma_i}.$$

Ohne Skalierung dominiert ein Feature mit grossem Zahlenbereich die Distanz, auch wenn es fachlich nicht wichtiger ist.

Pruefungsfalle: Skalierung ist keine kosmetische Vorverarbeitung. Sie veraendert die Geometrie, in der K-Means, DBSCAN, PCA und Nachbarschaften arbeiten.

Zusammenfassung Abschnitt 2.4; Skript Seiten 20-26


Unsupervised Learning

Question:
# Skalierungsarten
Wann nutzt man Z-Score, Min-Max oder robuste Skalierung?

Answer:
| Transformation | Einsatz | Risiko |
|---|---|---|
| Z-Score | Distanzverfahren mit vergleichbaren Features | Ausreisser beeinflussen Mittelwert und Standardabweichung |
| Min-Max | Werte in festem Bereich, z. B. $[0,1]$ | Extremwerte verzerren alles |
| Robuste Skalierung | Ausreisserreiche Daten | Interpretation aendert sich |

Klausurpunkt: Immer begruenden, welche Skalierung zur Datenverteilung passt.

Zusammenfassung Abschnitt 2.4; Skript Seiten 20-26


Unsupervised Learning

Question:
# K-Means Partition
Was bedeutet harte Partition bei K-Means?

Answer:
K-Means erzeugt eine harte Partition:

- Jeder Punkt gehoert genau zu einem Cluster.
- Cluster ueberlappen nicht.
- Kein Cluster ist leer.

Formal:

$$C_j\cap C_k=\emptyset\quad (j\ne k),\qquad \bigcup_{k=1}^K C_k = \{x_1,\dots,x_n\}.$$

Pruefungsfalle: K-Means kann nicht abstain. Auch Ausreisser werden einem Cluster zugeordnet.

Zusammenfassung Abschnitt 3.1; Skript Seiten 27-29


Unsupervised Learning

Question:
# K-Means Zielfunktion
Was minimiert K-Means?

Answer:
K-Means minimiert die Within-Cluster Sum of Squares, auch Inertia genannt:

$$J=\sum_{k=1}^K\sum_{x_i\in C_k}\lVert x_i-\mu_k\rVert_2^2.$$

Der Centroid ist der Mittelwert des Clusters:

$$\mu_k=\frac{1}{|C_k|}\sum_{x_i\in C_k}x_i.$$

Interpretation: Gute Cluster sind nach dieser Definition kompakt um ihren Mittelwert.

Zusammenfassung Abschnitt 3.1; Skript Seiten 29-31


Unsupervised Learning

Question:
# K-Means Algorithmus
Welche Schritte wiederholt K-Means?

Answer:
K-Means alterniert zwei Schritte:

1. **Assignment:** Jeder Punkt geht zum naechsten Centroid.
   $$c_i \leftarrow \arg\min_k \lVert x_i-\mu_k\rVert^2$$
2. **Update:** Jeder Centroid wird zum Mittelwert seiner Punkte.
   $$\mu_k \leftarrow \frac{1}{|C_k|}\sum_{x_i\in C_k}x_i$$

Stopp: Assignments oder Centroids aendern sich nicht mehr. Das ist Konvergenz, aber nicht automatisch das globale Optimum.

Zusammenfassung Abschnitt 3.2; Skript Seiten 29-31


Unsupervised Learning

Question:
# Konvergenz
Warum konvergiert K-Means, aber nicht zwingend global optimal?

Answer:
Jeder Assignment- und Update-Schritt erhoeht die Inertia nicht; die Zielfunktion faellt monoton oder bleibt gleich. Weil es nur endlich viele harte Partitionen gibt, terminiert der Algorithmus.

Aber: Die Zielfunktion ist nicht konvex in Assignments und Centroids gemeinsam. K-Means kann in einem lokalen Optimum landen, das stark von den Start-Centroids abhaengt.

Zusammenfassung Abschnitt 3.2; Skript Seiten 29-32


Unsupervised Learning

Question:
# K-Means++
Wozu dienen mehrere Restarts und K-Means++?

Answer:
K-Means ist startwertsensitiv.

- **Mehrere Restarts:** Algorithmus mit verschiedenen Seeds laufen lassen und Loesung mit niedrigster Inertia behalten.
- **K-Means++:** Start-Centroids werden bewusst weit auseinander gewaehlt. Punkte mit grossem Abstand zu vorhandenen Centroids haben hoehere Auswahlwahrscheinlichkeit.

Beides reduziert schlechte lokale Optima, garantiert aber weiterhin kein globales Optimum.

Zusammenfassung Abschnitt 3.3; Skript Seiten 31-32


Unsupervised Learning

Question:
# Elbow Method
Wie funktioniert die Elbow Method bei K-Means?

Answer:
Man berechnet die beste Inertia fuer mehrere Werte von $K$ und plottet $J(K)$.

Gesucht ist der Knick: Ab diesem $K$ senken zusaetzliche Cluster die Inertia nur noch wenig.

Pruefungsfalle: Der Elbow ist eine Heuristik. Bei ueberlappenden oder hierarchischen Daten kann es keinen klaren Knick geben, oder mehrere sinnvolle Skalen koennen gleichzeitig existieren.

Zusammenfassung Abschnitt 3.3; Skript Seiten 32-38


Unsupervised Learning

Question:
# Silhouette Score
Was misst der Silhouette Score?

Answer:
Der Silhouette Score vergleicht Naehe zum eigenen Cluster mit Naehe zum naechsten Fremdcluster:

$$s(i)=\frac{b(i)-a(i)}{\max(a(i),b(i))}.$$

- $a(i)$: mittlere Distanz von $x_i$ zu Punkten im eigenen Cluster
- $b(i)$: mittlere Distanz zum naechsten anderen Cluster
- $s(i)\in[-1,1]$

Nahe 1: gut zugeordnet. Nahe 0: Grenze/unklar. Negativ: wahrscheinlich falscher Cluster.

Zusammenfassung Abschnitt 3.3; Skript Seiten 33-37


Unsupervised Learning

Question:
# K-Means Rechenaufgabe
Gegeben $x_1=(1,1)$, $x_2=(3,1)$, $x_3=(8,7)$ und nach Update $\mu_1=(2,1)$, $\mu_2=(8,7)$. Berechne die Inertia.

Answer:
Cluster $C_1=\{(1,1),(3,1)\}$ und $C_2=\{(8,7)\}$.

$$J=\lVert(1,1)-(2,1)\rVert^2+\lVert(3,1)-(2,1)\rVert^2+\lVert(8,7)-(8,7)\rVert^2.$$

$$J=1+1+0=2.$$

Pruefungsfalle: Bei $K=3$ und drei Punkten waere $J=0$, aber das ist nur triviales Overfitting der Clusteranzahl.

Zusammenfassung Abschnitt 3.3; Skript Seiten 34-37


Unsupervised Learning

Question:
# K-Means Failure Modes
Bei welchen Datenformen scheitert K-Means typischerweise und warum?

Answer:
K-Means scheitert, wenn Distanz zum Mittelwert keine gute Mitgliedschaftsdefinition ist:

- Ringe / nicht-konvexe Formen: Centroid liegt im leeren Zentrum.
- Elongierte Cluster: Kugelform-Bias schneidet langgezogene Gruppen.
- Unterschiedliche Groessen oder Dichten: Grenzen werden durch Mittelwerte verzerrt.
- Ausreisser: Mittelwert wird stark gezogen.

Alternativen: DBSCAN/HDBSCAN, hierarchische Verfahren, K-Medoids, bessere Features oder Skalierung.

Zusammenfassung Abschnitt 3.4; Skript Seiten 38-40


Unsupervised Learning

Question:
# K-Means vor Anwendung
Welche drei Schritte solltest du vor K-Means auf einem neuen Datensatz pruefen?

Answer:
1. **Features und Skalierung pruefen:** Sind Distanzen sinnvoll und fair?
2. **Mehrere $K$ testen:** Elbow und Silhouette statt einzelnes geratenes $K$.
3. **Mehrere Initialisierungen laufen lassen:** K-Means++ und Restarts nutzen.

Zusaetzlich: Ausreisser ansehen und nach nicht-konvexen Formen suchen. K-Means ist nicht die Default-Antwort fuer jede Punktwolke.


Unsupervised Learning

Question:
# Hierarchical Clustering Motivation
Welches Problem von K-Means loest Hierarchical Clustering?

Answer:
K-Means erzwingt genau eine Clusteranzahl $K$. Viele Datensaetze haben aber Struktur auf mehreren Skalen: grobe Gruppen, Untergruppen, feinere Muster.

Hierarchical Clustering baut eine ganze Hierarchie von $K=n$ bis $K=1$ und speichert sie als Dendrogramm.

Klausurformulierung: Nicht nur wie viele Cluster, sondern welche Abstraktionsebene brauche ich?

Zusammenfassung Abschnitt 4.1; Skript Seiten 41-42


Unsupervised Learning

Question:
# Dendrogramm
Wie liest man ein Dendrogramm?

Answer:
Ein Dendrogramm ist ein binaerer Baum:

- Blaetter: einzelne Datenpunkte
- innere Knoten: Merges zweier Cluster
- Merge-Hoehe: Distanz bzw. Linkage-Wert beim Zusammenfuehren

Ein horizontaler Schnitt bei einer Hoehe liefert eine flache Partition.

Pruefungsfalle: Blattnachbarschaft im gezeichneten Baum ist keine Distanzgarantie. Entscheidend sind Merge-Hoehen und Schnittlinie.

Zusammenfassung Abschnitt 4.1; Skript Seiten 42-44


Unsupervised Learning

Question:
# Agglomerativer Algorithmus
Wie funktioniert agglomeratives hierarchisches Clustering?

Answer:
Ablauf:

1. Starte mit $n$ Singleton-Clustern $C_i=\{x_i\}$.
2. Berechne paarweise Distanzmatrix.
3. Merge die zwei naechsten aktiven Cluster.
4. Aktualisiere Cluster-Distanzen mit einem Linkage-Kriterium.
5. Wiederhole bis ein Cluster uebrig bleibt.

Es entstehen genau $n-1$ Merges. Ohne Distanz-Ties ist das Ergebnis deterministisch.

Zusammenfassung Abschnitt 4.2; Skript Seiten 44-46


Unsupervised Learning

Question:
# Linkage-Kriterien
Wie unterscheiden sich single, complete und average linkage?

Answer:
Fuer Cluster $A$ und $B$:

- **Single linkage:** $\min_{a\in A,b\in B} d(a,b)$, findet lange Formen, aber chaining-anfaellig.
- **Complete linkage:** $\max_{a\in A,b\in B} d(a,b)$, bevorzugt kompakte Cluster, kann elongated Cluster zerbrechen.
- **Average linkage:** mittlere Paar-Distanz, Kompromiss zwischen single und complete.

Linkage definiert, was nahe Cluster ueberhaupt bedeutet.

Zusammenfassung Abschnitt 4.3; Skript Seiten 47-56


Unsupervised Learning

Question:
# Ward Linkage
Was misst Ward Linkage?

Answer:
Ward Linkage misst den Zuwachs an Within-Cluster-Varianz beim Merge:

$$D_{Ward}(A,B)=\frac{n_A n_B}{n_A+n_B}\lVert \mu_A-\mu_B\rVert^2.$$

Ward bevorzugt kompakte, varianzschwache Cluster und ist K-Means-aehnlich.

Pruefungsfalle: Ward-Werte sind Varianzzuwachs, nicht direkt dieselbe Groesse wie Single-Linkage-Distanzen.

Zusammenfassung Abschnitt 4.3; Skript Seiten 49-56


Unsupervised Learning

Question:
# Linkage-Zahlen
Warum darf man Linkage-Hoehen unterschiedlicher Verfahren nicht blind vergleichen?

Answer:
Unterschiedliche Linkages messen unterschiedliche Groessen:

- Single: kleinste Paar-Distanz
- Complete: groesste Paar-Distanz
- Average: mittlere Paar-Distanz
- Ward: Varianzzuwachs

Daher bedeutet Hoehe 5 je nach Linkage nicht dasselbe. Vergleiche Linkage-Verfahren nach resultierender Struktur und Failure Mode, nicht nach rohen Zahlen.

Zusammenfassung Abschnitt 4.3; Skript Seiten 49-56


Unsupervised Learning

Question:
# K-Auswahl im Dendrogramm
Wie waehlt man eine Clusteranzahl aus einem Dendrogramm?

Answer:
Man sucht grosse Spruenge zwischen Merge-Hoehen. Ein horizontaler Schnitt in einem solchen Hoehenbereich trennt Cluster, bevor sehr unterschiedliche Teilbaeume zusammengefuehrt werden.

Das ist das Dendrogramm-Analogon zum Elbow.

Pruefungsfalle: Ein Dendrogramm zeigt mehrere sinnvolle Skalen. Es gibt nicht immer genau ein natuerliches $K$.

Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58


Unsupervised Learning

Question:
# Irreversibilitaet
Warum sind fruehe Fehler bei hierarchischem Clustering besonders kritisch?

Answer:
Agglomeratives Clustering merged Cluster bottom-up. Ein einmal gemachter Merge wird nicht spaeter korrigiert.

K-Means kann Punkte in spaeteren Iterationen neu zuordnen. Ein Dendrogramm dagegen konserviert fruehe Merges.

Klausurmerksatz: Hierarchical Clustering gewinnt Multi-Skalen-Struktur, verliert aber Korrekturmoeglichkeit.

Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58


Unsupervised Learning

Question:
# Skalierung Hierarchical
Was ist der zentrale Skalierungsnachteil von hierarchischem Clustering?

Answer:
Die paarweise Distanzmatrix braucht $O(n^2)$ Speicher. Auch der Merge-Prozess ist fuer grosse $n$ teuer.

Beispiel: Fuer $n=50{,}000$ braucht eine vollstaendige 64-bit-Distanzmatrix grob 9.3 GB nur fuer Distanzen.

Folge: Fuer sehr grosse Datensaetze braucht man Approximationen, Sampling oder speziell skalierende Varianten.

Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58


Unsupervised Learning

Question:
# DBSCAN Idee
Was ist die Grundidee von DBSCAN?

Answer:
DBSCAN definiert Cluster ueber lokale Dichte statt ueber Mittelwerte oder eine feste Clusteranzahl.

Vorteile:

- findet nicht-konvexe Formen
- gibt Rauschen/Ausreisser als Noise aus
- bestimmt $K$ aus den Daten

Zwei Parameter steuern das Verfahren: Radius $\epsilon$ und Mindestpunktzahl $n_{min}$.

Zusammenfassung Abschnitt 5.1; Skript Seiten 59-61


Unsupervised Learning

Question:
# DBSCAN Nachbarschaft
Wie ist die $\epsilon$-Nachbarschaft definiert?

Answer:
Fuer einen Punkt $p$ ist die $\epsilon$-Nachbarschaft:

$$N_\epsilon(p)=\{q\in X : d(p,q)\le \epsilon\}.$$

Sie enthaelt den Punkt selbst.

$\epsilon$ bestimmt die lokale Skala: zu klein fuehrt zu vielen Noise-Punkten, zu gross verschmilzt getrennte Strukturen.

Zusammenfassung Abschnitt 5.1; Skript Seiten 61-62


Unsupervised Learning

Question:
# Core, Border, Noise
Wie klassifiziert DBSCAN Punkte als Core, Border oder Noise?

Answer:
Bei Parametern $(\epsilon,n_{min})$:

- **Core point $p_c$:** $|N_\epsilon(p)|\ge n_{min}$
- **Border point $p_b$:** kein Core point, aber in der $\epsilon$-Nachbarschaft eines Core points
- **Noise point $p_n$:** weder Core noch Border

Pruefungsfalle: $n_{min}$ zaehlt den Punkt selbst mit.

Zusammenfassung Abschnitt 5.1; Skript Seiten 61-62


Unsupervised Learning

Question:
# Density Reachability
Warum ist density reachability in DBSCAN nicht symmetrisch?

Answer:
Ein Border point kann von einem Core point erreicht werden, wenn er in dessen $\epsilon$-Nachbarschaft liegt.

Umgekehrt kann der Border point den Core point aber nicht weiter erreichen lassen, weil Cluster-Expansion nur von Core points ausgeht.

Folge: Border-Point-Zuordnung kann bei Konflikten von Besuchsreihenfolge abhaengen, waehrend die Punktklasse Core/Border/Noise fest durch die Nachbarschaftsgroesse bestimmt ist.

Zusammenfassung Abschnitt 5.2; Skript Seiten 61-63


Unsupervised Learning

Question:
# DBSCAN Ablauf
Wie laeuft DBSCAN algorithmisch ab?

Answer:
1. Waehle einen unvisited Punkt.
2. Berechne $N_\epsilon(p)$.
3. Falls $|N|<n_{min}$: vorlaeufig Noise.
4. Falls Core: neues Cluster starten.
5. Expandiere ueber alle erreichbaren Core points und nimm Border points auf.
6. Wiederhole bis alle Punkte besucht sind.

Naiv kostet jede Nachbarschaftsabfrage $O(n)$, insgesamt $O(n^2)$; Raumindizes helfen in niedrigen Dimensionen.

Zusammenfassung Abschnitt 5.2; Skript Seiten 62-64


Unsupervised Learning

Question:
# DBSCAN Parameterwahl
Wie waehlt man $n_{min}$ und $\epsilon$?

Answer:
Daumenregeln:

- $n_{min}>d+1$, in 2D oft 3 oder 4.
- $\epsilon$ ueber den $k$-Distance-Plot mit $k=n_{min}-1$.

Man sortiert die $k$-NN-Distanzen:

$$d_k^{(1)}\le d_k^{(2)}\le \dots \le d_k^{(n)}.$$

Der Elbow markiert den Uebergang von dichten Regionen zu Rauschen und ist ein Kandidat fuer $\epsilon$.

Zusammenfassung Abschnitt 5.3; Skript Seiten 65-66


Unsupervised Learning

Question:
# Kein k-Distance-Elbow
Was bedeutet ein k-Distance-Plot ohne klaren Elbow?

Answer:
Ein fehlender Elbow bedeutet meist: Es gibt keine klare globale Dichteskala.

Konsequenzen:

- Ein einzelnes $\epsilon$ ist wahrscheinlich ungeeignet.
- DBSCAN wird entweder Cluster zerreissen oder Dichten verschmelzen.
- Naheliegende Alternativen: Parameter-Sweep, OPTICS oder HDBSCAN.

Klausurpunkt: Nicht trotzdem irgendeinen Radius als objektiv verkaufen.

Zusammenfassung Abschnitt 5.3; Skript Seiten 65-66


Unsupervised Learning

Question:
# DBSCAN Trace
Bei den sieben Punkten $x_1=(1,2)$, $x_2=(2,3)$, $x_3=(3,1)$, $x_4=(6,8)$, $x_5=(8,7)$, $x_6=(8,9)$, $x_7=(4,5)$ mit $\epsilon=2.5$, $n_{min}=2$: Was findet DBSCAN?

Answer:
Ergebnis:

- $C_1=\{x_1,x_2,x_3\}$
- $C_2=\{x_4,x_5,x_6\}$
- $x_7$ ist Noise

Grund: Die ersten zwei Dreiergruppen haben jeweils Nachbarn innerhalb $\epsilon=2.5$. $x_7$ hat keinen Nachbarn innerhalb dieses Radius, also $N_{2.5}(x_7)=\{x_7\}$ und $|N|=1<2$.

Klausurvergleich: K-Means muesste $x_7$ zwangsweise einem Cluster zuordnen.

Zusammenfassung Abschnitt 5.2; Skript Seiten 69-71


Unsupervised Learning

Question:
# DBSCAN vs K-Means Noise
Warum ist DBSCANs Noise-Label bei Ausreissern informativer als K-Means?

Answer:
K-Means erzeugt eine harte Partition und muss jeden Punkt einem Cluster zuweisen.

DBSCAN darf sagen: Dieser Punkt liegt in keiner dichten Region und wird als $p_n$ markiert.

Das ist informativer, wenn die fachliche Bedeutung gerade ist, dass der Punkt nicht zu einer Gruppe gehoert. Eine erzwungene K-Means-Zuordnung kann dann mathematisch moeglich, aber inhaltlich irrefuehrend sein.

Zusammenfassung Abschnitt 5.2; Skript Seiten 69-72


Unsupervised Learning

Question:
# DBSCAN Failure Modes
Welche typischen Failure Modes hat DBSCAN?

Answer:
DBSCAN scheitert haeufig bei:

- **Varying density:** Ein globales $\epsilon$ passt nicht fuer dichte und sparse Cluster zugleich.
- **Bridging:** Ketten von Core points verbinden eigentlich getrennte Cluster.
- **High dimensionality:** Distanzen konzentrieren sich; Nachbarschaften werden leer oder bedeutungslos.

Abhilfe: Sensitivitaetsanalyse, bessere Features, Dimensionsreduktion, OPTICS oder HDBSCAN.

Zusammenfassung Abschnitt 5.4; Skript Seiten 66-68


Unsupervised Learning

Question:
# OPTICS
Was veraendert OPTICS gegenueber DBSCAN?

Answer:
OPTICS ersetzt die feste globale Dichteentscheidung durch eine Ordnung und Reachability-Distanzen ueber mehrere Dichteskalen.

Wichtige Begriffe:

- Core distance $\epsilon_c(x_i)$: kleinster Radius, der mindestens $n_{min}$ Nachbarn enthaelt.
- Reachability distance: Kosten, mit denen ein Core point einen anderen Punkt erreicht.

Ergebnis ist ein Reachability-Plot, aus dem Cluster verschiedener Dichteskalen sichtbar werden.

Zusammenfassung Abschnitt 5.4; Skript Seiten 66-67


Unsupervised Learning

Question:
# HDBSCAN
Was ist die mutual reachability distance in HDBSCAN?

Answer:
HDBSCAN nutzt lokale Core-Distanzen statt eines globalen $\epsilon$:

$$\epsilon_c(x_i)=\min\{r: |N_r(x_i)|\ge n_{min}\}.$$

Die mutual reachability distance ist:

$$d_{mreach}(x_i,x_j)=\max\{\epsilon_c(x_i),\epsilon_c(x_j),d(x_i,x_j)\}.$$

Sparse Punkte werden kuenstlich weiter auseinandergezogen. Danach baut HDBSCAN eine Dichtehierarchie und bevorzugt stabile Cluster.

Zusammenfassung Abschnitt 5.4; Skript Seiten 67-68


Unsupervised Learning

Question:
# Curse of Dimensionality
Warum ist hohe Dimensionalitaet fuer DBSCAN kritisch?

Answer:
Bei $N$ Punkten im $d$-dimensionalen Einheitswuerfel skaliert der mittlere naechste Nachbar grob mit:

$$d_{NN}\propto N^{-1/d}.$$

Wenn $d$ gross wird, liegen Punkte fast alle weit voneinander entfernt. Dann ist ein kleines $\epsilon$ leer, ein grosses $\epsilon$ macht fast alles zum Nachbarn.

Folge: DBSCAN findet entweder fast nur Noise oder verschmilzt Struktur.

Zusammenfassung Abschnitt 5.4; Skript Seiten 67-68


Unsupervised Learning

Question:
# Dimensionsreduktion Ziel
Warum reduziert man Dimensionen im Unsupervised Learning?

Answer:
Hohe Dimensionen verschlechtern Distanz, Dichte und Rechenkosten. Viele reale Daten enthalten redundante, korrelierte oder verrauschte Features.

Ziel ist eine Abbildung

$$f:\mathbb{R}^d\to\mathbb{R}^k,\quad k<d,$$

die die signaltragenden Freiheitsgrade erhaelt.

Wichtig: Intrinsische Dimension kann viel kleiner sein als ambient dimension, z. B. MNIST formal $784$ Pixel, aber wenige Formfaktoren.

Zusammenfassung Abschnitt 6.1; Skript Seiten 77-80


Unsupervised Learning

Question:
# Naive Varianzselektion
Wie funktioniert naive Varianzselektion und wann scheitert sie?

Answer:
Man berechnet fuer jedes Originalfeature die Varianz und behaelt die Top-$k$ Features:

$$Var(x^{(j)})=\frac{1}{n}\sum_{i=1}^n (x_i^{(j)}-\bar x^{(j)})^2.$$

Das funktioniert, wenn relevante Richtungen mit den Koordinatenachsen ausgerichtet sind.

Es scheitert, wenn die Information diagonal, korreliert oder auf einer gekruemmten Mannigfaltigkeit liegt. Dann braucht man neue Achsen, z. B. PCA.

Zusammenfassung Abschnitt 6.2; Skript Seiten 80-81


Unsupervised Learning

Question:
# PCA Preprocessing
Welche Vorverarbeitung braucht PCA?

Answer:
PCA setzt zentrierte Daten voraus: Jede Spalte hat Mittelwert 0.

Bei unterschiedlichen Feature-Skalen sollte man vorher standardisieren, sonst dominiert die groesste Skala die Kovarianzmatrix.

Pruefungsfalle: PCA auf unzentrierten Daten findet nicht sauber Richtungen maximaler Varianz um den Schwerpunkt, sondern wird vom Offset beeinflusst.

Zusammenfassung Abschnitt 6.3; Skript Seiten 81-82


Unsupervised Learning

Question:
# PCA Eigenproblem
Wie wird PCA ueber die Kovarianzmatrix berechnet?

Answer:
Bei zentrierten Daten $X\in\mathbb{R}^{n\times d}$:

$$S=\frac{1}{n}X^T X.$$

Dann loest PCA:

$$S w_j = \lambda_j w_j.$$

Die Eigenvektoren $w_j$ sind Principal Components, die Eigenwerte $\lambda_j$ geben die Varianz entlang dieser Richtung an.

Man sortiert nach fallendem $\lambda_j$ und projiziert auf die ersten $k$ Komponenten.

Zusammenfassung Abschnitt 6.3; Skript Seiten 81-84


Unsupervised Learning

Question:
# PCA Varianzmaximierung
Warum sind Principal Components Eigenvektoren der Kovarianzmatrix?

Answer:
PCA sucht eine Einheitsrichtung $w$, die die Projektionsvarianz maximiert:

$$\max_{\lVert w\rVert=1} w^T S w.$$

Mit Lagrange-Multiplikator fuer $w^T w=1$ ergibt sich:

$$S w = \lambda w.$$

Also muss $w$ ein Eigenvektor von $S$ sein. Die groesste Varianz liegt beim Eigenvektor mit groesstem Eigenwert.

Zusammenfassung Abschnitt 6.3; Skript Seiten 82-84


Unsupervised Learning

Question:
# Explained Variance
Was bedeutet explained variance ratio bei PCA?

Answer:
Der Anteil der Varianz, den Komponente $j$ erklaert, ist:

$$EVR_j=\frac{\lambda_j}{\sum_l \lambda_l}.$$

Kumuliert ueber die ersten $k$ Komponenten:

$$\frac{\sum_{j=1}^k \lambda_j}{\sum_{l=1}^d \lambda_l}.$$

Ein Scree Plot zeigt, ab wann zusaetzliche Komponenten nur noch wenig Varianz erklaeren.

Zusammenfassung Abschnitt 6.3; Skript Seiten 84-85


Unsupervised Learning

Question:
# PCA Projektion und Rekonstruktion
Wie projiziert und rekonstruiert PCA Daten?

Answer:
Mit Top-$k$ Komponenten $W_k$:

$$Z=XW_k$$

ist die Projektion in den niedrigdimensionalen Raum.

Die Rekonstruktion lautet:

$$\hat X = ZW_k^T.$$

PCA minimiert bei orthonormaler Basis den quadratischen Rekonstruktionsfehler der Projektion auf den $k$-dimensionalen linearen Unterraum.

Zusammenfassung Abschnitt 6.3; Skript Seiten 85, 91-93


Unsupervised Learning

Question:
# PCA Beispiel
Was zeigt das PCA-Beispiel mit sechs kanonischen Punkten?

Answer:
Nach Zentrierung der sechs Punkte ergibt sich eine Kovarianzmatrix mit stark korrelierten Features. Die erste Komponente zeigt ungefaehr entlang der Richtung von Cluster A nach Cluster B.

Im Skript erklaert PC1 ca. 95 Prozent der Varianz.

Rekonstruktionsfehler:

- naive Feature-Auswahl: deutlich hoeher
- PCA auf PC1: ca. 5.38 Gesamtfehler

Kernaussage: PCA konstruiert die relevante Richtung, statt eine Originalachse zu behalten.

Zusammenfassung Abschnitt 6.3; Skript Seiten 89-93


Unsupervised Learning

Question:
# PCA und SVD
Warum nutzt man in der Praxis oft SVD fuer PCA?

Answer:
Fuer grosse $d$ ist eine explizite Eigendecomposition von $X^TX$ oft unguenstig.

SVD zerlegt:

$$X=U\Sigma V^T.$$

Die Spalten von $V$ entsprechen den Eigenvektoren von $X^TX$, und die Eigenwerte haengen mit den Singulaerwerten zusammen:

$$\lambda_i=\frac{\sigma_i^2}{n}.$$

SVD ist numerisch stabiler und vermeidet, die Kovarianzmatrix explizit zu bilden.

Skript Seite 85; Zusammenfassung Abschnitt 6.3


Unsupervised Learning

Question:
# PCA vs ICA
Was ist der Unterschied zwischen PCA und ICA?

Answer:
PCA findet unkorrelierte lineare Komponenten maximaler Varianz.

ICA sucht statistisch unabhaengige Quellen, typischerweise ueber Nicht-Gaussianitaet, und geht damit ueber reine Dekorrelation hinaus.

Merksatz: Unkorreliert ist schwaecher als unabhaengig. PCA kann Quellen nicht zwingend trennen, wenn die fachlichen Faktoren unabhaengig, aber nicht nur varianzmaximal sind.

Zusammenfassung Abschnitt 6.3; Skript Seite 85


Unsupervised Learning

Question:
# t-SNE Ziel
Wofuer ist t-SNE gedacht?

Answer:
t-SNE ist fuer 2D/3D-Visualisierung gedacht. Es versucht lokale Nachbarschaften aus dem hochdimensionalen Raum im niedrigdimensionalen Embedding zu erhalten.

Grob:

- High-D-Aehnlichkeiten mit Gauß-Kernel
- Low-D-Aehnlichkeiten mit Student-t-Kernel
- Optimierung einer KL-Divergenz zwischen beiden Verteilungen

Nichtziel: stabile, globale Feature-Transformation fuer Downstream-Modelle.

Zusammenfassung Abschnitt 6.4; Skript Seiten 86-87


Unsupervised Learning

Question:
# t-SNE Interpretation
Welche t-SNE-Interpretationen sind gefaehrlich?

Answer:
Bei t-SNE darf man nicht blind interpretieren:

- Clusterabstaende sind nicht globale Distanzen.
- Clusterflaechen und Dichten sind nicht direkt Bedeutung.
- Ergebnisse koennen mit Seed und Perplexity variieren.
- t-SNE ist fuer Visualisierung, nicht fuer Training eines Klassifikators auf den 2D-Koordinaten.

Pruefungsfalle: Schoene getrennte Inseln sind keine Beweiskraft fuer echte Klassenstruktur.

Zusammenfassung Abschnitt 6.4; Skript Seite 87


Unsupervised Learning

Question:
# UMAP
Welche praktischen Staerken hat UMAP gegenueber t-SNE?

Answer:
UMAP arbeitet auf einem sparse $k$-nearest-neighbour Graphen und ist dadurch oft skalierbarer.

Staerken:

- bessere praktische Skalierung, oft ca. $O(n\log n)$
- bewahrt lokale Struktur und etwas mehr globale Anordnung
- spectral initialization macht Layouts reproduzierbarer als rein zufaellige Starts

Wichtige Parameter: `n_neighbors` fuer lokal vs. global und `min_dist` fuer Enge der Cluster im Embedding.

Zusammenfassung Abschnitt 6.4; Skript Seite 88


Unsupervised Learning

Question:
# PCA/SVD vs t-SNE/UMAP
Wann nutzt man PCA/SVD und wann t-SNE/UMAP?

Answer:
PCA/SVD:

- lineare Dimensionsreduktion
- Preprocessing fuer Clustering oder Downstream-Learning
- Rauschreduktion und Rekonstruktion interpretierbar

T-SNE/UMAP:

- explorative Visualisierung
- Nachbarschaftsstruktur sichtbar machen
- nicht blind als Feature-Transformation fuer Klassifikatoren nutzen

Klausurmerksatz: Fuer Downstream-Learning eher PCA/SVD; fuer Visualisierung t-SNE/UMAP.

Zusammenfassung Abschnitt 6.4; Skript Seiten 86-88


Unsupervised Learning

Question:
# Autoencoder
Wie ist ein Autoencoder aufgebaut?

Answer:
Ein Autoencoder besteht aus Encoder und Decoder:

$$z=\theta_E(x)$$

$$\hat x=\theta_D(z)=\theta_D(\theta_E(x)).$$

Trainiert wird ueber Rekonstruktionsverlust, z. B.

$$L_R=\lVert x-\hat x\rVert^2.$$

Der Bottleneck $z$ zwingt das Modell, eine kompakte Repraesentation zu lernen.

Zusammenfassung Abschnitt 7.1; Skript Seiten 97-103


Unsupervised Learning

Question:
# Autoencoder Bottleneck
Warum macht der Bottleneck den Encoder zum Feature Extractor?

Answer:
Wenn $k\ll d$, kann der Code $z\in\mathbb{R}^k$ den Input nicht einfach kopieren.

Der Encoder muss diejenigen Faktoren behalten, die fuer Rekonstruktion wichtig sind, und unwichtige Variation verwerfen.

Nach dem Training kann man den Decoder oft verwerfen und den Encoder als Feature Extractor fuer Clustering, Retrieval oder Downstream-Klassifikation nutzen.

Zusammenfassung Abschnitt 7.1; Skript Seiten 102-103


Unsupervised Learning

Question:
# Linearer Autoencoder vs PCA
Welche Beziehung besteht zwischen linearem Autoencoder und PCA?

Answer:
Wenn Encoder und Decoder linear sind und mit MSE trainiert werden, lernt der Autoencoder im Kern denselben Top-$k$-Subraum wie PCA.

Nichtlineare Autoencoder koennen darueber hinaus gekruemmte Mannigfaltigkeiten, diskrete Cluster und hierarchische Features abbilden.

Pruefungsfalle: Der Unterschied steckt nicht im Wort Autoencoder, sondern in Nichtlinearitaet, Kapazitaet und Trainingsziel.

Zusammenfassung Abschnitt 7.1; Skript Seiten 103, 117-118


Unsupervised Learning

Question:
# Deterministischer Autoencoder
Warum ist ein plain Autoencoder kein guter generativer Latent Space?

Answer:
Ein deterministischer Autoencoder optimiert nur Rekonstruktion. Er garantiert nicht, dass der Latent Space glatt, vollstaendig oder sinnvoll organisiert ist.

Probleme:

- leere Regionen decodieren zu Unsinn
- nahe Punkte koennen fachlich unpassend sein
- verschiedene Trainingslaeufe koennen andere Code-Konventionen lernen

Ein generatives Modell braucht einen strukturierten, samplbaren Latent Space.

Zusammenfassung Abschnitt 7.2; Skript Seiten 104-105


Unsupervised Learning

Question:
# VAE Grundidee
Was ersetzt ein Variational Autoencoder gegenueber einem plain Autoencoder?

Answer:
Ein VAE ersetzt den Punktcode durch eine Verteilung:

$$q_\phi(z|x)=\mathcal{N}(\mu(x),\operatorname{diag}(\sigma^2(x))).$$

Der Prior ist meist:

$$p(z)=\mathcal{N}(0,I).$$

Sampling erfolgt mit Reparameterisation:

$$z=\mu+\sigma\odot\epsilon,\quad \epsilon\sim\mathcal{N}(0,I).$$

So wird der Latent Space glatt, regularisiert und samplbar.

Zusammenfassung Abschnitt 7.2; Skript Seiten 104-106


Unsupervised Learning

Question:
# ELBO
Welche zwei Kraefte balanciert die VAE-Objective?

Answer:
Die ELBO kombiniert Rekonstruktion und KL-Regularisierung:

$$\log p_\theta(x)\ge \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]-KL(q_\phi(z|x)\Vert p(z)).$$

Als Loss oft:

$$L=L_R+\beta L_{KL}.$$

- Rekonstruktion: $z$ muss Information ueber $x$ behalten.
- KL-Term: $q(z|x)$ soll nahe am Prior bleiben.

Der Tradeoff macht Sampling und Interpolation plausibel.

Zusammenfassung Abschnitt 7.2; Skript Seiten 104-106


Unsupervised Learning

Question:
# Gaussian KL
Wie lautet der KL-Term fuer einen diagonal-gaussian VAE-Encoder gegen $\mathcal{N}(0,I)$?

Answer:
Pro Dimension:

$$L_{KL}^{(j)}=\frac{1}{2}(\mu_j^2+\sigma_j^2-\log \sigma_j^2-1).$$

Gesamt:

$$L_{KL}=\sum_{j=1}^k L_{KL}^{(j)}.$$

Interpretation:

- grosse $|\mu_j|$: Shift-Kosten
- $\sigma_j^2$ weit weg von 1: Spread-Kosten
- sehr kleines $\sigma$ ist teuer, weil $-\log\sigma^2$ explodiert.

Zusammenfassung Abschnitt 7.3; Skript Seiten 105-112


Unsupervised Learning

Question:
# VAE Loss Rechenaufgabe
1D-VAE: $\mu=1$, $\sigma=1$, $x=3$, $\hat x=2.7$. Berechne $L=L_R+L_{KL}$.

Answer:
Rekonstruktion:

$$L_R=(3-2.7)^2=0.3^2=0.09.$$

KL:

$$L_{KL}=\frac{1}{2}(1^2+1^2-\log 1^2-1)=\frac{1}{2}(1+1-0-1)=0.5.$$

Total:

$$L=0.09+0.5=0.59.$$

Interpretation: Das Modell zahlt KL-Kosten fuer bessere Rekonstruktion.

Skript Seiten 110-111; Zusammenfassung Abschnitt 7.3


Unsupervised Learning

Question:
# Beta-VAE
Was bewirkt der Parameter $\beta$ im VAE-Loss?

Answer:
Beim $\beta$-VAE gilt:

$$L=L_R+\beta L_{KL}.$$

- Kleines $\beta$: schwacher Prior-Zwang, schaerfere Rekonstruktionen, mehr Risiko eines unorganisierten Latent Space.
- Grosses $\beta$: starker Prior-Zwang, eher disentangled/regularisiert, aber schlechtere Rekonstruktion moeglich.

Pruefungsfalle: $\beta$ steuert den Gradienten-Tradeoff, nicht nur eine nachtraegliche Bewertung.

Zusammenfassung Abschnitt 7.3; Skript Seite 112


Unsupervised Learning

Question:
# Reparameterisation Trick
Warum braucht ein VAE den Reparameterisation Trick?

Answer:
Sampling $z\sim q_\phi(z|x)$ ist stochastisch und wuerde Gradientenfluss durch die Sample-Operation erschweren.

Der Trick schreibt:

$$z=\mu+\sigma\odot\epsilon,\quad \epsilon\sim\mathcal{N}(0,I).$$

Der Zufall steckt in $\epsilon$, die Parameter $\mu$ und $\sigma$ liegen auf einem differenzierbaren Pfad.

Beispiel: $\partial z/\partial \mu=1$ und $\partial z/\partial \sigma=\epsilon$.

Zusammenfassung Abschnitt 7.3; Skript Seiten 112-113


Unsupervised Learning

Question:
# Posterior Collapse
Was ist posterior collapse beim VAE und wie erkennt man es?

Answer:
Posterior collapse bedeutet: Der Encoder ignoriert $x$ und setzt $q(z|x)$ fast gleich dem Prior.

Symptome:

- $L_{KL}\approx 0$
- viele inaktive Latent-Dimensionen
- Rekonstruktionen wirken wie Mittelwert/blurred

Gegenmassnahmen:

- $\beta$ senken
- KL warm-up / annealing
- Decoder-Kapazitaet pruefen

Klausurpunkt: Nicht niedrige KL allein als gut interpretieren.

Zusammenfassung Abschnitt 7.3; Skript Seiten 115-118


Unsupervised Learning

Question:
# Active Units
Wie diagnostiziert man aktive und kollabierte VAE-Dimensionen?

Answer:
Man betrachtet den per-dimension KL:

$$L_{KL}^{(j)}=\frac{1}{2}(\mu_j^2+\sigma_j^2-\log\sigma_j^2-1).$$

Aktive Dimensionen haben klar positiven KL, z. B. durch mean shift oder enge Varianz.

Kollabierte Dimensionen haben $\mu_j^2\approx 0$, $\sigma_j^2\approx 1$ und damit $L_{KL}^{(j)}\approx 0$.

Pruefungsfalle: Summierter KL versteckt, welche Achsen wirklich genutzt werden.

Skript Seiten 114-116; Zusammenfassung Abschnitt 7.3


Unsupervised Learning

Question:
# Latent Interpolation
Warum ist glatte Interpolation ein Qualitaetstest fuer VAEs?

Answer:
Bei zwei Inputs $x_1,x_2$ kodiert man:

$$z_1=\mu(x_1),\quad z_2=\mu(x_2).$$

Dann interpoliert man:

$$z_t=(1-t)z_1+t z_2$$

und decodiert $\hat x_t=\theta_D(z_t)$.

Wenn die Zwischenpunkte plausible, glatte Uebergaenge ergeben, ist der Latent Space sinnvoll organisiert. Abrupte Spruenge oder Unsinn zeigen leere/ungeordnete Regionen.

Skript Seiten 109, 117-118; Zusammenfassung Abschnitt 7.3


Unsupervised Learning

Question:
# AE vs VAE Latent Space
Wie unterscheiden sich AE- und VAE-Embeddings typischerweise?

Answer:
Plain AE:

- platziert Codes dort, wo Rekonstruktion gut ist
- globale Struktur nicht garantiert
- zufaellige Punkte in leeren Regionen decodieren oft zu Noise

VAE:

- zieht Encodings Richtung Prior
- fuellt den Latent Space organisierter
- Sampling aus $\mathcal{N}(0,I)$ kann plausible Daten erzeugen

Merksatz: Ein VAE ist nicht nur ein AE mit Rauschen; entscheidend ist die KL-Regularisierung gegen einen samplbaren Prior.

Zusammenfassung Abschnitt 7.3; Skript Seiten 113-118


Unsupervised Learning

Question:
# Softmax Confidence
Warum ist Softmax Confidence kein Sicherheitsnachweis?

Answer:
Softmax normalisiert Klassenscores auf Summe 1. Das liefert relative Sicherheit zwischen bekannten Klassen, aber keine Garantie, dass der Input ueberhaupt aus der Trainingsverteilung stammt.

OOD-Inputs oder adversariale Perturbationen koennen hohe Softmax-Werte bekommen.

Klausurmerksatz: Softmax misst eher Aehnlichkeit innerhalb der bekannten Klassenschablonen als absolute Korrektheit.

Zusammenfassung Abschnitt 8; Skript Seiten 121-124


Unsupervised Learning

Question:
# Aleatoric vs Epistemic
Wie unterscheiden sich aleatorische und epistemische Unsicherheit?

Answer:
**Aleatoric uncertainty:** Irreduzibles Datenrauschen oder Mehrdeutigkeit der Welt. Mehr Daten entfernen sie nicht vollstaendig.

**Epistemic uncertainty:** Modellignoranz, weil der Bereich schlecht beobachtet oder gelernt wurde. Sie kann durch bessere/mehr passende Daten sinken.

Pruefungsbezug: OOD-Erkennung zielt stark auf epistemische Unsicherheit, aber seltene Long-Tail-Faelle verschwinden nie ganz.

Zusammenfassung Abschnitt 8; Skript Seiten 122-124


Unsupervised Learning

Question:
# Calibration und ECE
Was messen Calibration und Expected Calibration Error?

Answer:
Calibration vergleicht angegebene Confidence mit empirischer Accuracy.

Beispiel: Von allen Vorhersagen mit 80 Prozent Confidence sollten ungefaehr 80 Prozent korrekt sein.

ECE fasst die Luecke ueber Confidence-Bins zusammen.

Pruefungsfalle: Histogram binning kann in-domain ECE stark verbessern, transferiert aber oft schlecht auf OOD-Daten.

Zusammenfassung Abschnitt 8; Skript Seiten 121-124


Unsupervised Learning

Question:
# Confidence Head
Was ist ein Confidence Head?

Answer:
Ein Confidence Head ist ein zusaetzlicher Kopf, der vorhersagt, ob das Hauptmodell wahrscheinlich korrekt ist.

Er macht Korrektheit selbst zum Trainingssignal, z. B. ueber Validierungsfehler, Outlier Exposure oder spezielle Confidence-Losses.

Grenze: Er braucht saubere Signale fuer Unsicherheit. Wenn die Trainingsdaten den relevanten OOD-Bereich nicht abdecken, kann auch der Confidence Head falsch sicher sein.

Zusammenfassung Abschnitt 8; Skript Seiten 121-124


Unsupervised Learning

Question:
# MC Dropout
Wie schaetzt Monte Carlo Dropout epistemische Unsicherheit?

Answer:
Bei MC Dropout bleibt Dropout auch in der Inferenz aktiv. Man macht mehrere Forward Passes mit verschiedenen Dropout-Masken.

Die Varianz der Vorhersagen dient als Signal fuer epistemische Unsicherheit.

Grenze: Wenn ein OOD-Input geometrisch wie bekannte Daten aussieht oder alle Dropout-Samples gleich falsch sind, kann MC Dropout unsicherheitsblind bleiben.

Zusammenfassung Abschnitt 8; Skript Seiten 122-124


Unsupervised Learning

Question:
# One-Class VAE OOD
Wie kann ein VAE fuer OOD- oder Anomalieerkennung genutzt werden?

Answer:
Ein VAE kann auf normale Daten trainiert werden. Bei neuen Inputs nutzt man z. B.:

- Reconstruction error: schlecht rekonstruierte Inputs wirken fremd.
- Latent-Geometrie / Prior-Likelihood: Inputs weit ausserhalb vertrauter Bereiche wirken unsicher.

Blind Spot: Wenn ein unbekannter Input geometrisch wie bekannte Daten wirkt, kann der VAE ihn rekonstruieren und nicht als OOD erkennen.

Zusammenfassung Abschnitt 8; Skript Seiten 121-124


Unsupervised Learning

Question:
# Operational Design Domain
Was bedeuten ODD, data drift und model drift?

Answer:
**Operational Design Domain (ODD):** Der Bereich von Bedingungen, fuer den ein System gebaut und trainiert wurde.

**Data drift:** Eingabestatistik veraendert sich ueber Zeit.

**Model drift:** Angegebene Confidence und empirische Accuracy entkoppeln sich.

Klausurpunkt: OOD-Detektion ist nur so gut wie der Domain-Begriff. Ein geometrischer Detektor erkennt keine semantische Neuheit, wenn sie geometrisch bekannt aussieht.

Zusammenfassung Abschnitt 8; Skript Seiten 122-124


Unsupervised Learning

Question:
# Transfer Learning
Was ist die Grundidee von Transfer Learning?

Answer:
Transfer Learning trennt teuren Backbone und billigen Task Head.

- **Backbone/Encoder:** auf breiten Daten vortrainiert, extrahiert wiederverwendbare Features.
- **Head:** kleine aufgabenspezifische Entscheidungsschicht.

Der teure Teil wird einmal gelernt und auf viele Downstream-Tasks uebertragen.

Merksatz: Der Wert des Pretrainings steckt im Backbone, nicht im alten Classification Head.

Zusammenfassung Abschnitt 9; Skript Seiten 127-130


Unsupervised Learning

Question:
# Transfer Strategien
Wann nutzt man frozen backbone, linear probe, fine-tuning oder LoRA?

Answer:
- **Frozen backbone + linear probe:** wenig Labels, Ziel nahe am Pretraining, billig und robust.
- **Fine-tuning:** mehr Labels oder groessere Domainverschiebung, bessere Anpassung, Overfitting-Risiko.
- **LoRA/Adapter:** grosse Modelle effizient anpassen, nur kleine Low-Rank-Korrekturen trainieren.
- **Few-shot nearest centroid:** Klassen im Embedding schon getrennt.

Entscheidung haengt von Labelmenge, Domainshift, Compute und Overfitting-Risiko ab.

Zusammenfassung Abschnitt 9; Skript Seiten 127-130


Unsupervised Learning

Question:
# Class Centroids
Wie funktionieren Class Centroids im Embedding Space?

Answer:
Man mittelt Embeddings einer Klasse zu einem Prototypen:

$$c_k=\frac{1}{|C_k|}\sum_{x_i\in C_k} f(x_i).$$

Ein neuer Punkt wird dem naechsten Prototypen zugeordnet, oft mit Cosine Similarity auf normalisierten Embeddings.

Warum es funktioniert: Der vortrainierte Backbone hat Klassen oft schon geometrisch getrennt; der Head muss nur Anker setzen.

Zusammenfassung Abschnitt 9; Skript Seiten 129-130


Unsupervised Learning

Question:
# Zero-Shot und CLIP
Wie ermoeglichen CLIP-artige Modelle Zero-Shot-Klassifikation?

Answer:
CLIP trainiert Bild- und Textencoder in einem gemeinsamen Embedding Space. Passende Bild-Text-Paare werden nahe, unpassende fern.

Fuer Zero-Shot-Klassifikation schreibt man Textprompts fuer Klassen, kodiert sie, und vergleicht ein Bildembedding per Cosine Similarity mit den Textembeddings.

Kern: Die Bridge zwischen Modalitaeten ersetzt gelabelte Zielbeispiele, solange Source- und Target-Semantik gut abgedeckt sind.

Zusammenfassung Abschnitt 9; Skript Seiten 127-130


Unsupervised Learning

Question:
# Classification Head verwerfen
Warum wird beim Transfer der alte Classification Head meist verworfen?

Answer:
Der alte Head ist auf die alten Pretraining-Klassen zugeschnitten. Er codiert die spezifische Entscheidungsaufgabe, nicht die allgemein wiederverwendbare Repraesentation.

Der Backbone enthaelt die transferierbaren Features. Fuer die neue Aufgabe trainiert man einen neuen Head, nutzt Prototypen oder stimmt den Backbone weiter ab.

Pruefungsformulierung: Head = billige Entscheidungsschicht, Backbone = teures Repraesentationswissen.

Zusammenfassung Abschnitt 9; Skript Seiten 129-130


Unsupervised Learning

Question:
# Transfer Failure
Wann scheitert Transfer Learning?

Answer:
Transfer scheitert, wenn Source- und Target-Verteilung zu weit auseinanderliegen oder die relevanten Zielkonzepte im Backbone nicht repraesentiert sind.

Symptome:

- Linear probe trennt Klassen schlecht.
- Few-shot-Prototypen sind instabil.
- Zero-shot-Prompts liefern systematisch falsche Aehnlichkeiten.

Gegenmassnahmen: mehr zielnahe Daten, Fine-tuning, Domain-adaptive Pretraining, besser passender Backbone.

Zusammenfassung Abschnitt 9; Skript Seiten 127-130


Unsupervised Learning

Question:
# Self-Supervised Learning
Was ist Self-Supervised Learning?

Answer:
Self-Supervised Learning gewinnt das Trainingssignal aus der Datenstruktur selbst.

Statt menschliche Labels zu sammeln, definiert man ein Pretext Task, dessen Ziel aus dem Input ableitbar ist, z. B. maskierte Tokens rekonstruieren oder das naechste Token vorhersagen.

Wichtig: Das Pretext Task ist nur das Geruest; das eigentliche Produkt ist die gelernte Repraesentation.

Zusammenfassung Abschnitt 10; Skript Seiten 131-135


Unsupervised Learning

Question:
# Handcrafted Pretext Tasks
Welche Gefahr haben einfache handcrafted pretext tasks?

Answer:
Beispiele sind Rotation vorhersagen, Patches sortieren oder Colorization.

Gefahr: Das Modell kann Shortcuts lernen, die das Pretext Task loesen, aber keine gute Repraesentation fuer Downstream-Aufgaben erzeugen.

Pruefungsfalle: Ein gutes Pretext-Task-Ergebnis bedeutet nicht automatisch gute Features. Entscheidend ist Transferqualitaet.

Zusammenfassung Abschnitt 10; Skript Seiten 131-135


Unsupervised Learning

Question:
# Contrastive Learning
Was ist die Grundidee von contrastive learning?

Answer:
Verschiedene Views desselben Inputs sollen im Embedding Space nahe liegen; Views verschiedener Inputs sollen fern liegen.

Beispiel: Zwei Crops desselben Bildes sind positive Paare, Crops anderer Bilder negative Paare.

Designentscheidung: Welche Augmentationen als gleiche Semantik gelten. Falsche Augmentationen koennen relevante Features invariant machen und damit zerstoeren.

Zusammenfassung Abschnitt 10; Skript Seiten 131-135


Unsupervised Learning

Question:
# Masked und Next-Token Prediction
Was verbindet masked-token, masked-patch und next-token prediction?

Answer:
Alle sind Denoising- oder Prediction-Aufgaben aus der Datenstruktur:

- BERT: maskierte Tokens rekonstruieren
- MAE: maskierte Bildpatches rekonstruieren
- Decoder-only LM: naechstes Token aus Prefix vorhersagen

Die Labels stammen aus dem Input selbst. Das Modell lernt Struktur, weil es fehlende oder zukuenftige Teile aus Kontext vorhersagen muss.

Zusammenfassung Abschnitt 10; Skript Seiten 131-135


Unsupervised Learning

Question:
# Span Masking
Warum ist Span Masking oft staerker als einzelne Tokens zu maskieren?

Answer:
Ein einzelnes maskiertes Token kann oft trivial aus den direkten Nachbarn erraten werden.

Span Masking entfernt zusammenhaengende Tokenfolgen. Das Modell muss dann laengere Struktur, Semantik und Syntax rekonstruieren.

Beispiel: Statt nur `banana` in einem Satz zu maskieren, maskiert man `yellow banana peel` als zusammenhaengenden Chunk.

Zusammenfassung Abschnitt 10; Skript Seiten 132-134


Unsupervised Learning

Question:
# Latent Prediction / JEPA
Warum sagt JEPA im Latent Space statt im Pixel Space voraus?

Answer:
Pixelrekonstruktion verschwendet Kapazitaet auf Details wie Textur, Beleuchtung oder Rauschen, die fuer Downstream-Aufgaben oft unwichtig sind.

JEPA-artige Verfahren lassen einen Student die Teacher-Features maskierter Regionen vorhersagen. Der Teacher ist oft ein slow-moving exponential moving average des Students.

Vorteil: Stabile Ziele im Feature Space, kein Label und kein Pixeldecoder notwendig.

Zusammenfassung Abschnitt 10; Skript Seiten 132-135


Unsupervised Learning

Question:
# SSL Architekturwahl
Wie haengt die Pretraining-Architektur vom Downstream-Regime ab?

Answer:
Daumenregel:

- **Encoder-only:** Understanding, Klassifikation, Retrieval, Embeddings
- **Decoder-only:** Generation, autoregressive Sprache
- **Encoder-Decoder:** Understanding plus Generation, aber teurer

Klausurpunkt: Die Objective und Architektur sollten zur spaeteren Nutzung passen. Ein Pretext Task ist kein Selbstzweck.

Zusammenfassung Abschnitt 10; Skript Seiten 132-135


Unsupervised Learning

Question:
# Weak Supervision
Was ist Weak Supervision?

Answer:
Weak Supervision nutzt unperfekte, noisy oder partielle Labelquellen statt sauberer Ground-Truth-Labels.

Labels werden als Zufallsvariablen betrachtet: $\tilde y$ ist nur eine verrauschte Messung einer nie direkt beobachteten Wahrheit $y$.

Quellen koennen Regeln, Crowd Labels, Sensoren, Proxies, pretrained Modelle, Judges oder Generatoren sein.

Zusammenfassung Abschnitt 11; Skript Seiten 137-140


Unsupervised Learning

Question:
# Labelling Function
Was ist eine Labelling Function in Weak Supervision?

Answer:
Eine Labelling Function ist eine programmatic mapping von Input zu Label, Soft Label oder Abstention.

Sie vereinheitlicht heterogene Quellen:

- heuristische Regeln
- Crowd Worker
- Sensor-/Proxy-Signale
- pretrained Klassifikatoren
- LLM-Judges

Klausurpunkt: Die Abstraktion versteckt Quelle und Modalitaet, aber nicht deren Bias, Coverage und Fehlerkorrelationen.

Zusammenfassung Abschnitt 11; Skript Seiten 137-140


Unsupervised Learning

Question:
# Verifier-Generator Gap
Was bedeutet verifier-generator gap bei Judges?

Answer:
Es ist oft leichter, eine Antwort zu bewerten, als eine gute Antwort selbst zu erzeugen.

Diese Asymmetrie nutzen:

- GAN-Discriminatoren
- RLHF Reward Models
- LLM-as-a-Judge
- Process Reward Models fuer Zwischenschritte

Risiko: Judges erben Kalibrierungs-, Stil- und Trainingsbias ihres Basismodells.

Zusammenfassung Abschnitt 11; Skript Seiten 137-140


Unsupervised Learning

Question:
# Knowledge Distillation
Warum sind Teacher-Softmax-Outputs oft informativer als One-Hot-Labels?

Answer:
Ein One-Hot-Label sagt nur, welche Klasse korrekt ist.

Ein Teacher-Softmax enthaelt zusaetzliche Struktur: Welche falschen Klassen waren plausibel? Wie stark ist die Unsicherheit?

Der Student trainiert auf diesen Soft Labels und uebernimmt dadurch mehr Information als nur die harte Klasse.

Dasselbe Prinzip taucht auch bei synthetischen Daten, Instruction Tuning und Label Smoothing auf.

Zusammenfassung Abschnitt 11; Skript Seiten 138-140


Unsupervised Learning

Question:
# Snorkel Pipeline
Wie funktioniert eine Snorkel-artige Weak-Supervision-Pipeline?

Answer:
Drei Schritte:

1. Engineers schreiben Labelling Functions, die voten oder abstain.
2. Ein Label Model lernt Genauigkeiten und Korrelationen der Funktionen aus den Votes.
3. Ein End Model trainiert auf probabilistischen Soft Labels mit vollem Zugriff auf die Inputs.

Wichtig: Das Label Model sieht nur Votes, nicht die Inputs. Das End Model sieht Inputs, nicht die Regeln und kann deshalb ueber die Regeln hinaus generalisieren.

Zusammenfassung Abschnitt 11; Skript Seiten 138-140


Unsupervised Learning

Question:
# Reinforcement Learning Signal
Wie unterscheidet sich RL-Supervision von normalen Labels?

Answer:
Reinforcement Learning nutzt keinen per-example Klassenlabel-Fehler, sondern einen skalaren Reward aus einer Interaktion mit der Umgebung.

Der Reward kann spaet, sparse und indirekt sein. Daraus entsteht Credit Assignment: Welche fruehere Aktion war fuer spaeteren Reward verantwortlich?

Klausurpunkt: Ein Reward enthaelt keine direkte Information darueber, welche alternative Aktion besser gewesen waere.

Zusammenfassung Abschnitt 12; Skript Seiten 143-145


Unsupervised Learning

Question:
# MDP
Aus welchen Elementen besteht ein Markov Decision Process?

Answer:
Ein MDP besteht aus:

- Zustand $s$
- Aktion $a$
- Uebergang $P(s'|s,a)$
- Reward $r(s,a)$
- Discount $\gamma\in[0,1)$

Markov-Eigenschaft: Der naechste Zustand haengt nur vom aktuellen Zustand und der aktuellen Aktion ab, nicht von der ganzen Historie.

Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147


Unsupervised Learning

Question:
# Discounted Return und Bellman
Wie lauten Return und Bellman-Rekursion?

Answer:
Discounted Return:

$$G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k+1}.$$

State Value unter Policy $\pi$:

$$V^\pi(s)=\mathbb{E}_\pi[r(s,a)+\gamma V^\pi(s')].$$

Bellman-Idee: Langfristiger Wert wird in unmittelbaren Reward plus diskontierten Wert des naechsten Zustands zerlegt. Das macht ein Long-Horizon-Problem lokal loesbar.

Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147


Unsupervised Learning

Question:
# Q-Learning Update
Wie lautet das Q-Learning-Update und was bedeutet es?

Answer:
Update:

$$Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma\max_{a'}Q(s',a')-Q(s,a)].$$

Der Term in eckigen Klammern ist der TD-Fehler:

- neuer Zielwert: $r+\gamma\max_{a'}Q(s',a')$
- alter Schaetzwert: $Q(s,a)$

Q-Learning ist value-based und off-policy: Es kann aus Daten lernen, die unter einer anderen Behaviour Policy gesammelt wurden.

Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147


Unsupervised Learning

Question:
# DQN Stabilisierung
Warum braucht DQN Replay Buffer und Target Network?

Answer:
DQN approximiert $Q_\theta(s,a)$ mit einem neuronalen Netz. Dadurch entstehen zwei Instabilitaeten:

- **Korrelierte Daten:** Aufeinanderfolgende Transitionen sind aehnlich. Replay Buffer mischt alte Transitionen in Minibatches.
- **Bewegliches Ziel:** Das Netzwerk berechnet Ziel und Vorhersage zugleich. Target Network ist eine langsam aktualisierte Kopie fuer stabilere Targets.

Ohne diese Stabilisierungen jagt das Netz oft einem sich selbst bewegenden Ziel hinterher.

Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147


Unsupervised Learning

Question:
# Value-Based vs Policy-Based
Wie unterscheiden sich value-based und policy-based RL-Verfahren?

Answer:
**Value-based:** Lernt Werte von Aktionen oder Zustaenden, z. B. $Q(s,a)$, und leitet daraus eine Policy ab, z. B. greedy oder $\epsilon$-greedy.

**Policy-based:** Parametrisiert die Policy direkt:

$$\pi_\theta(a|s).$$

Vorteil policy-based: kann kontinuierliche Aktionsraeume natuerlicher behandeln und optimiert die Aktionsregel direkt.

Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147


Unsupervised Learning

Question:
# PPO
Was macht PPO-Clipping?

Answer:
PPO vergleicht die Aktionswahrscheinlichkeit unter neuer und alter Policy:

$$r_t(\theta)=\frac{\pi_\theta(a|s)}{\pi_{old}(a|s)}.$$

Dieser Ratio wird auf einen engen Bereich um 1 geclippt, oft etwa $[0.8,1.2]$.

Ziel: Policy-Updates duerfen nicht zu weit springen, weil die Daten unter der alten Policy gesammelt wurden.

Tradeoff: enges Clipping stabiler, aber weniger sample-efficient.

Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147


Unsupervised Learning

Question:
# Exploration vs Exploitation
Warum braucht RL Exploration?

Answer:
Ohne Exploration sammelt der Agent keine Daten ueber unbekannte Aktionen. Dann kann er nicht lernen, ob aktuell schlecht geschaetzte Aktionen langfristig besser waeren.

Typische Hebel:

- $\epsilon$-greedy
- stochastische Policies
- Entropy Bonuses

Exploit sammelt bekannten Reward; Explore verbessert die Datenbasis fuer zukuenftige Entscheidungen.

Zusammenfassung Abschnitt 12.2; Skript Seiten 145-147


Unsupervised Learning

Question:
# Off-Policy
Was bedeutet off-policy und was bedeutet es nicht?

Answer:
Off-policy bedeutet: Das Verfahren kann aus Daten lernen, die unter einer anderen Behaviour Policy gesammelt wurden.

Beispiel: Q-Learning und DQN koennen Replay-Buffer-Daten nutzen.

Es bedeutet **nicht** ohne Policy. Es gibt weiterhin eine Verhaltenregel zum Sammeln von Daten und meist eine Zielpolicy, z. B. greedy aus den Q-Werten.

Pruefungsfalle: Off-policy nicht mit policy-los verwechseln.

Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147