Klausurorientierte Zusammenfassung
Unsupervised Learning

Quelle: temp_unsupervised/notes_unsupervisedlearning.pdf, 151 Seiten, Prof. Dr.-Ing. Mark Schutera, Stand 2026-05-06.

Ziel dieser Zusammenfassung
Das Skript wird klausurorientiert verdichtet: Definitionen, Formeln, Variablen, typische Rechenwege, Diagrammdeutung, algorithmische Annahmen, Failure Modes und moegliche Pruefungsfragen.

Inhaltsueberblick

Grundidee: Lernen ohne Labels
Feature Space, Distanz und Skalierung
Centroid Clustering: K-Means
Hierarchical Clustering
Density-Based Clustering: DBSCAN, OPTICS, HDBSCAN
Dimensionality Reduction: PCA, t-SNE, UMAP, ICA
Autoencoder, Variational Inference und VAE
Uncertainty Estimation und OOD
Transfer Learning und Foundation Models
Self-Supervised Learning
Weak Supervision
Reinforcement Learning Fundamentals
Lerncheckliste, Klausurfragen, Abdeckung

1. Grundidee: Lernen ohne Labels

Unsupervised Learning beginnt dort, wo kein explizites Label ỹ vorhanden ist. Im Supervised Learning gibt es Datenpunkte x und ein Zielsignal; das Modell θ lernt eine Abbildung auf eine Vorhersage ŷ und nutzt den Fehler zum Optimieren:

θ(x) = ŷ ≈ ỹ θ ← θ - η ∇_θL(ŷ, ỹ)

θ: Modellparameter.
x: Eingabe bzw. Datenpunkt.
ỹ: beobachtetes Label, oft nur Naeherung an die wahre Zielgroesse.
ŷ: Vorhersage des Modells.
η: Lernrate im Gradientenupdate.

Ohne Labels gibt es keinen direkten Fehler gegen ein Ziel. Stattdessen werden Muster aus der Datenstruktur selbst gewonnen. Der rote Faden des Skripts lautet:

Schritt	Frage	Typische Methoden
Pattern finden	Welche Punkte sind aehnlich? Welche Gruppen gibt es?	Distanzmetriken, K-Means, Hierarchical Clustering, DBSCAN
Pattern repraesentieren	Welche Koordinaten tragen die eigentliche Information?	PCA, t-SNE, UMAP, Autoencoder, VAE
Pattern nutzen	Wie wird ein gelernter Embedding-Raum wiederverwendet?	Uncertainty, Transfer Learning, Self-Supervised Learning
Signal ersetzen	Welche schwachen oder interaktiven Signale koennen Labels ersetzen?	Weak Supervision, Reinforcement Learning

Pruefungsfalle: "Keine Labels" heisst nicht "keine Annahmen". Jede Metrik, Skalierung, Clusterdefinition und Latent-Space-Regularisierung baut Annahmen darueber ein, was als Muster zaehlt.

2. Feature Space, Distanz und Skalierung

2.1 Feature Space und Pattern

Ein Datenpunkt ist ein Vektor im Feature Space. Ein Feature entspricht einer Dimension, z. B. x⁽¹⁾ und x⁽²⁾ in einem zweidimensionalen Scatterplot. Ohne Labels ist schon die Frage "gehoeren diese Punkte zusammen?" mehrdeutig: Je nach Distanz, Skalierung und Kontext kann man ein, zwei oder mehrere Muster sehen.

Ambiguitaet in unlabeled data: gleicher Punktbestand, unterschiedliche Clusterdeutung

2.2 Eigenschaften einer Distanzmetrik

Eine Distanzfunktion d: X × X → ℝ_≥0 muss vier Eigenschaften erfuellen:

Eigenschaft	Formel	Bedeutung
Nichtnegativitaet	d(x,y) ≥ 0	Abstaende sind nie negativ.
Identitaet	d(x,y)=0 ⇔ x=y	Nur identische Punkte haben Abstand 0.
Symmetrie	d(x,y)=d(y,x)	Richtung spielt keine Rolle.
Dreiecksungleichung	d(x,z)≤d(x,y)+d(y,z)	Der direkte Weg ist nicht laenger als ein Umweg.

2.3 Wichtige Metriken

Metrik	Formel	Wann sinnvoll?	Pruefungsfalle
Euclidean Distance	d_E(x,y)=√∑_i=1ⁿ(x_i-y_i)²	glatter, kontinuierlicher Raum; Dimensionen gleich skaliert und gleich wichtig.	Skalen dominieren: Einkommen kann Alter komplett ueberdecken.
Manhattan Distance	d₁(x,y)=∑_i=1ⁿ\|x_i-y_i\|	Achsengebundene Bewegung, Pixel-/Grid-Raeume, robustere Summe ueber Dimensionen.	Nicht fuer schraeg-lineare Geometrie verwechseln; sie misst Taxicab-Wege.
Cosine Similarity	cos(x,y)=x^Ty/(\|\|x\|\|₂\|\|y\|\|₂)	Richtung wichtiger als Betrag, z. B. Text-Embeddings, Profilvektoren.	Ignoriert Intensitaet: kleine und grosse Vektoren gleicher Richtung wirken gleich.
Mahalanobis Distance	d_Mah(x,y)=√((x-y)^TΣ^-1(x-y))	Korrelationen und unterschiedliche Varianzen der Features sollen beruecksichtigt werden.	Nie unbedacht Σ^-1 explizit invertieren; numerisch stabiler ist das Loesen eines linearen Systems.

Rechenmuster: A = (3,1), B = (6,8)

d_E(A,B)=√((6-3)²+(8-1)²)=√(9+49)=√58≈7.62 d₁(A,B)=|6-3|+|8-1|=3+7=10

Das Beispiel zeigt: Schon dieselben zwei Punkte haben unterschiedliche Abstaende, weil die Metriken verschiedene Annahmen ueber Bewegung und Aehnlichkeit treffen.

2.4 Normalisierung und Standardisierung

Skalierung ist kein kosmetischer Vorverarbeitungsschritt, sondern veraendert die Geometrie, in der Muster gesucht werden. Standardisierung setzt jedes Feature auf Mittelwert 0 und Standardabweichung 1:

z_i=(x_i-μ_i)/σ_i

x_i: urspruenglicher Wert eines Features.
μ_i: Mittelwert des Features.
σ_i: Standardabweichung des Features.
z_i: standardisierter Wert in Einheiten von Standardabweichungen.

Transformation	Nutzen	Risiko
Z-Score	Features werden vergleichbar; gut fuer Distanzverfahren.	Ausreisser beeinflussen Mittelwert und Standardabweichung.
Min-Max	Werte liegen in festem Bereich, z. B. [0,1].	Sehr empfindlich gegen Extremwerte.
Robuste Skalierung	Nutzt Median/Quantile und reduziert Ausreissereinfluss.	Interpretation veraendert sich; nicht blind anwenden.

Klausurmerksatz: Eine Distanzmetrik definiert, was "aehnlich" bedeutet. Normalisierung definiert, welche Features ueberhaupt fair mitreden duerfen.

3. Centroid Clustering: K-Means

3.1 Cluster, Partition und Zielfunktion

K-Means erzeugt eine harte Partition: Jeder Datenpunkt gehoert genau zu einem Cluster, kein Cluster ist leer, und Mitgliedschaft ist binaer. Ein Cluster C_k ist eine nichtleere Teilmenge der Datenpunkte.

C_j ∩ C_k = ∅ fuer j ≠ k ∪_k=1^KC_k = {x₁,...,x_n}

Die Zielfunktion ist die Inertia bzw. Within-Cluster Sum of Squares (WCSS):

J=∑_k=1^K∑_{x_i∈C_k}||x_i-μ_k||₂² μ_k = (1/|C_k|)∑_{x_i∈C_k}x_i

K: vorgegebene Anzahl Cluster.
μ_k: Centroid des Clusters C_k, also der Mittelwert seiner Punkte.
J: Summe quadrierter Distanzen der Punkte zu ihren Centroids.

3.2 Algorithmus

Schritt	Operation	Intuition
Initialisierung	Waehle K Start-Centroids.	Start bestimmt, in welches lokale Optimum man laeuft.
Assignment	c_i←arg min_k\|\|x_i-μ_k\|\|²	Jeder Punkt geht zum naechsten Centroid.
Update	μ_k←(1/\|C_k\|)∑x_i	Centroid wandert zum Mittelwert seiner Punkte.
Stopp	Assignments aendern sich nicht mehr.	Konvergenz, aber nicht zwingend globales Optimum.

K-Means-Idee: Assignment und Update

3.3 Initialisierung, K-Auswahl und Bewertung

Mehrere Restarts: K-Means findet lokale Optima; mehrere Seeds reduzieren das Risiko schlechter Start-Centroids.

K-Means++: Start-Centroids werden weit auseinander gewaehlt; Punkte mit grossem Abstand zu vorhandenen Centroids haben hoehere Auswahlwahrscheinlichkeit.

Elbow Method: Waehle das K, ab dem zusaetzliche Cluster die Inertia nur noch wenig senken.

Silhouette: Bewertet pro Punkt, ob er naeher am eigenen Cluster als am naechsten Fremdcluster liegt.

s(i)=(b(i)-a(i))/max(a(i),b(i))

a(i): mittlere Distanz von x_i zu Punkten im eigenen Cluster.
b(i): mittlere Distanz von x_i zum naechsten anderen Cluster.
s(i): Silhouette Score in [-1,1]; nahe 1 ist gut, nahe 0 unklar, negativ spricht fuer Fehlzuordnung.

Typische Rechenaufgabe

Gegeben x₁=(1,1), x₂=(3,1), x₃=(8,7), Start-Centroids c₁=(0,3), c₂=(6,5). Die Assignment-Distanzen sind:

Punkt	d²(x,c₁)	d²(x,c₂)	Cluster
x₁=(1,1)	5	41	C₁
x₂=(3,1)	13	25	C₁
x₃=(8,7)	80	8	C₂

Update: μ₁'=((1,1)+(3,1))/2=(2,1), μ₂'=(8,7). Die finale Inertia ist:

J=||(1,1)-(2,1)||²+||(3,1)-(2,1)||²+0=1+1=2

Pruefungsfalle: K=3 bei drei Punkten gibt trivial J=0. Das beweist kein "perfektes Muster", sondern nur Overfitting der Clusteranzahl.

3.4 Failure Modes

Problem	Warum K-Means scheitert	Alternative
Nicht-konvexe Formen / Ringe	Zuordnung laeuft ueber Distanz zum Mittelwert; ein Ring hat seinen Mittelwert im leeren Zentrum.	DBSCAN, HDBSCAN, ggf. spektrale Methoden.
Elongierte Cluster	Euclidean-to-centroid bevorzugt kugelfoermige Gruppen.	Hierarchical single linkage, DBSCAN, PCA vorher pruefen.
Unterschiedliche Dichten/Groessen	Dichte und Groesse ziehen Centroids und Grenzen.	HDBSCAN, robuste Skalierung, andere Features.
Ausreisser	Der Mittelwert ist ausreisserempfindlich.	K-Medoids, DBSCAN-Rauschlabel, Ausreisseranalyse.

4. Hierarchical Clustering

4.1 Motivation und Dendrogramm

K-Means zwingt eine einzige Clusteranzahl K auf. Viele Daten haben aber Struktur auf mehreren Ebenen: grobe Gruppen, Untergruppen, noch feinere Muster. Hierarchical Clustering baut deshalb eine ganze Hierarchie von K=n bis K=1.

Ein Dendrogramm ist ein Binaerbaum: Blaetter sind Datenpunkte, innere Knoten sind Merges, und die Hoehe eines Merges ist die Distanz, bei der die Teilbaeume zusammengefuehrt wurden.

Dendrogramm lesen: horizontale Schnitte erzeugen flache Cluster

Nur die Merge-Hoehe zaehlt. Blattnachbarschaft im gezeichneten Baum ist keine Distanzgarantie.

4.2 Agglomerativer Algorithmus

Schritt	Beschreibung
1	Starte mit n Singleton-Clustern C_i={x_i}.
2	Berechne paarweise Distanzmatrix D[i,j]=d(x_i,x_j).
3	Merge die zwei naechsten aktiven Cluster.
4	Aktualisiere Distanzen per Linkage-Kriterium L.
5	Wiederhole, bis nur ein Cluster bleibt. Ergebnis: n-1 Merges.

Im Gegensatz zu K-Means gibt es keine zufaellige Initialisierung und keine Iterationskonvergenz. Bei Distanz-Ties kann die Merge-Reihenfolge aber von Tie-Breaking-Regeln abhaengen.

4.3 Linkage-Kriterien

Linkage	Formel fuer Cluster A,B	Charakter	Failure Mode
Single	min_a∈A,b∈Bd(a,b)	Findet langgezogene Formen; entspricht Minimum-Spanning-Tree-Logik.	Chaining: Brueckenpunkte verbinden Gruppen zu frueh.
Complete	max_a∈A,b∈Bd(a,b)	Bevorzugt kompakte Cluster.	Kann langgezogene echte Cluster zerschneiden.
Average	mean_a∈A,b∈Bd(a,b)	Kompromiss zwischen Single und Complete.	Immer noch sensitiv gegen globale Dichteunterschiede.
Ward	D_Ward(A,B)=n_An_B/(n_A+n_B) \|\|μ_A-μ_B\|\|²	Minimiert Varianzzuwachs; K-Means-aehnlich.	Erbt kugelfoermige/kompakte Bias.

Pruefungsfalle: Zahlen unterschiedlicher Linkages sind nicht direkt vergleichbar. Single liefert Distanzen, Ward liefert Varianzzuwachs.

4.4 K-Auswahl und Skalierung

Ein grosser Sprung zwischen zwei Merge-Hoehen ist das Dendrogramm-Analogon zum Elbow. Schneidet man horizontal in diesem Hoehenbereich, erhaelt man die natuerliche Clusteranzahl. Die Hauptkosten sind die Distanzmatrix mit O(n²) Speicher und der Merge-Prozess; bei n=50.000 sind paarweise 64-bit-Distanzen grob 9,3 GB.

Klausurmerksatz: Hierarchical Clustering gewinnt Multi-Skalen-Struktur, verliert aber Korrekturmoeglichkeit: Ein schlechter frueher Merge wird nicht spaeter wie bei K-Means neu zugeordnet.

5. Density-Based Clustering: DBSCAN, OPTICS, HDBSCAN

5.1 Idee

DBSCAN definiert Cluster nicht ueber Mittelwerte oder Linkage, sondern ueber lokale Dichte. Dadurch koennen nicht-konvexe Formen, Rauschen und Ausreisser behandelt werden, ohne K vorzugeben.

N_ε(p)={q∈X : d(p,q)≤ε}

ε: Nachbarschaftsradius.
n_min: Mindestzahl von Punkten in der Nachbarschaft, inklusive Punkt selbst.
p_c: Core point: |N_ε(p)|≥n_min.
p_b: Border point: kein Core point, aber in der Nachbarschaft eines Core points.
p_n: Noise point: weder Core noch Border.

DBSCAN-Punkttypen

5.2 Reachability und Algorithmus

Density reachability bedeutet: Von einem Core point aus kann ein anderer Punkt ueber eine Kette von Core-Nachbarschaften erreicht werden. Diese Beziehung ist fuer Border points nicht symmetrisch. Density connectivity macht daraus Cluster: Zwei Punkte gehoeren zum selben Cluster, wenn sie von einem gemeinsamen Core point aus erreichbar sind.

DBSCAN-Ablauf	Kommentar
Unvisited Punkt waehlen und N_ε berechnen.	Eine Nachbarschaftsabfrage pro Punkt; naiv O(n²).
Wenn \|N\|<n_min, vorlaeufig Noise.	Kann spaeter Border point werden, falls von Core erreicht.
Wenn Core point, neues Cluster starten.	Alle erreichbaren Core-/Border-Punkte expandieren.
Expansion stoppt, wenn keine neuen Nachbarn dazukommen.	K ergibt sich aus den Dichtekomponenten.

5.3 Hyperparameter

Parameter	Daumenregel	Diagnose
n_min	Meist n_min>d+1; in 2D oft 3 oder 4.	Zu klein erzeugt zufaellige Dichte; zu gross macht alles Noise.
ε	k-Distance-Plot mit k=n_min-1; Elbow waehlen.	Kein Elbow bedeutet: keine klare globale Dichteskala.

d_k⁽¹⁾ ≤ d_k⁽²⁾ ≤ ... ≤ d_k⁽ⁿ⁾

Der sortierte k-Distance-Plot zeigt den Uebergang von dichten Regionen zu Rauschen. Der Elbow ist ein sinnvoller Kandidat fuer ε.

5.4 Failure Modes und Erweiterungen

Problem	Effekt	Abhilfe
Varying density	Ein globales ε ist fuer dichte Cluster zu gross und fuer sparse Cluster zu klein.	OPTICS/HDBSCAN, Sensitivitaetssweep.
Bridging	Ketten von Core points verschmelzen eigentlich getrennte Cluster.	ε senken oder n_min erhoehen; kostet Randpunkte.
High dimensionality	Distanzen konzentrieren sich, Nachbarschaften werden leer oder bedeutungslos.	Dimensionsreduktion, Feature Engineering, geeignete Metrik.

OPTICS ersetzt die feste globale Dichteentscheidung durch einen Reachability-Plot ueber Dichteskalen. HDBSCAN nutzt lokale core distance und mutual reachability distance:

ε_c(x_i) = min{r : |N_r(x_i)| ≥ n_min} d_mreach(x_i,x_j)=max{ε_c(x_i), ε_c(x_j), d(x_i,x_j)}

Damit werden Punkte in sparse Regionen kuenstlich weiter auseinandergezogen; stabile Cluster ueber mehrere Dichtestufen werden bevorzugt.

6. Dimensionality Reduction: PCA, t-SNE, UMAP, ICA

6.1 Warum Dimension reduzieren?

Hohe Dimensionen machen Distanzverfahren schlechter: Nachbarabstaende konzentrieren sich, Dichte verschwindet, und Rechenkosten steigen. Gleichzeitig sind viele Features redundant, korreliert oder verrauscht. Ziel ist eine Abbildung f:ℝ^d→ℝ^k mit k<d, die die signaltragenden Freiheitsgrade erhaelt.

d_NN ∝ N^-1/d

Bei vielen realen Daten ist die intrinsische Dimension viel kleiner als die ambient dimension. MNIST liegt formal in ℝ⁷⁸⁴, variiert aber entlang deutlich weniger Formfaktoren.

6.2 Naive Varianzselektion

Man kann die Varianz jedes Originalfeatures berechnen und die Top-k Features behalten:

Var(x^(j))=(1/n)∑_i=1ⁿ(x_i^(j)-x̄^(j))²

Das funktioniert nur, wenn die relevanten Richtungen bereits mit den Koordinatenachsen ausgerichtet sind. Wenn die Daten diagonal oder auf einer gekruemmten Mannigfaltigkeit liegen, verliert reine Feature-Auswahl viel Information.

6.3 PCA

Principal Component Analysis konstruiert neue orthogonale Achsen maximaler Varianz. Bei zentrierten Daten X∈ℝ^n×d ist die Kovarianzmatrix:

S=(1/n)X^TX

PCA loest das Eigenwertproblem:

      S wj=λjwj
      Z=XWk,   X̂=ZWkT
      ExplainedVarianceRatioj=λj/∑lλl
    

w_j: Eigenvektor bzw. Principal Component.
λ_j: Eigenwert; Varianz entlang der Komponente.
Z: niedrigdimensionale Projektion.
X̂: Rekonstruktion aus der Projektion.

PCA: neue Achse entlang maximaler Varianz

Im Skriptbeispiel erklaert die erste Komponente etwa 95% der Varianz. Die Rekonstruktionsfehler zeigen den Vorteil: Naive Feature-Selektion kommt auf Fehler 58 bzw. 47,33; PCA auf ca. 5,38.

Pruefungsfalle: PCA findet unkorrelierte lineare Komponenten, nicht zwingend unabhaengige Ursachen. ICA geht staerker auf statistische Unabhaengigkeit, typischerweise ueber Nicht-Gaussianitaet.

6.4 t-SNE, UMAP und ICA

Methode	Ziel	Typische Nutzung	Nicht tun
PCA/SVD	Lineare Projektion, globale Varianz, Rekonstruktion.	Preprocessing, Rauschreduktion, Visualisierung, Clustering-Vorstufe.	Nicht erwarten, dass gekruemmte Mannigfaltigkeiten entfaltet werden.
t-SNE	Lokale Nachbarschaften in 2D/3D sichtbar machen; Student-t-Kernel reduziert Crowding.	Explorative Visualisierung.	Clusterabstaende, Clusterflaechen und globale Geometrie interpretieren.
UMAP	Lokale Struktur mit mehr globaler Anordnung als t-SNE erhalten.	Visualisierung grosser Daten, Nachbarschaftserkundung.	Blind als Downstream-Features verwenden.
ICA	Statistisch unabhaengige Quellen finden.	Signaltrennung, wenn lineare Mischungen unabhaengiger Quellen plausibel sind.	Mit PCA gleichsetzen: unkorreliert ist nicht unabhaengig.

Klausurmerksatz: Fuer Downstream-Learning PCA/SVD nutzen; t-SNE/UMAP sind prima Visualisierungen, aber ihre 2D-Embeddings sind keine stabile Grundlage fuer Klassifikatoren.

7. Autoencoder, Variational Inference und VAE

7.1 Autoencoder

Ein Autoencoder lernt eine nichtlineare Kompression und Rekonstruktion ohne Labels. Der Encoder bildet x auf eine latente Repraesentation z ab; der Decoder rekonstruiert daraus x̂.

      z=θE(x)
      x̂=θD(z)=θD(θE(x))
      LR=||x-x̂||2
    

Der Bottleneck zwingt das Modell, nur die rekonstruktionsrelevanten Faktoren zu behalten. Ein linearer Autoencoder mit MSE rekonstruiert im Kern denselben Subraum wie PCA; nichtlineare Autoencoder koennen gekruemmte Strukturen erfassen.

Autoencoder vs. VAE

7.2 VAE: probabilistischer Latent Space

Ein plain Autoencoder kann gute Rekonstruktionen liefern, aber sein Latent Space ist oft unorganisiert: Leere Regionen decodieren zu Unsinn, und verschiedene Modelle nutzen unterschiedliche Code-Konventionen. Der VAE ersetzt den Punktcode durch eine Verteilung:

      qφ(z|x)=N(μ(x), diag(σ2(x)))
      p(z)=N(0,I)
      z=μ+σ⊙ε, ε∼N(0,I)
    

Die Trainingsidee ist der Evidence Lower Bound (ELBO):

log p_θ(x) ≥ E_{q_φ(z|x)}[log p_θ(x|z)] - KL(q_φ(z|x)||p(z)) L = L_R + β L_KL

Die Rekonstruktion zwingt z, Information ueber x zu behalten. Der KL-Term zwingt den Latent Space in die Naehe eines gemeinsamen Priors, damit Sampling und Interpolation plausibel werden.

7.3 Gaussian-KL und Reparameterisation Trick

Fuer einen diagonal-gaussian Encoder gegen N(0,I) lautet der KL-Term pro Dimension:

L_KL^(j) = (1/2)(μ_j² + σ_j² - log σ_j² - 1) L_KL=∑_j=1^kL_KL^(j)

Der Reparameterisation Trick trennt Zufall von Parametern: Zufall kommt aus ε, waehrend Gradienten durch μ und σ fliessen koennen.

Symptom	Diagnose	Gegenmassnahme
L_KL≈0, Rekonstruktionen sind Mittelwert/blurred.	Posterior collapse: Encoder ignoriert x.	β senken oder KL warm-up/annealing.
L_R niedrig, L_KL sehr hoch.	Encoder memorisiert und bypassed Prior.	β erhoehen, Kapazitaet pruefen.
Moderate KL, gute Rekonstruktion, glatte Interpolation.	Gesunder Latent Space.	Active units und OOD-Verhalten pruefen.

Klausurmerksatz: Ein VAE ist nicht nur ein Autoencoder mit Rauschen. Entscheidend ist der Tradeoff zwischen Rekonstruktion und KL-Regularisierung gegen einen priorisierten, samplbaren Latent Space.

8. Uncertainty Estimation und Out-of-Distribution Detection

Ein Modell kann sehr sicher falsch liegen. Softmax-Werte sind normalisierte Scores innerhalb bekannter Klassen; sie sind keine absolute Korrektheitswahrscheinlichkeit. OOD-Inputs und adversariale Perturbationen koennen hohe Softmax-Confidence erzeugen.

Begriff	Bedeutung	Reduzierbar?
Aleatoric uncertainty	Irreduzibles Datenrauschen, Mehrdeutigkeit der Welt.	Nein, hoechstens modellieren.
Epistemic uncertainty	Modellignoranz: das Modell weiss fuer diesen Bereich zu wenig.	Ja, durch bessere/mehr Daten.

Methode	Idee	Grenze
Calibration / ECE	Vergleiche angegebene Confidence mit empirischer Accuracy in Bins.	Kalibriert meist nur auf der Fit-Verteilung; OOD bleibt offen.
Histogram binning	Mappt Confidence-Bins auf beobachtete Accuracy.	Transferiert schlecht auf neue Verteilungen.
Confidence head	Extra Kopf sagt voraus, ob Hauptmodell wahrscheinlich korrekt ist.	Braucht saubere Trainingssignale/Outlier Exposure.
MC Dropout	Dropout bei Inferenz mehrfach aktivieren; Varianz als epistemisches Signal.	Unsichtbar fuer manche OOD-Inputs, wenn Feature-Geometrie taeuscht.
One-class VAE	Reconstruction error und Latent-Geometrie als Familiarity-Score.	Scheitert, wenn unbekannte Inputs geometrisch wie bekannte wirken.

Operational Design Domain (ODD) bezeichnet den Bereich, fuer den ein System gebaut und trainiert wurde. Data drift verschiebt die Eingabestatistik; model drift entkoppelt Confidence von tatsaechlicher Accuracy.

Pruefungsfalle: Ein OOD-Detektor ist nur so gut wie sein Domain-Begriff. Ein geometrischer Detektor erkennt keine semantische Neuheit, wenn sie geometrisch im bekannten Raum liegt.

9. Transfer Learning und Foundation Models

Transfer Learning trennt den teuren Encoder/Backbone von einem billigen Task Head. Der Backbone wird auf breiten Daten vortrainiert und auf neue Aufgaben wiederverwendet.

Strategie	Wann?	Tradeoff
Frozen backbone + linear probe	Wenig Labels, Zielverteilung nahe am Pretraining.	Sehr billig; begrenzte Anpassung.
Few-shot / nearest centroid	Klassen sind im Embedding schon getrennt.	Cosine similarity auf normalisierten Embeddings oft ausreichend.
Fine-tuning	Mehr Labels oder groessere Domainverschiebung.	Bessere Anpassung, aber teurer und Overfitting-Gefahr.
LoRA / Adapter	Grosse Modelle effizient anpassen.	Nur kleine Low-Rank-Korrekturen werden trainiert.
Zero-shot / CLIP-artig	Keine Zielklassenbeispiele, aber Semantik/Prompts vorhanden.	Bridge zwischen Modalitaeten muss Source/Target gut abdecken.

Class centroids dienen als Anker im Embedding: Man mittelt Beispiele einer Klasse zu einem Prototypen und klassifiziert neue Punkte ueber naechsten Prototypen. Bei CLIP treffen Bild- und Textencoder in einem gemeinsamen Raum zusammen; die contrastive loss macht passende Bild-Text-Paare aehnlich und unpassende verschieden.

Klausurmerksatz: Der Wert des Pretrainings steckt im Backbone, nicht im alten Classification Head. Beim Transfer wird der alte Head fast immer verworfen.

10. Self-Supervised Learning

Self-Supervised Learning gewinnt Labels aus der Datenstruktur selbst. Das Pretext Task ist nur das Geruest; das eigentliche Produkt ist die Repraesentation, die auf Downstream-Tasks transferiert.

Familie	Signal	Beispiel	Failure Mode
Handcrafted pretext	Rotation, Patch-Reihenfolge, Colorization.	Bildrotation vorhersagen.	Task kann zu einfach sein und Shortcuts lernen.
Contrastive learning	Verschiedene Views desselben Inputs nah, andere Inputs fern.	SimCLR-artige Augmentationen.	Falsche Augmentationen machen relevante Features invariant.
Masked prediction	Verdeckte Teile rekonstruieren.	BERT maskierte Tokens, MAE maskierte Patches.	Einzelne Masken koennen trivial aus Kontext erraten werden; Span masking ist schwerer.
Next-token prediction	Naechstes Token aus Prefix vorhersagen.	Decoder-only Sprachmodelle.	Trainingssignal ist lokal, emergente Faehigkeiten kommen durch Skalierung und Datenbreite.
Latent prediction	Student sagt Teacher-Features statt Rohpixel voraus.	JEPA, DINO-aehnliche Teacher-Student-Rezepte.	Stabiler Teacher noetig; sonst kollabiert das Ziel.

Architektur folgt dem Downstream-Regime: Encoder-only fuer Understanding, Decoder-only fuer Generation, Encoder-Decoder fuer beides mit hoeherem Rechenaufwand.

11. Weak Supervision

Weak Supervision akzeptiert, dass Labels random variables sind: ỹ ist eine verrauschte Messung einer nie direkt beobachteten Wahrheit y. Statt perfekte Labels teuer zu sammeln, kombiniert man schwache Quellen.

Quelle	Staerke	Risiko
Heuristische Regeln	Billig, interpretierbar, guter Baseline-Floor.	Geringe Coverage, Autor-Bias.
Crowd Labels	Skalierbar und flexibel.	Inter-Annotator-Disagreement.
Sensoren/Proxies	Automatisch, nah an realen Signalen.	Korrelation kann bei Distribution Shift brechen.
LLM-as-a-Judge / Reward Model	Nutzt verifier-generator gap; Urteilen ist oft leichter als Generieren.	Kalibrierungs- und Stilbias des Judge-Modells.
Generator / Teacher	Softmax/Soft labels enthalten mehr Struktur als One-hot.	Teacher-Fehler werden destilliert.

Snorkel-artige Pipeline: Engineers schreiben Labelling Functions, ein Label Model lernt deren Genauigkeiten und Korrelationen aus Votes/Abstentions, erzeugt Soft Labels, und ein End Model trainiert mit vollem Zugriff auf die Inputs auf diesen probabilistischen Targets.

Klausurmerksatz: Das Label Model sieht nur Votes, nicht die Inputs. Das End Model sieht Inputs, nicht die Regeln. Deshalb kann es ueber die Regeln hinaus generalisieren.

12. Reinforcement Learning Fundamentals

Reinforcement Learning ersetzt per-example Labels durch einen skalaren Reward, der von Aktionssequenzen abhaengt. Das Kernproblem ist Credit Assignment: Welche fruehere Aktion war fuer spaeteren Reward verantwortlich?

12.1 Markov Decision Process

Ein MDP besteht aus Zustand s, Aktion a, Uebergang P(s'|s,a), Reward r(s,a) und Discount γ∈[0,1). Die Markov-Eigenschaft sagt: Der naechste Zustand haengt nur von aktuellem Zustand und aktueller Aktion ab.

      Gt=∑k=0∞γkrt+k+1
      Vπ(s)=Eπ[r(s,a)+γVπ(s')]
      Q(s,a)←Q(s,a)+α[r+\gamma;maxa'Q(s',a')-Q(s,a)]
    

G_t: discounted return ab Zeitpunkt t.
π: Policy, also Verhaltensregel von Zuständen zu Aktionen.
V: State value: erwarteter Return aus Zustand s.
Q: Action value: erwarteter Return fuer Aktion a in Zustand s.

12.2 Value-Based vs Policy-Based

Ansatz	Was wird gelernt?	Stabilisierung	Pruefungsrelevant
Q-Learning	Action values; Policy daraus greedy oder ε-greedy.	Tabular stabil; off-policy.	Bootstrapping gegen naechsten Wert.
DQN	Neuronales Netz approximiert Q_θ(s,a).	Replay Buffer gegen Korrelation; Target Network gegen bewegliches Ziel.	Ein Update aendert viele State-Action-Werte zugleich.
Policy Gradient	Stochastische Policy π_θ(a\|s) direkt.	On-policy; Daten muessen zur aktuellen Policy passen.	Ermoeglicht kontinuierliche Aktionsraeume.
PPO	Policy update mit begrenztem Ratio-Schritt.	Clipping von r_t(θ)=π_θ(a\|s)/π_old(a\|s), oft etwa [0.8,1.2].	Stabilitaet vs. Sample Efficiency.

Exploration ist notwendig, weil der Agent sonst nie Daten ueber unbekannte gute Aktionen sammelt. Praktische Standardhebel sind ε-greedy, stochastische Policies und Entropy Bonuses.

Pruefungsfalle: Off-policy heisst nicht "ohne Policy". Es heisst, dass aus Daten gelernt werden kann, die unter einer anderen Behaviour Policy gesammelt wurden.

13. Lerncheckliste

Kann ich ...?	Relevant fuer
erklaeren, warum Distanzwahl und Skalierung die Musterdefinition veraendern?	Similarity, K-Means, DBSCAN
Euclidean, Manhattan, Cosine und Mahalanobis berechnen und interpretieren?	Rechenaufgaben
eine K-Means-Iteration mit Assignment, Update und Inertia durchrechnen?	K-Means
Elbow und Silhouette unterscheiden?	K-Auswahl
Dendrogramme lesen und Linkage-Kriterien vergleichen?	Hierarchical Clustering
Core, Border und Noise points in DBSCAN klassifizieren?	DBSCAN
erklaeren, warum DBSCAN bei varying density und high dimensionality scheitert?	Failure Modes
PCA aus Zentrierung, Kovarianzmatrix, Eigenvektoren und explained variance herleiten?	Dimensionality Reduction
t-SNE/UMAP korrekt als Visualisierung und nicht als Downstream-Feature verstehen?	Visualisierung
Autoencoder, VAE, ELBO, KL-Term und Reparameterisation Trick erklaeren?	Variational Inference
posterior collapse und KL warm-up diagnostizieren?	VAE Training
softmax confidence, calibration, MC Dropout und VAE-OOD vergleichen?	Uncertainty
Backbone, Head, linear probe, fine-tuning, LoRA und zero-shot unterscheiden?	Transfer Learning
Pretext, contrastive, masked und next-token prediction einordnen?	Self-Supervised Learning
Snorkel/Weak Supervision mit labelling functions, label model und soft labels erklaeren?	Weak Supervision
MDP, Bellman-Gleichung, Q-Learning, DQN, Policy Gradient und PPO abgrenzen?	Reinforcement Learning

14. Moegliche Klausurfragen

Warum ist Unsupervised Learning ohne Labels trotzdem nicht objektiv? Diskutieren Sie Distanzmetriken und Skalierung.
Berechnen Sie fuer zwei Punkte Euclidean, Manhattan, Cosine und Mahalanobis Distance und interpretieren Sie die Unterschiede.
Fuehren Sie eine K-Means-Iteration durch und berechnen Sie die Inertia.
Warum konvergiert K-Means, aber nicht notwendigerweise zum globalen Optimum?
Vergleichen Sie Elbow Method und Silhouette Score.
Lesen Sie aus einem Dendrogramm bei gegebenem Cut die Cluster ab und erklaeren Sie die Merge-Hoehen.
Vergleichen Sie single, complete, average und Ward linkage inklusive Failure Modes.
Klassifizieren Sie Punkte in DBSCAN als p_c, p_b oder p_n.
Wie waehlt man ε ueber den k-Distance-Plot? Was bedeutet kein sichtbarer Elbow?
Warum ist high dimensionality fuer DBSCAN besonders kritisch?
Leiten Sie PCA ueber die Kovarianzmatrix her und erklaeren Sie explained variance.
Warum sollte t-SNE nicht als Feature-Transformation fuer einen Klassifikator genutzt werden?
Erklaeren Sie den Unterschied zwischen Autoencoder und VAE.
Berechnen Sie den Gaussian-KL-Term fuer gegebene μ und σ.
Was ist posterior collapse und wie hilft KL annealing?
Warum ist softmax confidence kein OOD-Sicherheitsnachweis?
Wann nutzen Sie frozen backbone, linear probe, fine-tuning oder LoRA?
Was ist der gemeinsame Kern von masked-token prediction, masked-patch prediction und next-token prediction?
Wie kombiniert ein Snorkel-artiges Label Model mehrere labelling functions?
Erklaeren Sie Bellman recursion und den Unterschied zwischen Q-Learning, DQN und PPO.

15. Druckhinweis

Fuer den PDF-Export im Browser: A4, Skalierung 100 Prozent, Hintergrundgrafiken aktivieren und Browser-Kopf-/Fusszeilen deaktivieren. Die HTML-Datei nutzt das gemeinsame druckoptimierte Stylesheet.

16. Abdeckungstabelle

Folie/Kapitel	Inhalt	In Zusammenfassung enthalten?	Wo behandelt?
Seiten 1-12	Titel, Lizenz, Inhaltsverzeichnis, Einleitung, Lernphilosophie	Ja, soweit fachlich relevant	Header, Abschnitt 1
Seiten 13-26	Similarity and Distance, Feature Space, Metriken, Skalierung, Uebungen	Ja	Abschnitt 2
Seiten 27-40	Centroid Clustering, K-Means, Inertia, K-Auswahl, Silhouette, Failure Modes	Ja	Abschnitt 3
Seiten 41-58	Hierarchical Clustering, Dendrogramm, Linkage, Ward, Chaining, Skalierung	Ja	Abschnitt 4
Seiten 59-74	Density-Based Clustering, DBSCAN, Parameterwahl, OPTICS, HDBSCAN, Curse of Dimensionality	Ja	Abschnitt 5
Seiten 75-76	Teiltrenner Representing Pattern	Ja, strukturell	Abschnitt 6 Einleitung
Seiten 77-96	Dimensionality Reduction, PCA, SVD, t-SNE, UMAP, ICA, MNIST-Beispiel	Ja	Abschnitt 6
Seiten 97-120	Variational Inference, Autoencoder, VAE, ELBO, KL, Reparameterisation, Varianten, Training	Ja	Abschnitt 7
Seiten 121-124	Uncertainty Estimation, Calibration, MC Dropout, Confidence Head, OOD, Drift	Ja	Abschnitt 8
Seiten 125-126	Teiltrenner Distilling Pattern	Ja, strukturell	Abschnitt 9 Einleitung
Seiten 127-130	Transfer Learning, Backbone, Probes, zero-/few-shot, CLIP, LoRA	Ja	Abschnitt 9
Seiten 131-136	Self-Supervised Learning, Pretext, Contrastive, Masked/Next-token Prediction, JEPA/DINO	Ja	Abschnitt 10
Seiten 137-140	Weak Supervision, Labelling Functions, Judges, Distillation, Snorkel, Soft Labels	Ja	Abschnitt 11
Seiten 141-142	Teiltrenner Interaction Pattern	Ja, strukturell	Abschnitt 12 Einleitung
Seiten 143-148	Reinforcement Learning Fundamentals, MDP, Bellman, Q-Learning, DQN, PPO, Exploration	Ja	Abschnitt 12
Seiten 149-151	Index	Ja, inhaltlich ueber Begriffe integriert	Alle Abschnitte, Checkliste