{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Grundidee\nWas ist der Kern von Unsupervised Learning?","answer":"Unsupervised Learning sucht Muster in Daten ohne explizite Labels.\n\nKernfrage: Welche Struktur steckt in den Eingaben $x$, wenn kein Zielsignal $\\tilde y$ vorhanden ist?\n\nTypische Ziele:\n\n- Pattern finden: Gruppen, Dichten, Nachbarschaften\n- Pattern repraesentieren: Embeddings, latente Faktoren, Dimensionsreduktion\n- Pattern nutzen: Transfer, OOD-Erkennung, Self-Supervised Learning\n\nPruefungsfalle: Ohne Labels heisst nicht ohne Annahmen. Metrik, Skalierung und Modellklasse definieren, was als Muster zaehlt.","tags":["grundlagen","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 1; Skript Seiten 13-15","external_id":"unsupervised-learning-cards-001"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Kein Label, kein direkter Fehler\nWarum fehlt im Unsupervised Learning ein direkter Trainingsfehler gegen ein Ziel?","answer":"Im Supervised Learning vergleicht man eine Vorhersage $\\hat y$ mit einem beobachteten Ziel $\\tilde y$ und optimiert z. B.\n\n$$\\theta \\leftarrow \\theta - \\eta \\nabla_\\theta L(\\hat y, \\tilde y).$$\n\nIm Unsupervised Learning gibt es dieses externe Zielsignal nicht. Das Modell muss daher Struktur aus den Eingaben selbst ableiten, z. B. ueber Distanzen, Rekonstruktion, Dichte, Vorhersage maskierter Teile oder Rewards.","tags":["grundlagen","optimierung"],"source":"Zusammenfassung Abschnitt 1; Skript Seiten 13-14","external_id":"unsupervised-learning-cards-002"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Pattern-Kette\nWelche drei Fragen strukturieren das Skript zu Unsupervised Learning?","answer":"Die Stofflogik ist:\n\n1. **Pattern finden:** Welche Punkte sind aehnlich? Welche Gruppen oder Dichten gibt es?\n2. **Pattern repraesentieren:** Welche Koordinaten, Embeddings oder latenten Faktoren tragen die Information?\n3. **Pattern nutzen:** Wie verwendet man gelernte Repraesentationen fuer Transfer, Unsicherheit, Weak Supervision oder interaktive Lernsignale?\n\nDiese Kette hilft in Klausurantworten, Methoden nicht isoliert, sondern nach ihrem Zweck einzuordnen.","tags":["ueberblick","pruefung"],"source":"Zusammenfassung Abschnitt 1; Skript Inhaltsverzeichnis Seiten 5-6","external_id":"unsupervised-learning-cards-003"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Feature Space\nWas bedeutet Feature Space im Kontext von Clustering?","answer":"Ein Datenpunkt ist ein Vektor im Feature Space:\n\n$$x_i = (x_i^{(1)}, x_i^{(2)}, \\dots, x_i^{(d)}).$$\n\nJedes Feature ist eine Dimension. Clustering-Algorithmen treffen Aussagen ueber Abstaende, Nachbarschaften oder Dichten in diesem Raum.\n\nPruefungsfalle: Der Feature Space ist nicht neutral. Feature-Auswahl, Skalierung und Metrik veraendern die Geometrie und damit das gefundene Muster.","tags":["feature-space","clustering"],"source":"Zusammenfassung Abschnitt 2.1; Skript Seiten 14-16","external_id":"unsupervised-learning-cards-004"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Distanzmetrik\nWelche vier Eigenschaften muss eine echte Distanzmetrik erfuellen?","answer":"Eine Distanzfunktion $d:X\\times X\\to \\mathbb{R}_{\\ge 0}$ muss erfuellen:\n\n1. **Nichtnegativitaet:** $d(x,y)\\ge 0$\n2. **Identitaet:** $d(x,y)=0 \\Leftrightarrow x=y$\n3. **Symmetrie:** $d(x,y)=d(y,x)$\n4. **Dreiecksungleichung:** $d(x,z)\\le d(x,y)+d(y,z)$\n\nDiese Eigenschaften machen Distanz als formale Aehnlichkeit interpretierbar.","tags":["distanz","definition"],"source":"Zusammenfassung Abschnitt 2.2; Skript Seite 16","external_id":"unsupervised-learning-cards-005"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Euclidean vs. Manhattan\nWie unterscheiden sich Euclidean Distance und Manhattan Distance?","answer":"**Euclidean Distance** misst den Luftlinienabstand:\n\n$$d_E(x,y)=\\sqrt{\\sum_{i=1}^d (x_i-y_i)^2}.$$\n\n**Manhattan Distance** misst achsengebundene Wege:\n\n$$d_1(x,y)=\\sum_{i=1}^d |x_i-y_i|.$$\n\nEuclidean passt zu glatten kontinuierlichen Raeumen, Manhattan zu Grid-/Taxicab-Geometrien. Beide sind skalenempfindlich.","tags":["distanz","rechenaufgabe"],"source":"Zusammenfassung Abschnitt 2.3; Skript Seiten 16-18","external_id":"unsupervised-learning-cards-006"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Rechenmuster Distanz\nBerechne fuer $A=(3,1)$ und $B=(6,8)$ die Euclidean und Manhattan Distance.","answer":"Differenzen: $(6-3, 8-1)=(3,7)$.\n\nEuclidean:\n\n$$d_E(A,B)=\\sqrt{3^2+7^2}=\\sqrt{58}\\approx 7.62.$$\n\nManhattan:\n\n$$d_1(A,B)=|3|+|7|=10.$$\n\nInterpretation: Dieselben Punkte bekommen je nach Metrik unterschiedliche Abstaende, weil die Metrik unterschiedliche Annahmen ueber Aehnlichkeit codiert.","tags":["distanz","rechenaufgabe"],"source":"Zusammenfassung Abschnitt 2.3; Skript Seiten 17-20","external_id":"unsupervised-learning-cards-007"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Cosine Similarity\nWann ist Cosine Similarity sinnvoll und was ignoriert sie?","answer":"Cosine Similarity misst den Winkel bzw. die Richtung zweier Vektoren:\n\n$$\\cos(x,y)=\\frac{x^T y}{\\lVert x\\rVert_2\\lVert y\\rVert_2}.$$\n\nSinnvoll, wenn Richtung wichtiger ist als Betrag, z. B. bei Text-Embeddings oder Profilvektoren.\n\nPruefungsfalle: Cosine ignoriert die Intensitaet. Zwei Vektoren mit gleicher Richtung wirken sehr aehnlich, auch wenn einer viel groesser ist.","tags":["distanz","cosine"],"source":"Zusammenfassung Abschnitt 2.3; Skript Seiten 18-19","external_id":"unsupervised-learning-cards-008"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Mahalanobis Distance\nWas beruecksichtigt die Mahalanobis Distance zusaetzlich zur Euclidean Distance?","answer":"Mahalanobis Distance beruecksichtigt Varianzen und Korrelationen der Features:\n\n$$d_{Mah}(x,y)=\\sqrt{(x-y)^T\\Sigma^{-1}(x-y)}.$$\n\n$\\Sigma$ ist die Kovarianzmatrix. Richtungen mit hoher Varianz werden relativ abgeschwaecht, korrelierte Features werden nicht doppelt gezaehlt.\n\nPraktischer Hinweis: Numerisch nicht blind $\\Sigma^{-1}$ explizit invertieren, sondern ein lineares System loesen.","tags":["distanz","kovarianz","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 2.3; Skript Seiten 19-20","external_id":"unsupervised-learning-cards-009"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Skalierung\nWarum ist Standardisierung vor Distanzverfahren oft notwendig?","answer":"Standardisierung setzt jedes Feature auf Mittelwert 0 und Standardabweichung 1:\n\n$$z_i=\\frac{x_i-\\mu_i}{\\sigma_i}.$$\n\nOhne Skalierung dominiert ein Feature mit grossem Zahlenbereich die Distanz, auch wenn es fachlich nicht wichtiger ist.\n\nPruefungsfalle: Skalierung ist keine kosmetische Vorverarbeitung. Sie veraendert die Geometrie, in der K-Means, DBSCAN, PCA und Nachbarschaften arbeiten.","tags":["skalierung","distanz","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 2.4; Skript Seiten 20-26","external_id":"unsupervised-learning-cards-010"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Skalierungsarten\nWann nutzt man Z-Score, Min-Max oder robuste Skalierung?","answer":"| Transformation | Einsatz | Risiko |\n|---|---|---|\n| Z-Score | Distanzverfahren mit vergleichbaren Features | Ausreisser beeinflussen Mittelwert und Standardabweichung |\n| Min-Max | Werte in festem Bereich, z. B. $[0,1]$ | Extremwerte verzerren alles |\n| Robuste Skalierung | Ausreisserreiche Daten | Interpretation aendert sich |\n\nKlausurpunkt: Immer begruenden, welche Skalierung zur Datenverteilung passt.","tags":["skalierung","vorverarbeitung"],"source":"Zusammenfassung Abschnitt 2.4; Skript Seiten 20-26","external_id":"unsupervised-learning-cards-011"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means Partition\nWas bedeutet harte Partition bei K-Means?","answer":"K-Means erzeugt eine harte Partition:\n\n- Jeder Punkt gehoert genau zu einem Cluster.\n- Cluster ueberlappen nicht.\n- Kein Cluster ist leer.\n\nFormal:\n\n$$C_j\\cap C_k=\\emptyset\\quad (j\\ne k),\\qquad \\bigcup_{k=1}^K C_k = \\{x_1,\\dots,x_n\\}.$$\n\nPruefungsfalle: K-Means kann nicht abstain. Auch Ausreisser werden einem Cluster zugeordnet.","tags":["k-means","clustering"],"source":"Zusammenfassung Abschnitt 3.1; Skript Seiten 27-29","external_id":"unsupervised-learning-cards-012"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means Zielfunktion\nWas minimiert K-Means?","answer":"K-Means minimiert die Within-Cluster Sum of Squares, auch Inertia genannt:\n\n$$J=\\sum_{k=1}^K\\sum_{x_i\\in C_k}\\lVert x_i-\\mu_k\\rVert_2^2.$$\n\nDer Centroid ist der Mittelwert des Clusters:\n\n$$\\mu_k=\\frac{1}{|C_k|}\\sum_{x_i\\in C_k}x_i.$$\n\nInterpretation: Gute Cluster sind nach dieser Definition kompakt um ihren Mittelwert.","tags":["k-means","zielfunktion"],"source":"Zusammenfassung Abschnitt 3.1; Skript Seiten 29-31","external_id":"unsupervised-learning-cards-013"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means Algorithmus\nWelche Schritte wiederholt K-Means?","answer":"K-Means alterniert zwei Schritte:\n\n1. **Assignment:** Jeder Punkt geht zum naechsten Centroid.\n   $$c_i \\leftarrow \\arg\\min_k \\lVert x_i-\\mu_k\\rVert^2$$\n2. **Update:** Jeder Centroid wird zum Mittelwert seiner Punkte.\n   $$\\mu_k \\leftarrow \\frac{1}{|C_k|}\\sum_{x_i\\in C_k}x_i$$\n\nStopp: Assignments oder Centroids aendern sich nicht mehr. Das ist Konvergenz, aber nicht automatisch das globale Optimum.","tags":["k-means","algorithmus"],"source":"Zusammenfassung Abschnitt 3.2; Skript Seiten 29-31","external_id":"unsupervised-learning-cards-014"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Konvergenz\nWarum konvergiert K-Means, aber nicht zwingend global optimal?","answer":"Jeder Assignment- und Update-Schritt erhoeht die Inertia nicht; die Zielfunktion faellt monoton oder bleibt gleich. Weil es nur endlich viele harte Partitionen gibt, terminiert der Algorithmus.\n\nAber: Die Zielfunktion ist nicht konvex in Assignments und Centroids gemeinsam. K-Means kann in einem lokalen Optimum landen, das stark von den Start-Centroids abhaengt.","tags":["k-means","optimierung","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 3.2; Skript Seiten 29-32","external_id":"unsupervised-learning-cards-015"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means++\nWozu dienen mehrere Restarts und K-Means++?","answer":"K-Means ist startwertsensitiv.\n\n- **Mehrere Restarts:** Algorithmus mit verschiedenen Seeds laufen lassen und Loesung mit niedrigster Inertia behalten.\n- **K-Means++:** Start-Centroids werden bewusst weit auseinander gewaehlt. Punkte mit grossem Abstand zu vorhandenen Centroids haben hoehere Auswahlwahrscheinlichkeit.\n\nBeides reduziert schlechte lokale Optima, garantiert aber weiterhin kein globales Optimum.","tags":["k-means","initialisierung"],"source":"Zusammenfassung Abschnitt 3.3; Skript Seiten 31-32","external_id":"unsupervised-learning-cards-016"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Elbow Method\nWie funktioniert die Elbow Method bei K-Means?","answer":"Man berechnet die beste Inertia fuer mehrere Werte von $K$ und plottet $J(K)$.\n\nGesucht ist der Knick: Ab diesem $K$ senken zusaetzliche Cluster die Inertia nur noch wenig.\n\nPruefungsfalle: Der Elbow ist eine Heuristik. Bei ueberlappenden oder hierarchischen Daten kann es keinen klaren Knick geben, oder mehrere sinnvolle Skalen koennen gleichzeitig existieren.","tags":["k-means","modellwahl"],"source":"Zusammenfassung Abschnitt 3.3; Skript Seiten 32-38","external_id":"unsupervised-learning-cards-017"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Silhouette Score\nWas misst der Silhouette Score?","answer":"Der Silhouette Score vergleicht Naehe zum eigenen Cluster mit Naehe zum naechsten Fremdcluster:\n\n$$s(i)=\\frac{b(i)-a(i)}{\\max(a(i),b(i))}.$$\n\n- $a(i)$: mittlere Distanz von $x_i$ zu Punkten im eigenen Cluster\n- $b(i)$: mittlere Distanz zum naechsten anderen Cluster\n- $s(i)\\in[-1,1]$\n\nNahe 1: gut zugeordnet. Nahe 0: Grenze/unklar. Negativ: wahrscheinlich falscher Cluster.","tags":["k-means","bewertung","silhouette"],"source":"Zusammenfassung Abschnitt 3.3; Skript Seiten 33-37","external_id":"unsupervised-learning-cards-018"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means Rechenaufgabe\nGegeben $x_1=(1,1)$, $x_2=(3,1)$, $x_3=(8,7)$ und nach Update $\\mu_1=(2,1)$, $\\mu_2=(8,7)$. Berechne die Inertia.","answer":"Cluster $C_1=\\{(1,1),(3,1)\\}$ und $C_2=\\{(8,7)\\}$.\n\n$$J=\\lVert(1,1)-(2,1)\\rVert^2+\\lVert(3,1)-(2,1)\\rVert^2+\\lVert(8,7)-(8,7)\\rVert^2.$$\n\n$$J=1+1+0=2.$$\n\nPruefungsfalle: Bei $K=3$ und drei Punkten waere $J=0$, aber das ist nur triviales Overfitting der Clusteranzahl.","tags":["k-means","rechenaufgabe","inertia"],"source":"Zusammenfassung Abschnitt 3.3; Skript Seiten 34-37","external_id":"unsupervised-learning-cards-019"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means Failure Modes\nBei welchen Datenformen scheitert K-Means typischerweise und warum?","answer":"K-Means scheitert, wenn Distanz zum Mittelwert keine gute Mitgliedschaftsdefinition ist:\n\n- Ringe / nicht-konvexe Formen: Centroid liegt im leeren Zentrum.\n- Elongierte Cluster: Kugelform-Bias schneidet langgezogene Gruppen.\n- Unterschiedliche Groessen oder Dichten: Grenzen werden durch Mittelwerte verzerrt.\n- Ausreisser: Mittelwert wird stark gezogen.\n\nAlternativen: DBSCAN/HDBSCAN, hierarchische Verfahren, K-Medoids, bessere Features oder Skalierung.","tags":["k-means","failure-modes"],"source":"Zusammenfassung Abschnitt 3.4; Skript Seiten 38-40","external_id":"unsupervised-learning-cards-020"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Means vor Anwendung\nWelche drei Schritte solltest du vor K-Means auf einem neuen Datensatz pruefen?","answer":"1. **Features und Skalierung pruefen:** Sind Distanzen sinnvoll und fair?\n2. **Mehrere $K$ testen:** Elbow und Silhouette statt einzelnes geratenes $K$.\n3. **Mehrere Initialisierungen laufen lassen:** K-Means++ und Restarts nutzen.\n\nZusaetzlich: Ausreisser ansehen und nach nicht-konvexen Formen suchen. K-Means ist nicht die Default-Antwort fuer jede Punktwolke.","tags":["k-means","praxis","pruefung"],"source":"Skript Selbstreflexion Seiten 38-39","external_id":"unsupervised-learning-cards-021"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Hierarchical Clustering Motivation\nWelches Problem von K-Means loest Hierarchical Clustering?","answer":"K-Means erzwingt genau eine Clusteranzahl $K$. Viele Datensaetze haben aber Struktur auf mehreren Skalen: grobe Gruppen, Untergruppen, feinere Muster.\n\nHierarchical Clustering baut eine ganze Hierarchie von $K=n$ bis $K=1$ und speichert sie als Dendrogramm.\n\nKlausurformulierung: Nicht nur wie viele Cluster, sondern welche Abstraktionsebene brauche ich?","tags":["hierarchical-clustering","motivation"],"source":"Zusammenfassung Abschnitt 4.1; Skript Seiten 41-42","external_id":"unsupervised-learning-cards-022"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Dendrogramm\nWie liest man ein Dendrogramm?","answer":"Ein Dendrogramm ist ein binaerer Baum:\n\n- Blaetter: einzelne Datenpunkte\n- innere Knoten: Merges zweier Cluster\n- Merge-Hoehe: Distanz bzw. Linkage-Wert beim Zusammenfuehren\n\nEin horizontaler Schnitt bei einer Hoehe liefert eine flache Partition.\n\nPruefungsfalle: Blattnachbarschaft im gezeichneten Baum ist keine Distanzgarantie. Entscheidend sind Merge-Hoehen und Schnittlinie.","tags":["hierarchical-clustering","dendrogramm"],"source":"Zusammenfassung Abschnitt 4.1; Skript Seiten 42-44","external_id":"unsupervised-learning-cards-023"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Agglomerativer Algorithmus\nWie funktioniert agglomeratives hierarchisches Clustering?","answer":"Ablauf:\n\n1. Starte mit $n$ Singleton-Clustern $C_i=\\{x_i\\}$.\n2. Berechne paarweise Distanzmatrix.\n3. Merge die zwei naechsten aktiven Cluster.\n4. Aktualisiere Cluster-Distanzen mit einem Linkage-Kriterium.\n5. Wiederhole bis ein Cluster uebrig bleibt.\n\nEs entstehen genau $n-1$ Merges. Ohne Distanz-Ties ist das Ergebnis deterministisch.","tags":["hierarchical-clustering","algorithmus"],"source":"Zusammenfassung Abschnitt 4.2; Skript Seiten 44-46","external_id":"unsupervised-learning-cards-024"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Linkage-Kriterien\nWie unterscheiden sich single, complete und average linkage?","answer":"Fuer Cluster $A$ und $B$:\n\n- **Single linkage:** $\\min_{a\\in A,b\\in B} d(a,b)$, findet lange Formen, aber chaining-anfaellig.\n- **Complete linkage:** $\\max_{a\\in A,b\\in B} d(a,b)$, bevorzugt kompakte Cluster, kann elongated Cluster zerbrechen.\n- **Average linkage:** mittlere Paar-Distanz, Kompromiss zwischen single und complete.\n\nLinkage definiert, was nahe Cluster ueberhaupt bedeutet.","tags":["hierarchical-clustering","linkage"],"source":"Zusammenfassung Abschnitt 4.3; Skript Seiten 47-56","external_id":"unsupervised-learning-cards-025"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Ward Linkage\nWas misst Ward Linkage?","answer":"Ward Linkage misst den Zuwachs an Within-Cluster-Varianz beim Merge:\n\n$$D_{Ward}(A,B)=\\frac{n_A n_B}{n_A+n_B}\\lVert \\mu_A-\\mu_B\\rVert^2.$$\n\nWard bevorzugt kompakte, varianzschwache Cluster und ist K-Means-aehnlich.\n\nPruefungsfalle: Ward-Werte sind Varianzzuwachs, nicht direkt dieselbe Groesse wie Single-Linkage-Distanzen.","tags":["hierarchical-clustering","ward","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 4.3; Skript Seiten 49-56","external_id":"unsupervised-learning-cards-026"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Linkage-Zahlen\nWarum darf man Linkage-Hoehen unterschiedlicher Verfahren nicht blind vergleichen?","answer":"Unterschiedliche Linkages messen unterschiedliche Groessen:\n\n- Single: kleinste Paar-Distanz\n- Complete: groesste Paar-Distanz\n- Average: mittlere Paar-Distanz\n- Ward: Varianzzuwachs\n\nDaher bedeutet Hoehe 5 je nach Linkage nicht dasselbe. Vergleiche Linkage-Verfahren nach resultierender Struktur und Failure Mode, nicht nach rohen Zahlen.","tags":["hierarchical-clustering","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 4.3; Skript Seiten 49-56","external_id":"unsupervised-learning-cards-027"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# K-Auswahl im Dendrogramm\nWie waehlt man eine Clusteranzahl aus einem Dendrogramm?","answer":"Man sucht grosse Spruenge zwischen Merge-Hoehen. Ein horizontaler Schnitt in einem solchen Hoehenbereich trennt Cluster, bevor sehr unterschiedliche Teilbaeume zusammengefuehrt werden.\n\nDas ist das Dendrogramm-Analogon zum Elbow.\n\nPruefungsfalle: Ein Dendrogramm zeigt mehrere sinnvolle Skalen. Es gibt nicht immer genau ein natuerliches $K$.","tags":["hierarchical-clustering","modellwahl"],"source":"Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58","external_id":"unsupervised-learning-cards-028"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Irreversibilitaet\nWarum sind fruehe Fehler bei hierarchischem Clustering besonders kritisch?","answer":"Agglomeratives Clustering merged Cluster bottom-up. Ein einmal gemachter Merge wird nicht spaeter korrigiert.\n\nK-Means kann Punkte in spaeteren Iterationen neu zuordnen. Ein Dendrogramm dagegen konserviert fruehe Merges.\n\nKlausurmerksatz: Hierarchical Clustering gewinnt Multi-Skalen-Struktur, verliert aber Korrekturmoeglichkeit.","tags":["hierarchical-clustering","failure-modes"],"source":"Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58","external_id":"unsupervised-learning-cards-029"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Skalierung Hierarchical\nWas ist der zentrale Skalierungsnachteil von hierarchischem Clustering?","answer":"Die paarweise Distanzmatrix braucht $O(n^2)$ Speicher. Auch der Merge-Prozess ist fuer grosse $n$ teuer.\n\nBeispiel: Fuer $n=50{,}000$ braucht eine vollstaendige 64-bit-Distanzmatrix grob 9.3 GB nur fuer Distanzen.\n\nFolge: Fuer sehr grosse Datensaetze braucht man Approximationen, Sampling oder speziell skalierende Varianten.","tags":["hierarchical-clustering","skalierbarkeit"],"source":"Zusammenfassung Abschnitt 4.4; Skript Seiten 56-58","external_id":"unsupervised-learning-cards-030"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Idee\nWas ist die Grundidee von DBSCAN?","answer":"DBSCAN definiert Cluster ueber lokale Dichte statt ueber Mittelwerte oder eine feste Clusteranzahl.\n\nVorteile:\n\n- findet nicht-konvexe Formen\n- gibt Rauschen/Ausreisser als Noise aus\n- bestimmt $K$ aus den Daten\n\nZwei Parameter steuern das Verfahren: Radius $\\epsilon$ und Mindestpunktzahl $n_{min}$.","tags":["dbscan","density"],"source":"Zusammenfassung Abschnitt 5.1; Skript Seiten 59-61","external_id":"unsupervised-learning-cards-031"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Nachbarschaft\nWie ist die $\\epsilon$-Nachbarschaft definiert?","answer":"Fuer einen Punkt $p$ ist die $\\epsilon$-Nachbarschaft:\n\n$$N_\\epsilon(p)=\\{q\\in X : d(p,q)\\le \\epsilon\\}.$$\n\nSie enthaelt den Punkt selbst.\n\n$\\epsilon$ bestimmt die lokale Skala: zu klein fuehrt zu vielen Noise-Punkten, zu gross verschmilzt getrennte Strukturen.","tags":["dbscan","definition"],"source":"Zusammenfassung Abschnitt 5.1; Skript Seiten 61-62","external_id":"unsupervised-learning-cards-032"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Core, Border, Noise\nWie klassifiziert DBSCAN Punkte als Core, Border oder Noise?","answer":"Bei Parametern $(\\epsilon,n_{min})$:\n\n- **Core point $p_c$:** $|N_\\epsilon(p)|\\ge n_{min}$\n- **Border point $p_b$:** kein Core point, aber in der $\\epsilon$-Nachbarschaft eines Core points\n- **Noise point $p_n$:** weder Core noch Border\n\nPruefungsfalle: $n_{min}$ zaehlt den Punkt selbst mit.","tags":["dbscan","definition","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 5.1; Skript Seiten 61-62","external_id":"unsupervised-learning-cards-033"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Density Reachability\nWarum ist density reachability in DBSCAN nicht symmetrisch?","answer":"Ein Border point kann von einem Core point erreicht werden, wenn er in dessen $\\epsilon$-Nachbarschaft liegt.\n\nUmgekehrt kann der Border point den Core point aber nicht weiter erreichen lassen, weil Cluster-Expansion nur von Core points ausgeht.\n\nFolge: Border-Point-Zuordnung kann bei Konflikten von Besuchsreihenfolge abhaengen, waehrend die Punktklasse Core/Border/Noise fest durch die Nachbarschaftsgroesse bestimmt ist.","tags":["dbscan","reachability","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 5.2; Skript Seiten 61-63","external_id":"unsupervised-learning-cards-034"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Ablauf\nWie laeuft DBSCAN algorithmisch ab?","answer":"1. Waehle einen unvisited Punkt.\n2. Berechne $N_\\epsilon(p)$.\n3. Falls $|N|<n_{min}$: vorlaeufig Noise.\n4. Falls Core: neues Cluster starten.\n5. Expandiere ueber alle erreichbaren Core points und nimm Border points auf.\n6. Wiederhole bis alle Punkte besucht sind.\n\nNaiv kostet jede Nachbarschaftsabfrage $O(n)$, insgesamt $O(n^2)$; Raumindizes helfen in niedrigen Dimensionen.","tags":["dbscan","algorithmus"],"source":"Zusammenfassung Abschnitt 5.2; Skript Seiten 62-64","external_id":"unsupervised-learning-cards-035"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Parameterwahl\nWie waehlt man $n_{min}$ und $\\epsilon$?","answer":"Daumenregeln:\n\n- $n_{min}>d+1$, in 2D oft 3 oder 4.\n- $\\epsilon$ ueber den $k$-Distance-Plot mit $k=n_{min}-1$.\n\nMan sortiert die $k$-NN-Distanzen:\n\n$$d_k^{(1)}\\le d_k^{(2)}\\le \\dots \\le d_k^{(n)}.$$\n\nDer Elbow markiert den Uebergang von dichten Regionen zu Rauschen und ist ein Kandidat fuer $\\epsilon$.","tags":["dbscan","modellwahl"],"source":"Zusammenfassung Abschnitt 5.3; Skript Seiten 65-66","external_id":"unsupervised-learning-cards-036"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Kein k-Distance-Elbow\nWas bedeutet ein k-Distance-Plot ohne klaren Elbow?","answer":"Ein fehlender Elbow bedeutet meist: Es gibt keine klare globale Dichteskala.\n\nKonsequenzen:\n\n- Ein einzelnes $\\epsilon$ ist wahrscheinlich ungeeignet.\n- DBSCAN wird entweder Cluster zerreissen oder Dichten verschmelzen.\n- Naheliegende Alternativen: Parameter-Sweep, OPTICS oder HDBSCAN.\n\nKlausurpunkt: Nicht trotzdem irgendeinen Radius als objektiv verkaufen.","tags":["dbscan","modellwahl","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 5.3; Skript Seiten 65-66","external_id":"unsupervised-learning-cards-037"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Trace\nBei den sieben Punkten $x_1=(1,2)$, $x_2=(2,3)$, $x_3=(3,1)$, $x_4=(6,8)$, $x_5=(8,7)$, $x_6=(8,9)$, $x_7=(4,5)$ mit $\\epsilon=2.5$, $n_{min}=2$: Was findet DBSCAN?","answer":"Ergebnis:\n\n- $C_1=\\{x_1,x_2,x_3\\}$\n- $C_2=\\{x_4,x_5,x_6\\}$\n- $x_7$ ist Noise\n\nGrund: Die ersten zwei Dreiergruppen haben jeweils Nachbarn innerhalb $\\epsilon=2.5$. $x_7$ hat keinen Nachbarn innerhalb dieses Radius, also $N_{2.5}(x_7)=\\{x_7\\}$ und $|N|=1<2$.\n\nKlausurvergleich: K-Means muesste $x_7$ zwangsweise einem Cluster zuordnen.","tags":["dbscan","rechenaufgabe"],"source":"Zusammenfassung Abschnitt 5.2; Skript Seiten 69-71","external_id":"unsupervised-learning-cards-038"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN vs K-Means Noise\nWarum ist DBSCANs Noise-Label bei Ausreissern informativer als K-Means?","answer":"K-Means erzeugt eine harte Partition und muss jeden Punkt einem Cluster zuweisen.\n\nDBSCAN darf sagen: Dieser Punkt liegt in keiner dichten Region und wird als $p_n$ markiert.\n\nDas ist informativer, wenn die fachliche Bedeutung gerade ist, dass der Punkt nicht zu einer Gruppe gehoert. Eine erzwungene K-Means-Zuordnung kann dann mathematisch moeglich, aber inhaltlich irrefuehrend sein.","tags":["dbscan","k-means","ausreisser"],"source":"Zusammenfassung Abschnitt 5.2; Skript Seiten 69-72","external_id":"unsupervised-learning-cards-039"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DBSCAN Failure Modes\nWelche typischen Failure Modes hat DBSCAN?","answer":"DBSCAN scheitert haeufig bei:\n\n- **Varying density:** Ein globales $\\epsilon$ passt nicht fuer dichte und sparse Cluster zugleich.\n- **Bridging:** Ketten von Core points verbinden eigentlich getrennte Cluster.\n- **High dimensionality:** Distanzen konzentrieren sich; Nachbarschaften werden leer oder bedeutungslos.\n\nAbhilfe: Sensitivitaetsanalyse, bessere Features, Dimensionsreduktion, OPTICS oder HDBSCAN.","tags":["dbscan","failure-modes"],"source":"Zusammenfassung Abschnitt 5.4; Skript Seiten 66-68","external_id":"unsupervised-learning-cards-040"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# OPTICS\nWas veraendert OPTICS gegenueber DBSCAN?","answer":"OPTICS ersetzt die feste globale Dichteentscheidung durch eine Ordnung und Reachability-Distanzen ueber mehrere Dichteskalen.\n\nWichtige Begriffe:\n\n- Core distance $\\epsilon_c(x_i)$: kleinster Radius, der mindestens $n_{min}$ Nachbarn enthaelt.\n- Reachability distance: Kosten, mit denen ein Core point einen anderen Punkt erreicht.\n\nErgebnis ist ein Reachability-Plot, aus dem Cluster verschiedener Dichteskalen sichtbar werden.","tags":["optics","density"],"source":"Zusammenfassung Abschnitt 5.4; Skript Seiten 66-67","external_id":"unsupervised-learning-cards-041"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# HDBSCAN\nWas ist die mutual reachability distance in HDBSCAN?","answer":"HDBSCAN nutzt lokale Core-Distanzen statt eines globalen $\\epsilon$:\n\n$$\\epsilon_c(x_i)=\\min\\{r: |N_r(x_i)|\\ge n_{min}\\}.$$\n\nDie mutual reachability distance ist:\n\n$$d_{mreach}(x_i,x_j)=\\max\\{\\epsilon_c(x_i),\\epsilon_c(x_j),d(x_i,x_j)\\}.$$\n\nSparse Punkte werden kuenstlich weiter auseinandergezogen. Danach baut HDBSCAN eine Dichtehierarchie und bevorzugt stabile Cluster.","tags":["hdbscan","density"],"source":"Zusammenfassung Abschnitt 5.4; Skript Seiten 67-68","external_id":"unsupervised-learning-cards-042"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Curse of Dimensionality\nWarum ist hohe Dimensionalitaet fuer DBSCAN kritisch?","answer":"Bei $N$ Punkten im $d$-dimensionalen Einheitswuerfel skaliert der mittlere naechste Nachbar grob mit:\n\n$$d_{NN}\\propto N^{-1/d}.$$\n\nWenn $d$ gross wird, liegen Punkte fast alle weit voneinander entfernt. Dann ist ein kleines $\\epsilon$ leer, ein grosses $\\epsilon$ macht fast alles zum Nachbarn.\n\nFolge: DBSCAN findet entweder fast nur Noise oder verschmilzt Struktur.","tags":["curse-of-dimensionality","dbscan"],"source":"Zusammenfassung Abschnitt 5.4; Skript Seiten 67-68","external_id":"unsupervised-learning-cards-043"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Dimensionsreduktion Ziel\nWarum reduziert man Dimensionen im Unsupervised Learning?","answer":"Hohe Dimensionen verschlechtern Distanz, Dichte und Rechenkosten. Viele reale Daten enthalten redundante, korrelierte oder verrauschte Features.\n\nZiel ist eine Abbildung\n\n$$f:\\mathbb{R}^d\\to\\mathbb{R}^k,\\quad k<d,$$\n\ndie die signaltragenden Freiheitsgrade erhaelt.\n\nWichtig: Intrinsische Dimension kann viel kleiner sein als ambient dimension, z. B. MNIST formal $784$ Pixel, aber wenige Formfaktoren.","tags":["dimensionality-reduction","grundlagen"],"source":"Zusammenfassung Abschnitt 6.1; Skript Seiten 77-80","external_id":"unsupervised-learning-cards-044"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Naive Varianzselektion\nWie funktioniert naive Varianzselektion und wann scheitert sie?","answer":"Man berechnet fuer jedes Originalfeature die Varianz und behaelt die Top-$k$ Features:\n\n$$Var(x^{(j)})=\\frac{1}{n}\\sum_{i=1}^n (x_i^{(j)}-\\bar x^{(j)})^2.$$\n\nDas funktioniert, wenn relevante Richtungen mit den Koordinatenachsen ausgerichtet sind.\n\nEs scheitert, wenn die Information diagonal, korreliert oder auf einer gekruemmten Mannigfaltigkeit liegt. Dann braucht man neue Achsen, z. B. PCA.","tags":["dimensionality-reduction","feature-selection"],"source":"Zusammenfassung Abschnitt 6.2; Skript Seiten 80-81","external_id":"unsupervised-learning-cards-045"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA Preprocessing\nWelche Vorverarbeitung braucht PCA?","answer":"PCA setzt zentrierte Daten voraus: Jede Spalte hat Mittelwert 0.\n\nBei unterschiedlichen Feature-Skalen sollte man vorher standardisieren, sonst dominiert die groesste Skala die Kovarianzmatrix.\n\nPruefungsfalle: PCA auf unzentrierten Daten findet nicht sauber Richtungen maximaler Varianz um den Schwerpunkt, sondern wird vom Offset beeinflusst.","tags":["pca","vorverarbeitung"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 81-82","external_id":"unsupervised-learning-cards-046"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA Eigenproblem\nWie wird PCA ueber die Kovarianzmatrix berechnet?","answer":"Bei zentrierten Daten $X\\in\\mathbb{R}^{n\\times d}$:\n\n$$S=\\frac{1}{n}X^T X.$$\n\nDann loest PCA:\n\n$$S w_j = \\lambda_j w_j.$$\n\nDie Eigenvektoren $w_j$ sind Principal Components, die Eigenwerte $\\lambda_j$ geben die Varianz entlang dieser Richtung an.\n\nMan sortiert nach fallendem $\\lambda_j$ und projiziert auf die ersten $k$ Komponenten.","tags":["pca","eigenwerte"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 81-84","external_id":"unsupervised-learning-cards-047"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA Varianzmaximierung\nWarum sind Principal Components Eigenvektoren der Kovarianzmatrix?","answer":"PCA sucht eine Einheitsrichtung $w$, die die Projektionsvarianz maximiert:\n\n$$\\max_{\\lVert w\\rVert=1} w^T S w.$$\n\nMit Lagrange-Multiplikator fuer $w^T w=1$ ergibt sich:\n\n$$S w = \\lambda w.$$\n\nAlso muss $w$ ein Eigenvektor von $S$ sein. Die groesste Varianz liegt beim Eigenvektor mit groesstem Eigenwert.","tags":["pca","herleitung"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 82-84","external_id":"unsupervised-learning-cards-048"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Explained Variance\nWas bedeutet explained variance ratio bei PCA?","answer":"Der Anteil der Varianz, den Komponente $j$ erklaert, ist:\n\n$$EVR_j=\\frac{\\lambda_j}{\\sum_l \\lambda_l}.$$\n\nKumuliert ueber die ersten $k$ Komponenten:\n\n$$\\frac{\\sum_{j=1}^k \\lambda_j}{\\sum_{l=1}^d \\lambda_l}.$$\n\nEin Scree Plot zeigt, ab wann zusaetzliche Komponenten nur noch wenig Varianz erklaeren.","tags":["pca","modellwahl"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 84-85","external_id":"unsupervised-learning-cards-049"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA Projektion und Rekonstruktion\nWie projiziert und rekonstruiert PCA Daten?","answer":"Mit Top-$k$ Komponenten $W_k$:\n\n$$Z=XW_k$$\n\nist die Projektion in den niedrigdimensionalen Raum.\n\nDie Rekonstruktion lautet:\n\n$$\\hat X = ZW_k^T.$$\n\nPCA minimiert bei orthonormaler Basis den quadratischen Rekonstruktionsfehler der Projektion auf den $k$-dimensionalen linearen Unterraum.","tags":["pca","rekonstruktion"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 85, 91-93","external_id":"unsupervised-learning-cards-050"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA Beispiel\nWas zeigt das PCA-Beispiel mit sechs kanonischen Punkten?","answer":"Nach Zentrierung der sechs Punkte ergibt sich eine Kovarianzmatrix mit stark korrelierten Features. Die erste Komponente zeigt ungefaehr entlang der Richtung von Cluster A nach Cluster B.\n\nIm Skript erklaert PC1 ca. 95 Prozent der Varianz.\n\nRekonstruktionsfehler:\n\n- naive Feature-Auswahl: deutlich hoeher\n- PCA auf PC1: ca. 5.38 Gesamtfehler\n\nKernaussage: PCA konstruiert die relevante Richtung, statt eine Originalachse zu behalten.","tags":["pca","rechenaufgabe"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seiten 89-93","external_id":"unsupervised-learning-cards-051"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA und SVD\nWarum nutzt man in der Praxis oft SVD fuer PCA?","answer":"Fuer grosse $d$ ist eine explizite Eigendecomposition von $X^TX$ oft unguenstig.\n\nSVD zerlegt:\n\n$$X=U\\Sigma V^T.$$\n\nDie Spalten von $V$ entsprechen den Eigenvektoren von $X^TX$, und die Eigenwerte haengen mit den Singulaerwerten zusammen:\n\n$$\\lambda_i=\\frac{\\sigma_i^2}{n}.$$\n\nSVD ist numerisch stabiler und vermeidet, die Kovarianzmatrix explizit zu bilden.","tags":["pca","svd"],"source":"Skript Seite 85; Zusammenfassung Abschnitt 6.3","external_id":"unsupervised-learning-cards-052"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA vs ICA\nWas ist der Unterschied zwischen PCA und ICA?","answer":"PCA findet unkorrelierte lineare Komponenten maximaler Varianz.\n\nICA sucht statistisch unabhaengige Quellen, typischerweise ueber Nicht-Gaussianitaet, und geht damit ueber reine Dekorrelation hinaus.\n\nMerksatz: Unkorreliert ist schwaecher als unabhaengig. PCA kann Quellen nicht zwingend trennen, wenn die fachlichen Faktoren unabhaengig, aber nicht nur varianzmaximal sind.","tags":["pca","ica","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 6.3; Skript Seite 85","external_id":"unsupervised-learning-cards-053"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# t-SNE Ziel\nWofuer ist t-SNE gedacht?","answer":"t-SNE ist fuer 2D/3D-Visualisierung gedacht. Es versucht lokale Nachbarschaften aus dem hochdimensionalen Raum im niedrigdimensionalen Embedding zu erhalten.\n\nGrob:\n\n- High-D-Aehnlichkeiten mit Gauß-Kernel\n- Low-D-Aehnlichkeiten mit Student-t-Kernel\n- Optimierung einer KL-Divergenz zwischen beiden Verteilungen\n\nNichtziel: stabile, globale Feature-Transformation fuer Downstream-Modelle.","tags":["t-sne","visualisierung"],"source":"Zusammenfassung Abschnitt 6.4; Skript Seiten 86-87","external_id":"unsupervised-learning-cards-054"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# t-SNE Interpretation\nWelche t-SNE-Interpretationen sind gefaehrlich?","answer":"Bei t-SNE darf man nicht blind interpretieren:\n\n- Clusterabstaende sind nicht globale Distanzen.\n- Clusterflaechen und Dichten sind nicht direkt Bedeutung.\n- Ergebnisse koennen mit Seed und Perplexity variieren.\n- t-SNE ist fuer Visualisierung, nicht fuer Training eines Klassifikators auf den 2D-Koordinaten.\n\nPruefungsfalle: Schoene getrennte Inseln sind keine Beweiskraft fuer echte Klassenstruktur.","tags":["t-sne","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 6.4; Skript Seite 87","external_id":"unsupervised-learning-cards-055"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# UMAP\nWelche praktischen Staerken hat UMAP gegenueber t-SNE?","answer":"UMAP arbeitet auf einem sparse $k$-nearest-neighbour Graphen und ist dadurch oft skalierbarer.\n\nStaerken:\n\n- bessere praktische Skalierung, oft ca. $O(n\\log n)$\n- bewahrt lokale Struktur und etwas mehr globale Anordnung\n- spectral initialization macht Layouts reproduzierbarer als rein zufaellige Starts\n\nWichtige Parameter: `n_neighbors` fuer lokal vs. global und `min_dist` fuer Enge der Cluster im Embedding.","tags":["umap","visualisierung"],"source":"Zusammenfassung Abschnitt 6.4; Skript Seite 88","external_id":"unsupervised-learning-cards-056"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PCA/SVD vs t-SNE/UMAP\nWann nutzt man PCA/SVD und wann t-SNE/UMAP?","answer":"PCA/SVD:\n\n- lineare Dimensionsreduktion\n- Preprocessing fuer Clustering oder Downstream-Learning\n- Rauschreduktion und Rekonstruktion interpretierbar\n\nT-SNE/UMAP:\n\n- explorative Visualisierung\n- Nachbarschaftsstruktur sichtbar machen\n- nicht blind als Feature-Transformation fuer Klassifikatoren nutzen\n\nKlausurmerksatz: Fuer Downstream-Learning eher PCA/SVD; fuer Visualisierung t-SNE/UMAP.","tags":["dimensionality-reduction","modellwahl"],"source":"Zusammenfassung Abschnitt 6.4; Skript Seiten 86-88","external_id":"unsupervised-learning-cards-057"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Autoencoder\nWie ist ein Autoencoder aufgebaut?","answer":"Ein Autoencoder besteht aus Encoder und Decoder:\n\n$$z=\\theta_E(x)$$\n\n$$\\hat x=\\theta_D(z)=\\theta_D(\\theta_E(x)).$$\n\nTrainiert wird ueber Rekonstruktionsverlust, z. B.\n\n$$L_R=\\lVert x-\\hat x\\rVert^2.$$\n\nDer Bottleneck $z$ zwingt das Modell, eine kompakte Repraesentation zu lernen.","tags":["autoencoder","representation-learning"],"source":"Zusammenfassung Abschnitt 7.1; Skript Seiten 97-103","external_id":"unsupervised-learning-cards-058"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Autoencoder Bottleneck\nWarum macht der Bottleneck den Encoder zum Feature Extractor?","answer":"Wenn $k\\ll d$, kann der Code $z\\in\\mathbb{R}^k$ den Input nicht einfach kopieren.\n\nDer Encoder muss diejenigen Faktoren behalten, die fuer Rekonstruktion wichtig sind, und unwichtige Variation verwerfen.\n\nNach dem Training kann man den Decoder oft verwerfen und den Encoder als Feature Extractor fuer Clustering, Retrieval oder Downstream-Klassifikation nutzen.","tags":["autoencoder","bottleneck"],"source":"Zusammenfassung Abschnitt 7.1; Skript Seiten 102-103","external_id":"unsupervised-learning-cards-059"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Linearer Autoencoder vs PCA\nWelche Beziehung besteht zwischen linearem Autoencoder und PCA?","answer":"Wenn Encoder und Decoder linear sind und mit MSE trainiert werden, lernt der Autoencoder im Kern denselben Top-$k$-Subraum wie PCA.\n\nNichtlineare Autoencoder koennen darueber hinaus gekruemmte Mannigfaltigkeiten, diskrete Cluster und hierarchische Features abbilden.\n\nPruefungsfalle: Der Unterschied steckt nicht im Wort Autoencoder, sondern in Nichtlinearitaet, Kapazitaet und Trainingsziel.","tags":["autoencoder","pca"],"source":"Zusammenfassung Abschnitt 7.1; Skript Seiten 103, 117-118","external_id":"unsupervised-learning-cards-060"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Deterministischer Autoencoder\nWarum ist ein plain Autoencoder kein guter generativer Latent Space?","answer":"Ein deterministischer Autoencoder optimiert nur Rekonstruktion. Er garantiert nicht, dass der Latent Space glatt, vollstaendig oder sinnvoll organisiert ist.\n\nProbleme:\n\n- leere Regionen decodieren zu Unsinn\n- nahe Punkte koennen fachlich unpassend sein\n- verschiedene Trainingslaeufe koennen andere Code-Konventionen lernen\n\nEin generatives Modell braucht einen strukturierten, samplbaren Latent Space.","tags":["autoencoder","generativ","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 7.2; Skript Seiten 104-105","external_id":"unsupervised-learning-cards-061"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# VAE Grundidee\nWas ersetzt ein Variational Autoencoder gegenueber einem plain Autoencoder?","answer":"Ein VAE ersetzt den Punktcode durch eine Verteilung:\n\n$$q_\\phi(z|x)=\\mathcal{N}(\\mu(x),\\operatorname{diag}(\\sigma^2(x))).$$\n\nDer Prior ist meist:\n\n$$p(z)=\\mathcal{N}(0,I).$$\n\nSampling erfolgt mit Reparameterisation:\n\n$$z=\\mu+\\sigma\\odot\\epsilon,\\quad \\epsilon\\sim\\mathcal{N}(0,I).$$\n\nSo wird der Latent Space glatt, regularisiert und samplbar.","tags":["vae","latent-space"],"source":"Zusammenfassung Abschnitt 7.2; Skript Seiten 104-106","external_id":"unsupervised-learning-cards-062"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# ELBO\nWelche zwei Kraefte balanciert die VAE-Objective?","answer":"Die ELBO kombiniert Rekonstruktion und KL-Regularisierung:\n\n$$\\log p_\\theta(x)\\ge \\mathbb{E}_{q_\\phi(z|x)}[\\log p_\\theta(x|z)]-KL(q_\\phi(z|x)\\Vert p(z)).$$\n\nAls Loss oft:\n\n$$L=L_R+\\beta L_{KL}.$$\n\n- Rekonstruktion: $z$ muss Information ueber $x$ behalten.\n- KL-Term: $q(z|x)$ soll nahe am Prior bleiben.\n\nDer Tradeoff macht Sampling und Interpolation plausibel.","tags":["vae","elbo"],"source":"Zusammenfassung Abschnitt 7.2; Skript Seiten 104-106","external_id":"unsupervised-learning-cards-063"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Gaussian KL\nWie lautet der KL-Term fuer einen diagonal-gaussian VAE-Encoder gegen $\\mathcal{N}(0,I)$?","answer":"Pro Dimension:\n\n$$L_{KL}^{(j)}=\\frac{1}{2}(\\mu_j^2+\\sigma_j^2-\\log \\sigma_j^2-1).$$\n\nGesamt:\n\n$$L_{KL}=\\sum_{j=1}^k L_{KL}^{(j)}.$$\n\nInterpretation:\n\n- grosse $|\\mu_j|$: Shift-Kosten\n- $\\sigma_j^2$ weit weg von 1: Spread-Kosten\n- sehr kleines $\\sigma$ ist teuer, weil $-\\log\\sigma^2$ explodiert.","tags":["vae","kl","rechenaufgabe"],"source":"Zusammenfassung Abschnitt 7.3; Skript Seiten 105-112","external_id":"unsupervised-learning-cards-064"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# VAE Loss Rechenaufgabe\n1D-VAE: $\\mu=1$, $\\sigma=1$, $x=3$, $\\hat x=2.7$. Berechne $L=L_R+L_{KL}$.","answer":"Rekonstruktion:\n\n$$L_R=(3-2.7)^2=0.3^2=0.09.$$\n\nKL:\n\n$$L_{KL}=\\frac{1}{2}(1^2+1^2-\\log 1^2-1)=\\frac{1}{2}(1+1-0-1)=0.5.$$\n\nTotal:\n\n$$L=0.09+0.5=0.59.$$\n\nInterpretation: Das Modell zahlt KL-Kosten fuer bessere Rekonstruktion.","tags":["vae","rechenaufgabe"],"source":"Skript Seiten 110-111; Zusammenfassung Abschnitt 7.3","external_id":"unsupervised-learning-cards-065"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Beta-VAE\nWas bewirkt der Parameter $\\beta$ im VAE-Loss?","answer":"Beim $\\beta$-VAE gilt:\n\n$$L=L_R+\\beta L_{KL}.$$\n\n- Kleines $\\beta$: schwacher Prior-Zwang, schaerfere Rekonstruktionen, mehr Risiko eines unorganisierten Latent Space.\n- Grosses $\\beta$: starker Prior-Zwang, eher disentangled/regularisiert, aber schlechtere Rekonstruktion moeglich.\n\nPruefungsfalle: $\\beta$ steuert den Gradienten-Tradeoff, nicht nur eine nachtraegliche Bewertung.","tags":["vae","beta-vae"],"source":"Zusammenfassung Abschnitt 7.3; Skript Seite 112","external_id":"unsupervised-learning-cards-066"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Reparameterisation Trick\nWarum braucht ein VAE den Reparameterisation Trick?","answer":"Sampling $z\\sim q_\\phi(z|x)$ ist stochastisch und wuerde Gradientenfluss durch die Sample-Operation erschweren.\n\nDer Trick schreibt:\n\n$$z=\\mu+\\sigma\\odot\\epsilon,\\quad \\epsilon\\sim\\mathcal{N}(0,I).$$\n\nDer Zufall steckt in $\\epsilon$, die Parameter $\\mu$ und $\\sigma$ liegen auf einem differenzierbaren Pfad.\n\nBeispiel: $\\partial z/\\partial \\mu=1$ und $\\partial z/\\partial \\sigma=\\epsilon$.","tags":["vae","reparameterisation"],"source":"Zusammenfassung Abschnitt 7.3; Skript Seiten 112-113","external_id":"unsupervised-learning-cards-067"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Posterior Collapse\nWas ist posterior collapse beim VAE und wie erkennt man es?","answer":"Posterior collapse bedeutet: Der Encoder ignoriert $x$ und setzt $q(z|x)$ fast gleich dem Prior.\n\nSymptome:\n\n- $L_{KL}\\approx 0$\n- viele inaktive Latent-Dimensionen\n- Rekonstruktionen wirken wie Mittelwert/blurred\n\nGegenmassnahmen:\n\n- $\\beta$ senken\n- KL warm-up / annealing\n- Decoder-Kapazitaet pruefen\n\nKlausurpunkt: Nicht niedrige KL allein als gut interpretieren.","tags":["vae","posterior-collapse","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 7.3; Skript Seiten 115-118","external_id":"unsupervised-learning-cards-068"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Active Units\nWie diagnostiziert man aktive und kollabierte VAE-Dimensionen?","answer":"Man betrachtet den per-dimension KL:\n\n$$L_{KL}^{(j)}=\\frac{1}{2}(\\mu_j^2+\\sigma_j^2-\\log\\sigma_j^2-1).$$\n\nAktive Dimensionen haben klar positiven KL, z. B. durch mean shift oder enge Varianz.\n\nKollabierte Dimensionen haben $\\mu_j^2\\approx 0$, $\\sigma_j^2\\approx 1$ und damit $L_{KL}^{(j)}\\approx 0$.\n\nPruefungsfalle: Summierter KL versteckt, welche Achsen wirklich genutzt werden.","tags":["vae","diagnostik"],"source":"Skript Seiten 114-116; Zusammenfassung Abschnitt 7.3","external_id":"unsupervised-learning-cards-069"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Latent Interpolation\nWarum ist glatte Interpolation ein Qualitaetstest fuer VAEs?","answer":"Bei zwei Inputs $x_1,x_2$ kodiert man:\n\n$$z_1=\\mu(x_1),\\quad z_2=\\mu(x_2).$$\n\nDann interpoliert man:\n\n$$z_t=(1-t)z_1+t z_2$$\n\nund decodiert $\\hat x_t=\\theta_D(z_t)$.\n\nWenn die Zwischenpunkte plausible, glatte Uebergaenge ergeben, ist der Latent Space sinnvoll organisiert. Abrupte Spruenge oder Unsinn zeigen leere/ungeordnete Regionen.","tags":["vae","latent-space","diagnostik"],"source":"Skript Seiten 109, 117-118; Zusammenfassung Abschnitt 7.3","external_id":"unsupervised-learning-cards-070"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# AE vs VAE Latent Space\nWie unterscheiden sich AE- und VAE-Embeddings typischerweise?","answer":"Plain AE:\n\n- platziert Codes dort, wo Rekonstruktion gut ist\n- globale Struktur nicht garantiert\n- zufaellige Punkte in leeren Regionen decodieren oft zu Noise\n\nVAE:\n\n- zieht Encodings Richtung Prior\n- fuellt den Latent Space organisierter\n- Sampling aus $\\mathcal{N}(0,I)$ kann plausible Daten erzeugen\n\nMerksatz: Ein VAE ist nicht nur ein AE mit Rauschen; entscheidend ist die KL-Regularisierung gegen einen samplbaren Prior.","tags":["autoencoder","vae","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 7.3; Skript Seiten 113-118","external_id":"unsupervised-learning-cards-071"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Softmax Confidence\nWarum ist Softmax Confidence kein Sicherheitsnachweis?","answer":"Softmax normalisiert Klassenscores auf Summe 1. Das liefert relative Sicherheit zwischen bekannten Klassen, aber keine Garantie, dass der Input ueberhaupt aus der Trainingsverteilung stammt.\n\nOOD-Inputs oder adversariale Perturbationen koennen hohe Softmax-Werte bekommen.\n\nKlausurmerksatz: Softmax misst eher Aehnlichkeit innerhalb der bekannten Klassenschablonen als absolute Korrektheit.","tags":["uncertainty","ood","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 121-124","external_id":"unsupervised-learning-cards-072"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Aleatoric vs Epistemic\nWie unterscheiden sich aleatorische und epistemische Unsicherheit?","answer":"**Aleatoric uncertainty:** Irreduzibles Datenrauschen oder Mehrdeutigkeit der Welt. Mehr Daten entfernen sie nicht vollstaendig.\n\n**Epistemic uncertainty:** Modellignoranz, weil der Bereich schlecht beobachtet oder gelernt wurde. Sie kann durch bessere/mehr passende Daten sinken.\n\nPruefungsbezug: OOD-Erkennung zielt stark auf epistemische Unsicherheit, aber seltene Long-Tail-Faelle verschwinden nie ganz.","tags":["uncertainty","definition"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 122-124","external_id":"unsupervised-learning-cards-073"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Calibration und ECE\nWas messen Calibration und Expected Calibration Error?","answer":"Calibration vergleicht angegebene Confidence mit empirischer Accuracy.\n\nBeispiel: Von allen Vorhersagen mit 80 Prozent Confidence sollten ungefaehr 80 Prozent korrekt sein.\n\nECE fasst die Luecke ueber Confidence-Bins zusammen.\n\nPruefungsfalle: Histogram binning kann in-domain ECE stark verbessern, transferiert aber oft schlecht auf OOD-Daten.","tags":["uncertainty","calibration"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 121-124","external_id":"unsupervised-learning-cards-074"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Confidence Head\nWas ist ein Confidence Head?","answer":"Ein Confidence Head ist ein zusaetzlicher Kopf, der vorhersagt, ob das Hauptmodell wahrscheinlich korrekt ist.\n\nEr macht Korrektheit selbst zum Trainingssignal, z. B. ueber Validierungsfehler, Outlier Exposure oder spezielle Confidence-Losses.\n\nGrenze: Er braucht saubere Signale fuer Unsicherheit. Wenn die Trainingsdaten den relevanten OOD-Bereich nicht abdecken, kann auch der Confidence Head falsch sicher sein.","tags":["uncertainty","confidence-head"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 121-124","external_id":"unsupervised-learning-cards-075"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# MC Dropout\nWie schaetzt Monte Carlo Dropout epistemische Unsicherheit?","answer":"Bei MC Dropout bleibt Dropout auch in der Inferenz aktiv. Man macht mehrere Forward Passes mit verschiedenen Dropout-Masken.\n\nDie Varianz der Vorhersagen dient als Signal fuer epistemische Unsicherheit.\n\nGrenze: Wenn ein OOD-Input geometrisch wie bekannte Daten aussieht oder alle Dropout-Samples gleich falsch sind, kann MC Dropout unsicherheitsblind bleiben.","tags":["uncertainty","mc-dropout"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 122-124","external_id":"unsupervised-learning-cards-076"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# One-Class VAE OOD\nWie kann ein VAE fuer OOD- oder Anomalieerkennung genutzt werden?","answer":"Ein VAE kann auf normale Daten trainiert werden. Bei neuen Inputs nutzt man z. B.:\n\n- Reconstruction error: schlecht rekonstruierte Inputs wirken fremd.\n- Latent-Geometrie / Prior-Likelihood: Inputs weit ausserhalb vertrauter Bereiche wirken unsicher.\n\nBlind Spot: Wenn ein unbekannter Input geometrisch wie bekannte Daten wirkt, kann der VAE ihn rekonstruieren und nicht als OOD erkennen.","tags":["uncertainty","vae","ood"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 121-124","external_id":"unsupervised-learning-cards-077"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Operational Design Domain\nWas bedeuten ODD, data drift und model drift?","answer":"**Operational Design Domain (ODD):** Der Bereich von Bedingungen, fuer den ein System gebaut und trainiert wurde.\n\n**Data drift:** Eingabestatistik veraendert sich ueber Zeit.\n\n**Model drift:** Angegebene Confidence und empirische Accuracy entkoppeln sich.\n\nKlausurpunkt: OOD-Detektion ist nur so gut wie der Domain-Begriff. Ein geometrischer Detektor erkennt keine semantische Neuheit, wenn sie geometrisch bekannt aussieht.","tags":["uncertainty","drift","ood"],"source":"Zusammenfassung Abschnitt 8; Skript Seiten 122-124","external_id":"unsupervised-learning-cards-078"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Transfer Learning\nWas ist die Grundidee von Transfer Learning?","answer":"Transfer Learning trennt teuren Backbone und billigen Task Head.\n\n- **Backbone/Encoder:** auf breiten Daten vortrainiert, extrahiert wiederverwendbare Features.\n- **Head:** kleine aufgabenspezifische Entscheidungsschicht.\n\nDer teure Teil wird einmal gelernt und auf viele Downstream-Tasks uebertragen.\n\nMerksatz: Der Wert des Pretrainings steckt im Backbone, nicht im alten Classification Head.","tags":["transfer-learning","backbone"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 127-130","external_id":"unsupervised-learning-cards-079"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Transfer Strategien\nWann nutzt man frozen backbone, linear probe, fine-tuning oder LoRA?","answer":"- **Frozen backbone + linear probe:** wenig Labels, Ziel nahe am Pretraining, billig und robust.\n- **Fine-tuning:** mehr Labels oder groessere Domainverschiebung, bessere Anpassung, Overfitting-Risiko.\n- **LoRA/Adapter:** grosse Modelle effizient anpassen, nur kleine Low-Rank-Korrekturen trainieren.\n- **Few-shot nearest centroid:** Klassen im Embedding schon getrennt.\n\nEntscheidung haengt von Labelmenge, Domainshift, Compute und Overfitting-Risiko ab.","tags":["transfer-learning","modellwahl"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 127-130","external_id":"unsupervised-learning-cards-080"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Class Centroids\nWie funktionieren Class Centroids im Embedding Space?","answer":"Man mittelt Embeddings einer Klasse zu einem Prototypen:\n\n$$c_k=\\frac{1}{|C_k|}\\sum_{x_i\\in C_k} f(x_i).$$\n\nEin neuer Punkt wird dem naechsten Prototypen zugeordnet, oft mit Cosine Similarity auf normalisierten Embeddings.\n\nWarum es funktioniert: Der vortrainierte Backbone hat Klassen oft schon geometrisch getrennt; der Head muss nur Anker setzen.","tags":["transfer-learning","few-shot","embedding"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 129-130","external_id":"unsupervised-learning-cards-081"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Zero-Shot und CLIP\nWie ermoeglichen CLIP-artige Modelle Zero-Shot-Klassifikation?","answer":"CLIP trainiert Bild- und Textencoder in einem gemeinsamen Embedding Space. Passende Bild-Text-Paare werden nahe, unpassende fern.\n\nFuer Zero-Shot-Klassifikation schreibt man Textprompts fuer Klassen, kodiert sie, und vergleicht ein Bildembedding per Cosine Similarity mit den Textembeddings.\n\nKern: Die Bridge zwischen Modalitaeten ersetzt gelabelte Zielbeispiele, solange Source- und Target-Semantik gut abgedeckt sind.","tags":["transfer-learning","zero-shot","clip"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 127-130","external_id":"unsupervised-learning-cards-082"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Classification Head verwerfen\nWarum wird beim Transfer der alte Classification Head meist verworfen?","answer":"Der alte Head ist auf die alten Pretraining-Klassen zugeschnitten. Er codiert die spezifische Entscheidungsaufgabe, nicht die allgemein wiederverwendbare Repraesentation.\n\nDer Backbone enthaelt die transferierbaren Features. Fuer die neue Aufgabe trainiert man einen neuen Head, nutzt Prototypen oder stimmt den Backbone weiter ab.\n\nPruefungsformulierung: Head = billige Entscheidungsschicht, Backbone = teures Repraesentationswissen.","tags":["transfer-learning","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 129-130","external_id":"unsupervised-learning-cards-083"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Transfer Failure\nWann scheitert Transfer Learning?","answer":"Transfer scheitert, wenn Source- und Target-Verteilung zu weit auseinanderliegen oder die relevanten Zielkonzepte im Backbone nicht repraesentiert sind.\n\nSymptome:\n\n- Linear probe trennt Klassen schlecht.\n- Few-shot-Prototypen sind instabil.\n- Zero-shot-Prompts liefern systematisch falsche Aehnlichkeiten.\n\nGegenmassnahmen: mehr zielnahe Daten, Fine-tuning, Domain-adaptive Pretraining, besser passender Backbone.","tags":["transfer-learning","failure-modes"],"source":"Zusammenfassung Abschnitt 9; Skript Seiten 127-130","external_id":"unsupervised-learning-cards-084"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Self-Supervised Learning\nWas ist Self-Supervised Learning?","answer":"Self-Supervised Learning gewinnt das Trainingssignal aus der Datenstruktur selbst.\n\nStatt menschliche Labels zu sammeln, definiert man ein Pretext Task, dessen Ziel aus dem Input ableitbar ist, z. B. maskierte Tokens rekonstruieren oder das naechste Token vorhersagen.\n\nWichtig: Das Pretext Task ist nur das Geruest; das eigentliche Produkt ist die gelernte Repraesentation.","tags":["self-supervised-learning","grundlagen"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 131-135","external_id":"unsupervised-learning-cards-085"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Handcrafted Pretext Tasks\nWelche Gefahr haben einfache handcrafted pretext tasks?","answer":"Beispiele sind Rotation vorhersagen, Patches sortieren oder Colorization.\n\nGefahr: Das Modell kann Shortcuts lernen, die das Pretext Task loesen, aber keine gute Repraesentation fuer Downstream-Aufgaben erzeugen.\n\nPruefungsfalle: Ein gutes Pretext-Task-Ergebnis bedeutet nicht automatisch gute Features. Entscheidend ist Transferqualitaet.","tags":["self-supervised-learning","pretext","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 131-135","external_id":"unsupervised-learning-cards-086"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Contrastive Learning\nWas ist die Grundidee von contrastive learning?","answer":"Verschiedene Views desselben Inputs sollen im Embedding Space nahe liegen; Views verschiedener Inputs sollen fern liegen.\n\nBeispiel: Zwei Crops desselben Bildes sind positive Paare, Crops anderer Bilder negative Paare.\n\nDesignentscheidung: Welche Augmentationen als gleiche Semantik gelten. Falsche Augmentationen koennen relevante Features invariant machen und damit zerstoeren.","tags":["self-supervised-learning","contrastive"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 131-135","external_id":"unsupervised-learning-cards-087"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Masked und Next-Token Prediction\nWas verbindet masked-token, masked-patch und next-token prediction?","answer":"Alle sind Denoising- oder Prediction-Aufgaben aus der Datenstruktur:\n\n- BERT: maskierte Tokens rekonstruieren\n- MAE: maskierte Bildpatches rekonstruieren\n- Decoder-only LM: naechstes Token aus Prefix vorhersagen\n\nDie Labels stammen aus dem Input selbst. Das Modell lernt Struktur, weil es fehlende oder zukuenftige Teile aus Kontext vorhersagen muss.","tags":["self-supervised-learning","masked-prediction"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 131-135","external_id":"unsupervised-learning-cards-088"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Span Masking\nWarum ist Span Masking oft staerker als einzelne Tokens zu maskieren?","answer":"Ein einzelnes maskiertes Token kann oft trivial aus den direkten Nachbarn erraten werden.\n\nSpan Masking entfernt zusammenhaengende Tokenfolgen. Das Modell muss dann laengere Struktur, Semantik und Syntax rekonstruieren.\n\nBeispiel: Statt nur `banana` in einem Satz zu maskieren, maskiert man `yellow banana peel` als zusammenhaengenden Chunk.","tags":["self-supervised-learning","masked-prediction"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 132-134","external_id":"unsupervised-learning-cards-089"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Latent Prediction / JEPA\nWarum sagt JEPA im Latent Space statt im Pixel Space voraus?","answer":"Pixelrekonstruktion verschwendet Kapazitaet auf Details wie Textur, Beleuchtung oder Rauschen, die fuer Downstream-Aufgaben oft unwichtig sind.\n\nJEPA-artige Verfahren lassen einen Student die Teacher-Features maskierter Regionen vorhersagen. Der Teacher ist oft ein slow-moving exponential moving average des Students.\n\nVorteil: Stabile Ziele im Feature Space, kein Label und kein Pixeldecoder notwendig.","tags":["self-supervised-learning","jepa","teacher-student"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 132-135","external_id":"unsupervised-learning-cards-090"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# SSL Architekturwahl\nWie haengt die Pretraining-Architektur vom Downstream-Regime ab?","answer":"Daumenregel:\n\n- **Encoder-only:** Understanding, Klassifikation, Retrieval, Embeddings\n- **Decoder-only:** Generation, autoregressive Sprache\n- **Encoder-Decoder:** Understanding plus Generation, aber teurer\n\nKlausurpunkt: Die Objective und Architektur sollten zur spaeteren Nutzung passen. Ein Pretext Task ist kein Selbstzweck.","tags":["self-supervised-learning","architektur"],"source":"Zusammenfassung Abschnitt 10; Skript Seiten 132-135","external_id":"unsupervised-learning-cards-091"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Weak Supervision\nWas ist Weak Supervision?","answer":"Weak Supervision nutzt unperfekte, noisy oder partielle Labelquellen statt sauberer Ground-Truth-Labels.\n\nLabels werden als Zufallsvariablen betrachtet: $\\tilde y$ ist nur eine verrauschte Messung einer nie direkt beobachteten Wahrheit $y$.\n\nQuellen koennen Regeln, Crowd Labels, Sensoren, Proxies, pretrained Modelle, Judges oder Generatoren sein.","tags":["weak-supervision","grundlagen"],"source":"Zusammenfassung Abschnitt 11; Skript Seiten 137-140","external_id":"unsupervised-learning-cards-092"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Labelling Function\nWas ist eine Labelling Function in Weak Supervision?","answer":"Eine Labelling Function ist eine programmatic mapping von Input zu Label, Soft Label oder Abstention.\n\nSie vereinheitlicht heterogene Quellen:\n\n- heuristische Regeln\n- Crowd Worker\n- Sensor-/Proxy-Signale\n- pretrained Klassifikatoren\n- LLM-Judges\n\nKlausurpunkt: Die Abstraktion versteckt Quelle und Modalitaet, aber nicht deren Bias, Coverage und Fehlerkorrelationen.","tags":["weak-supervision","labelling-functions"],"source":"Zusammenfassung Abschnitt 11; Skript Seiten 137-140","external_id":"unsupervised-learning-cards-093"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Verifier-Generator Gap\nWas bedeutet verifier-generator gap bei Judges?","answer":"Es ist oft leichter, eine Antwort zu bewerten, als eine gute Antwort selbst zu erzeugen.\n\nDiese Asymmetrie nutzen:\n\n- GAN-Discriminatoren\n- RLHF Reward Models\n- LLM-as-a-Judge\n- Process Reward Models fuer Zwischenschritte\n\nRisiko: Judges erben Kalibrierungs-, Stil- und Trainingsbias ihres Basismodells.","tags":["weak-supervision","judge","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 11; Skript Seiten 137-140","external_id":"unsupervised-learning-cards-094"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Knowledge Distillation\nWarum sind Teacher-Softmax-Outputs oft informativer als One-Hot-Labels?","answer":"Ein One-Hot-Label sagt nur, welche Klasse korrekt ist.\n\nEin Teacher-Softmax enthaelt zusaetzliche Struktur: Welche falschen Klassen waren plausibel? Wie stark ist die Unsicherheit?\n\nDer Student trainiert auf diesen Soft Labels und uebernimmt dadurch mehr Information als nur die harte Klasse.\n\nDasselbe Prinzip taucht auch bei synthetischen Daten, Instruction Tuning und Label Smoothing auf.","tags":["weak-supervision","distillation","soft-labels"],"source":"Zusammenfassung Abschnitt 11; Skript Seiten 138-140","external_id":"unsupervised-learning-cards-095"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Snorkel Pipeline\nWie funktioniert eine Snorkel-artige Weak-Supervision-Pipeline?","answer":"Drei Schritte:\n\n1. Engineers schreiben Labelling Functions, die voten oder abstain.\n2. Ein Label Model lernt Genauigkeiten und Korrelationen der Funktionen aus den Votes.\n3. Ein End Model trainiert auf probabilistischen Soft Labels mit vollem Zugriff auf die Inputs.\n\nWichtig: Das Label Model sieht nur Votes, nicht die Inputs. Das End Model sieht Inputs, nicht die Regeln und kann deshalb ueber die Regeln hinaus generalisieren.","tags":["weak-supervision","snorkel"],"source":"Zusammenfassung Abschnitt 11; Skript Seiten 138-140","external_id":"unsupervised-learning-cards-096"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Reinforcement Learning Signal\nWie unterscheidet sich RL-Supervision von normalen Labels?","answer":"Reinforcement Learning nutzt keinen per-example Klassenlabel-Fehler, sondern einen skalaren Reward aus einer Interaktion mit der Umgebung.\n\nDer Reward kann spaet, sparse und indirekt sein. Daraus entsteht Credit Assignment: Welche fruehere Aktion war fuer spaeteren Reward verantwortlich?\n\nKlausurpunkt: Ein Reward enthaelt keine direkte Information darueber, welche alternative Aktion besser gewesen waere.","tags":["reinforcement-learning","grundlagen"],"source":"Zusammenfassung Abschnitt 12; Skript Seiten 143-145","external_id":"unsupervised-learning-cards-097"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# MDP\nAus welchen Elementen besteht ein Markov Decision Process?","answer":"Ein MDP besteht aus:\n\n- Zustand $s$\n- Aktion $a$\n- Uebergang $P(s'|s,a)$\n- Reward $r(s,a)$\n- Discount $\\gamma\\in[0,1)$\n\nMarkov-Eigenschaft: Der naechste Zustand haengt nur vom aktuellen Zustand und der aktuellen Aktion ab, nicht von der ganzen Historie.","tags":["reinforcement-learning","mdp"],"source":"Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147","external_id":"unsupervised-learning-cards-098"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Discounted Return und Bellman\nWie lauten Return und Bellman-Rekursion?","answer":"Discounted Return:\n\n$$G_t=\\sum_{k=0}^{\\infty}\\gamma^k r_{t+k+1}.$$\n\nState Value unter Policy $\\pi$:\n\n$$V^\\pi(s)=\\mathbb{E}_\\pi[r(s,a)+\\gamma V^\\pi(s')].$$\n\nBellman-Idee: Langfristiger Wert wird in unmittelbaren Reward plus diskontierten Wert des naechsten Zustands zerlegt. Das macht ein Long-Horizon-Problem lokal loesbar.","tags":["reinforcement-learning","bellman"],"source":"Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147","external_id":"unsupervised-learning-cards-099"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Q-Learning Update\nWie lautet das Q-Learning-Update und was bedeutet es?","answer":"Update:\n\n$$Q(s,a)\\leftarrow Q(s,a)+\\alpha[r+\\gamma\\max_{a'}Q(s',a')-Q(s,a)].$$\n\nDer Term in eckigen Klammern ist der TD-Fehler:\n\n- neuer Zielwert: $r+\\gamma\\max_{a'}Q(s',a')$\n- alter Schaetzwert: $Q(s,a)$\n\nQ-Learning ist value-based und off-policy: Es kann aus Daten lernen, die unter einer anderen Behaviour Policy gesammelt wurden.","tags":["reinforcement-learning","q-learning"],"source":"Zusammenfassung Abschnitt 12.1; Skript Seiten 143-147","external_id":"unsupervised-learning-cards-100"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# DQN Stabilisierung\nWarum braucht DQN Replay Buffer und Target Network?","answer":"DQN approximiert $Q_\\theta(s,a)$ mit einem neuronalen Netz. Dadurch entstehen zwei Instabilitaeten:\n\n- **Korrelierte Daten:** Aufeinanderfolgende Transitionen sind aehnlich. Replay Buffer mischt alte Transitionen in Minibatches.\n- **Bewegliches Ziel:** Das Netzwerk berechnet Ziel und Vorhersage zugleich. Target Network ist eine langsam aktualisierte Kopie fuer stabilere Targets.\n\nOhne diese Stabilisierungen jagt das Netz oft einem sich selbst bewegenden Ziel hinterher.","tags":["reinforcement-learning","dqn","stabilisierung"],"source":"Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147","external_id":"unsupervised-learning-cards-101"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Value-Based vs Policy-Based\nWie unterscheiden sich value-based und policy-based RL-Verfahren?","answer":"**Value-based:** Lernt Werte von Aktionen oder Zustaenden, z. B. $Q(s,a)$, und leitet daraus eine Policy ab, z. B. greedy oder $\\epsilon$-greedy.\n\n**Policy-based:** Parametrisiert die Policy direkt:\n\n$$\\pi_\\theta(a|s).$$\n\nVorteil policy-based: kann kontinuierliche Aktionsraeume natuerlicher behandeln und optimiert die Aktionsregel direkt.","tags":["reinforcement-learning","policy-gradient"],"source":"Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147","external_id":"unsupervised-learning-cards-102"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# PPO\nWas macht PPO-Clipping?","answer":"PPO vergleicht die Aktionswahrscheinlichkeit unter neuer und alter Policy:\n\n$$r_t(\\theta)=\\frac{\\pi_\\theta(a|s)}{\\pi_{old}(a|s)}.$$\n\nDieser Ratio wird auf einen engen Bereich um 1 geclippt, oft etwa $[0.8,1.2]$.\n\nZiel: Policy-Updates duerfen nicht zu weit springen, weil die Daten unter der alten Policy gesammelt wurden.\n\nTradeoff: enges Clipping stabiler, aber weniger sample-efficient.","tags":["reinforcement-learning","ppo"],"source":"Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147","external_id":"unsupervised-learning-cards-103"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Exploration vs Exploitation\nWarum braucht RL Exploration?","answer":"Ohne Exploration sammelt der Agent keine Daten ueber unbekannte Aktionen. Dann kann er nicht lernen, ob aktuell schlecht geschaetzte Aktionen langfristig besser waeren.\n\nTypische Hebel:\n\n- $\\epsilon$-greedy\n- stochastische Policies\n- Entropy Bonuses\n\nExploit sammelt bekannten Reward; Explore verbessert die Datenbasis fuer zukuenftige Entscheidungen.","tags":["reinforcement-learning","exploration"],"source":"Zusammenfassung Abschnitt 12.2; Skript Seiten 145-147","external_id":"unsupervised-learning-cards-104"}
{"semester":"Semester 4","subject":"Unsupervised Learning","deck":"Semester 4","question":"# Off-Policy\nWas bedeutet off-policy und was bedeutet es nicht?","answer":"Off-policy bedeutet: Das Verfahren kann aus Daten lernen, die unter einer anderen Behaviour Policy gesammelt wurden.\n\nBeispiel: Q-Learning und DQN koennen Replay-Buffer-Daten nutzen.\n\nEs bedeutet **nicht** ohne Policy. Es gibt weiterhin eine Verhaltenregel zum Sammeln von Daten und meist eine Zielpolicy, z. B. greedy aus den Q-Werten.\n\nPruefungsfalle: Off-policy nicht mit policy-los verwechseln.","tags":["reinforcement-learning","off-policy","pruefungsfalle"],"source":"Zusammenfassung Abschnitt 12.2; Skript Seiten 144-147","external_id":"unsupervised-learning-cards-105"}