Quelle: 10_Ch.2 Grundlagen des Machine Learning, KI und ML: Supervised Learning, Martin Zaefferer

1. Überblick: Statistical Learning

Statistical Learning beschreibt Methoden, mit denen aus beobachteten Daten ein Zusammenhang zwischen Eingaben und einer Zielgröße gelernt wird. Im Supervised Learning liegen Trainingsbeispiele mit Features X und bekannten Labels Y vor. Ziel ist ein Modell, das neue Datenpunkte möglichst gut vorhersagt und - je nach Modell - interpretierbare Aussagen über Einflussfaktoren erlaubt.

2. Regression

2.1 Advertising-Beispiel

Die Folien starten mit dem Datensatz Advertising: Sales soll aus den Werbeausgaben für TV, Radio und Newspaper vorhergesagt werden. Einzelne Regressionslinien für Sales gegen jeweils ein Feature erklären nur eindimensionale Zusammenhänge. Das eigentliche supervised-learning-Problem lautet gemeinsam:

Sales ≈ f(TV, Radio, Newspaper)

Damit ist f eine Funktion mehrerer Eingaben. In einer Klausur ist wichtig, nicht drei voneinander unabhängige eindimensionale Probleme mit dem gemeinsamen Modell zu verwechseln.

2.2 Notation

Grundmodell:

Y = f(X) + ε

Die Gleichung sagt: Der beobachtete Wert Y besteht aus einem systematischen Anteil f(X) und einem zufälligen bzw. nicht erklärbaren Anteil ε. Das Modell kann f schätzen, aber ε nie vollständig beseitigen.

2.3 Wofür wird f(X) verwendet?

Vorhersage von Y für neue Datenpunkte X.

Untersuchen, welche Features Einfluss auf Y haben und welche nicht.

Je nach Modell: Erklärung, wie stark und in welche Richtung ein Feature wirkt.

2.4 Ideale Regressionsfunktion

Die ideale Regressionsfunktion ist die Funktion, die den erwarteten quadratischen Vorhersagefehler minimiert. Für einen festen Wert x ist der beste Vorhersagewert unter quadratischem Verlust der bedingte Erwartungswert:

f(x) = E(Y | X = x)

Folie 7: Ideale Regressionsfunktion und bedingter Erwartungswert

Zeigt: Für ein festes x ist der optimale quadratische Vorhersagewert der Mittelwert der möglichen Y-Werte.

2.5 Geschätzte Regressionsfunktion und Fehler

In realen Daten gibt es selten viele Beobachtungen mit exakt demselben X-Wert. Deshalb kann f meist nicht direkt bestimmt werden. Man schätzt stattdessen eine Funktion f̂. Diese Schätzung erzeugt zusätzlichen Fehler.

Vorhersagefehler ≈ Schätzfehler + nichtreduzierbarer Fehler

Schätzfehler: f̂(x) - f(x). Er entsteht, weil das Modell f nur aus endlichen Trainingsdaten lernt.

Nichtreduzierbarer Fehler: ε = Y - f(x). Er bleibt selbst beim idealen Modell bestehen.

Beispiel: Zwei Personen mit gleichem Alter, gleicher Ausbildung und gleichem Beruf können trotzdem verschiedene Gehälter haben.

3. Schätzung durch Nachbarschaften und kNN

3.1 Neighborhood Averaging

Wenn keine Datenpunkte mit exakt X = x vorliegen, betrachtet man eine Nachbarschaft um x. Die Grundannahme lautet: ähnliche X-Werte haben vermutlich ähnliche Y-Werte. Die Vorhersage ist dann ein Durchschnitt der Y-Werte in dieser lokalen Umgebung.

Folie 11: Neighborhood Averaging

Zeigt: Statt exakt gleicher X-Werte nutzt man Beobachtungen in der Nachbarschaft.

3.2 Problem fester Intervalle

Eine feste Intervall- oder Volumendefinition kann leer sein. Dann gibt es keine Beobachtungen, aus denen man den Durchschnitt berechnen könnte. k-nearest Neighbors löst dieses Problem, indem nicht ein fixes Volumen, sondern die k nächsten Beobachtungen verwendet werden.

Für Regression gilt bei kNN typischerweise:

f̂(x) = (1 / k) * Summe der y_i über die k nächsten Nachbarn von x

3.3 Wahl von k

3.4 Curse of Dimensionality

Neighborhood Averaging funktioniert gut bei wenigen Features p und vielen Beobachtungen N. Bei hoher Dimension wird der Raum extrem groß. Selbst der nächste Nachbar ist dann oft weit entfernt. Eine Nachbarschaft, die einen festen Anteil der Daten enthält, ist nicht mehr lokal.

Folie 15: Curse of Dimensionality

Zeigt: In hohen Dimensionen muss eine Nachbarschaft sehr groß werden, um denselben Datenanteil zu enthalten.

3.5 Alternative Regressionsmodelle

Lineare Regression: interpretiert lineare Feature-Effekte; gut als Baseline.

Support Vector Regression: flexibler, aber schwerer zu interpretieren.

Splines: flexible glatte Funktionen.

Entscheidungsbäume: regelartige Partitionierung des Feature-Raums.

Neuronale Netze: sehr flexibel, oft hohe Daten- und Interpretationsanforderungen.

4. Modellbewertung und Modellkomplexität

4.1 Trade-offs

Vorhersagegenauigkeit vs. Interpretierbarkeit: Ein einfacheres Modell kann fachlich nützlicher sein, wenn Erklärbarkeit zählt.

Overfit vs. Underfit: Zu einfache Modelle lernen die Struktur nicht; zu komplexe Modelle lernen Rauschen.

Trainingsleistung vs. Generalisierung: Entscheidend ist die Leistung auf neuen, nicht im Training verwendeten Daten.

4.2 Underfit, Good Fit, Overfit

Folie 19: Underfit

Zu einfaches Modell: Es erkennt selbst auf Trainingsdaten die Struktur schlecht.

Folie 20: Good Fit

Angemessene Komplexität: gute Annäherung ohne Rauschen zu stark mitzunehmen.

Folie 21: Overfit

Zu komplexes Modell: Es lernt Rauschen und generalisiert schlecht.

4.3 Mean Squared Error

Für n überprüfte Datenpunkte ist der Mean Squared Error:

MSE = (1 / n) * Summe von [y_i - f̂(x_i)]² für i = 1,...,n

4.4 Trainingsdaten vs. Testdaten

MSE kann auf Trainingsdaten berechnet werden. Das reicht aber nicht aus, weil Overfit dort gut aussehen kann. Deshalb braucht man Testdaten, die vor dem Training getrennt wurden oder nachträglich neu erhoben werden.

Trainingsdaten: werden verwendet, um das Modell zu schätzen.

Testdaten: werden erst nach dem Training zur Bewertung verwendet.

Gute Aufteilung: möglichst repräsentativ für die Gesamtverteilung und möglichst geringe Überschneidung/Redundanz zwischen Train und Test.

5. Bias-Variance Trade-off

5.1 Fehlzerlegung

Für einen neuen Testdatenpunkt (x^*, y^*) lässt sich der erwartete quadratische Fehler konzeptionell zerlegen in:

Error(x^*, y^*) = Variance of f̂(x^*) + Bias of f̂(x^*) + ε

In der üblichen präzisen Schreibweise wird der Bias quadratisch betrachtet: erwarteter Fehler = Varianz + Bias² + irreduzibler Fehler. Die Folien fokussieren die Interpretation der drei Bestandteile.

5.2 Zusammenhang mit Modellflexibilität

5.3 Typische Diagrammdeutung

Hoher Bias + niedrige Varianz: Modell ist stabil, aber systematisch falsch. Beispiel: horizontale Linie für klar steigende Daten.

Niedriger Bias + hohe Varianz: Modell kann die Struktur treffen, reagiert aber stark auf Trainingsrauschen.

Guter Kompromiss: ausreichend flexibel, aber nicht so flexibel, dass Rauschen gelernt wird.

6. Overfitting erkennen

Die Folien warnen vor einer zu einfachen Aussage: 'Trainingsfehler ist kleiner als Testfehler, also liegt Overfit vor.' Das ist nur ein schwacher Indikator. Test- und Trainingsfehler können aus mehreren Gründen unterschiedlich sein.

Besserer Hinweis: Bei steigender Modellkomplexität sinkt der Trainingsfehler weiter, während der Testfehler wieder steigt.

Ausreißer, zufällige Stichprobenverschiebungen oder unterschiedliche Stichprobengrößen können Fehlerunterschiede erzeugen.

Test- und Trainingsdaten müssen einigermaßen unkorreliert sein. Redundante Daten können echte Generalisierung vortäuschen.

6.1 Redundanz-Beispiel

7. Klassifikation

7.1 Grundbegriffe

Bei Klassifikationsproblemen ist Y kategorisch. Jedes mögliche y aus der Menge C ist eine Klasse. Ziel ist ein Klassifikator c(X), der einem neuen Datenpunkt X eine Klasse zuordnet.

Ziele in der Klassifikation:

Klasse für neue Datenpunkte vorhersagen.

Einfluss der Features auf die Zuordnung verstehen.

Unsicherheit des Klassifikators bewerten, z. B. über geschätzte Klassenwahrscheinlichkeiten.

7.2 Bayes-optimaler Klassifikator

Für einen gegebenen Punkt x gibt es Klassenwahrscheinlichkeiten p_k(x). Diese beschreiben, wie wahrscheinlich Klasse k bei X = x ist. Der Bayes-optimale Klassifikator wählt die Klasse mit der größten Wahrscheinlichkeit:

c(x) = Klasse k mit maximalem p_k(x)

Folie 38: Bayes-optimaler Klassifikator

Die Klasse mit der größten bedingten Klassenwahrscheinlichkeit wird gewählt.

7.3 Geschätzter Klassifikator und kNN

Wie in der Regression sind die wahren p_k(x) unbekannt. kNN schätzt sie über die Nachbarschaft: Man betrachtet die k nächsten Nachbarn und wählt die häufigste Klasse. Die geschätzte Klassenwahrscheinlichkeit ist der Anteil der jeweiligen Klasse unter den Nachbarn.

Folie 39: Geschätzter Klassifikator über Nachbarn

KNN schätzt Klassen bzw. Wahrscheinlichkeiten lokal über die Nachbarschaft.

7.4 Fehlklassifizierungsrate

Die Leistung eines Klassifikators wird über die Fehlklassifizierungsrate gemessen:

Error_test = Anzahl falscher Vorhersagen / Anzahl aller geprüften Vorhersagen

7.5 kNN-Entscheidungsgrenzen

In zwei Dimensionen kann man die kNN-Klassifikation über Entscheidungsgrenzen visualisieren. Kleine k erzeugen sehr flexible, zackige Grenzen; große k erzeugen glattere Grenzen. Auch hier gilt der Bias-Variance Trade-off: zu kleine k können overfitten, zu große k können underfitten.

8. Lab: kNN für Advertising Data

8.1 Daten laden und Train/Test-Split

ads <- read.csv("https://www.statlearning.com/s/Advertising.csv", row.names=1)

head(ads)

set.seed(1)

random_sel <- sample(1:nrow(ads), nrow(ads)/2)

ads_train <- ads[random_sel,]

ads_test <- ads[-random_sel,]

`set.seed(1)` macht die Zufallsauswahl reproduzierbar.

`sample(...)` wählt zufällig die Hälfte der Zeilen für das Training.

`ads[-random_sel,]` enthält die übrigen Daten als Testdaten.

8.2 kNN Regression

require(FNN)

fit <- knn.reg(y = ads_train$sales,

train = ads_train[,1:3],

test = ads_test[,1:3],

k = 10)

ypred <- fit$pred

8.3 Visualisierung und Fehler

Folie 49: Lab-Visualisierung: wahre vs. vorhergesagte Sales-Werte

Rote Punkte sind wahre Werte, blaue Punkte Vorhersagen; gestrichelte Linien zeigen individuelle Fehler.

Die Visualisierung vergleicht wahre Labels mit vorhergesagten Labels. Die vertikalen gestrichelten Linien zeigen individuelle Vorhersagefehler. Auffällig ist: TV zeigt einen klaren Zusammenhang mit Sales, Newspaper deutlich weniger. Trotzdem verwendet das kNN-Modell alle drei Features.

Test-MSE in R:

mean((ads_test$sales - ypred)²)

9. Typische Klausuraufgaben mit Lösungsskizzen

10. Häufige Fehler und Prüfungsfallen

11. Kompakte Lerncheckliste

Ich kann Regression und Klassifikation klar unterscheiden.

Ich kann Y = f(X) + ε erklären.

Ich kann begründen, warum f(x) = E(Y | X = x) bei quadratischem Fehler ideal ist.

Ich kenne den Unterschied zwischen f und f̂.

Ich kann nichtreduzierbaren Fehler erklären.

Ich kann kNN für Regression und Klassifikation beschreiben.

Ich kann erklären, warum hohe Dimensionen kNN erschweren.

Ich kann MSE berechnen und interpretieren.

Ich kann Train- und Testfehler unterscheiden.

Ich kann Underfit, Good Fit und Overfit an Diagrammen erkennen.

Ich kann Bias, Varianz und deren Trade-off erklären.

Ich kann die Fehlklassifizierungsrate berechnen.

Ich kann den Einfluss von k im Lab fachlich deuten.

12. Mögliche Klausurfragen

Was ist Statistical Learning und wie passt Supervised Learning dazu?

Erklären Sie die Notation Y, X, f(X), f̂(X) und ε.

Warum ist der bedingte Erwartungswert die ideale Regressionsfunktion bei quadratischem Fehler?

Was ist der Unterschied zwischen reduzierbarem und nichtreduzierbarem Fehler?

Beschreiben Sie Neighborhood Averaging und k-nearest Neighbors.

Was ist der Curse of Dimensionality und warum betrifft er kNN besonders?

Wie wird der Mean Squared Error berechnet?

Warum ist der Trainings-MSE allein kein gutes Maß für Generalisierung?

Erklären Sie Underfitting und Overfitting anhand von Trainings- und Testfehler.

Was besagt der Bias-Variance Trade-off?

Warum beweist ein niedrigerer Trainingsfehler als Testfehler allein kein Overfitting?

Wie funktioniert der Bayes-optimale Klassifikator?

Wie berechnet man die Fehlklassifizierungsrate?

Wie verändert k die Entscheidungsgrenze bei kNN-Klassifikation?

Wie würden Sie im Advertising-Lab einen sinnvollen Bereich für k testen?

13. Folien-Mapping