Seminar:
Kernel Methods
WS 2008/2009
Dozent:
Dr. Bernard Haasdonk, Institut für Numerische und Angewandte Mathematik
Sprechstunde Di. 13:00-14:00
Prof. Dr. Xiaoyi Jiang, Institut für Informatik
Sprechstunde Mo. 17:15-18:15.
Zeit,Ort:
Mo. 16:00-18:00h, wöchentlich, SR 1
Vorbesprechung:
Mo. 7.7.2008, 16h ct, SR 2
Anmeldung:
In der Vorbesprechung.
Bachelor-Studenten müssen sich zusätzlich im
elektronischen Prüfungssystem anmelden.
Inhalt:
Kern-Methoden sind in vielen Bereichen der Numerischen Analysis,
der Mustererkennung und dem Maschinellen Lernen erfolgreich.
Dies sind Verfahren, welche aus gegebenen Beobachtungen (Objekten, Messungen)
in einem Trainings-Schritt ein abstrahierendes Modell erzeugen, das
anschließend generalisierende Aussagen für neue Beobachtungen ermöglicht.
Hiermit sind vielfältige Analyse-Aufgaben lösbar.
In diesem Seminar werden zunächst die Grundlagen von Kernmethoden
vorgestellt, um den allgemeinen Rahmen zu spannen. Hierauf aufbauend werden
sich einige Teilnehmer-Vorträge anhand von Originalarbeiten mit Aspekten
des Kern-Designs beschäftigen, z.B. Kerne für Graphen, Strings, etc.
Weitere Vorträge präsentieren Kern-Methoden in der
Mustererkennung (SVM, Kernel-PCA) und der Angewandten Mathematik
(Regression, Parameterschätzung, Modellreduktion).
Neben Vorstellung der methodischen Ansätze werden die Vorträge auch jeweils
den Anwendungsaspekt beleuchten, z.B. Anwendung zur Objekterkennung,
Visualisierung, Bildfilterung oder
Vereinfachung von Dynamischen Systemen.
Bei Interesse ist zu einigen Themen auch ein praktischer Aspekt in Form
eigener Implementation und Experimente möglich. Gegebenenfalls ist auch eine
Vertiefung von Themen in Form von Abschlussarbeiten möglich.
Voraussetzungen:
Vordiplom/Zwischenprüfung in Mathematik oder Informatik. Je nach
Vortragsthema sind weitere Mathematik- oder
Informatik-Vorlesungen vorteilhaft, z.B. Mustererkennung oder Numerik.
Leistungsnachweis:
Bescheinigung erfolgt nach Teilnahme an den Vorträgen, Ausarbeitung und
Vortrag. Bei Interesse können auch eigene Experimente und Implementierung erfolgen.
Eine Vorversion der Ausarbeitung (Latex) soll eine
Woche vor dem jeweiligen Vortrag abgegeben werden, die endgültige Version anschließend eine
Woche nach dem Vortrag.
Themen:
-
Einführung in Kernmethoden
13.10.2008, B. Haasdonk
-
Supportvektor-Maschinen
19.1.2009, F. Wisniewski
Einführung: [SS02], pp. 187--222, Anwendung Textklassifikation: [J98]
-
Kerne für Strings
19.1.2009, C. Bartenhagen
Anwendung Textklassifikation: [LSSCW02], Anwendung
Proteinklassifikation: [LECWN04]
-
Merkmalsextraktion durch Kernel-PCA
26.1.2009, D. Tenbrinck
Allgemein: [SS02], pp. 427-441, Anwendung Gesichtserkennung: [Y02],
Anwendung Entrauschen: [MSSMSR99]
-
Statistische Lerntheorie
26.1.2009, M. Schäfer
VC-Dimension, Structural Risk Minimization, etc.: [SS02], pp. 8--11, 32--36,
89--91, 125-146. Experimente: [SBV95]
-
Meshless Collocation Methods für PDEs
2.2.2009, P. Verfürth
Kompakte Kerne: [SW99], Abschnitt 1--3,
Harmonische Kerne: [S08].
-
Modellreduktion mit Kernmethoden
2.2.2009, D. Wirtz
Ansatz und Anwendung Schaltkreis-Simulation: [PAOS03]
Weitere Themen:
-
Kerne für Graphen
Allgemein: [CH07], pp. 253--282, Anwendung Protein-Funktionsvorhersage:
[BOSVSK05]
-
Invarianz in Kernel Methods
Allgemein und Anwendung Zeichenerkennung: [SS02], pp. 333-357.
-
Indefinite Kernmethoden
Indefinite SVM: [H05].
Literatur:
Allgemeine Literatur:
-
[B06] C. Bishop.
Pattern Recognition and Machine Learning. Springer, 2006
-
[SW06] R. Schaback and H. Wendland. Kernel Techniques: From Machine
Learning to Meshless Methods. Acta Numerica (2006), pp. 1-97.
-
[SS02] B. Schölkopf und A.J. Smola.
Learning with Kernels.
The MIT Press, Cambridge, 2002.
-
[SC04] J. Shawe-Taylor und N. Cristianini.
Kernel Methods for
Pattern Analysis. Cambridge University Press, 2004.
Themenspezifische Literatur:
-
[J98] T. Joachims,
Text Categorization with Support Vector Machines:
Learning with Many Relevant Features.
Proceedings of the European Conference on Machine Learning,
Springer, 1998.
-
[LSSCW02] H.Lodhi, C. Saunders, J. Shawe-Taylor, N. Cristianini, C. Watkins.
Text Classification using String Kernels.
Journal of Machine Learning Research 2 (2002) 419-444.
-
[LECWN04] C. Leslie, E. Eskin, A. Cohen, J. Weston, and W. Noble.
Mismatch String Kernels for Discriminative Protein Classification.
Bioinformatics, 20:4, pp. 467-476, 2004.
-
[CH07] D.J. Cook, L.B. Holder. Mining Graph Data. Wiley Interscience, 2007
-
[BOSVSK05] Karsten M. Borgwardt, Cheng Soon Ong, Stefan Schönauer,
S. V. N. Vishwanathan, Alex J. Smola and
Hans-Peter Kriegel:
Protein
function prediction via graph kernels
Bioinformatics 2005 21(Suppl 1):i47-i56.
-
[Y02] M.-H. Yang,
Face Recognition Using Kernel Methods. Advances in Neural
Information Processing Systems, 2002.
-
[MSSMSR99] Sebastian Mika, Bernhard Schölkopf, Alex Smola,
Klaus-Robert Müller, Matthias Scholz, Gunnar Rätsch
Kernel-PCA and Denoising in Feature Space.
Advances in Neural Information Processing Systems, 1999.
-
[SBV95] B. Schölkopf, C. Burges, and V. Vapnik.
Extracting support data for a given task.
In Proc. First International Conference on Knowledge Discovery & Data Mining,
Menlo Park, 1995. AAAI Press.
-
[PAOS03] J. Phillips, J. Afonso, A. Oliveira, L. M. Silveira:
Analog Macromodeling using Kernel Methods.
Proc. International Conference on Computer Aided Design (ICCAD'03), 2003.
-
[SW99] R. Schaback, H. Wendland.
Using compactly supported radial basis functions to solve partial
differential equations.
in Boundary Element Technology XIII (invited lecture) , Chen, C. S. and Brebbia,
C. A. and Pepper, D. W. (eds)
WitPress, Southampton, Boston, pp. 311--324, 1999
-
[S08] R. Schaback.
Solving the Laplace equation by meshless collocation using harmonic kernels.
Advances in Computational Mathematics, 2008
-
[H05] Haasdonk, B.,
Feature Space Interpretation of SVMs with Indefinite Kernels.
IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(4):482-492, 2005.
Kernel Methods
WS 2008/2009
| Dozent: | Dr. Bernard Haasdonk, Institut für Numerische und Angewandte Mathematik
Sprechstunde Di. 13:00-14:00 |
| Prof. Dr. Xiaoyi Jiang, Institut für Informatik Sprechstunde Mo. 17:15-18:15. | |
| Zeit,Ort: |
Mo. 16:00-18:00h, wöchentlich, SR 1 |
| Vorbesprechung: | Mo. 7.7.2008, 16h ct, SR 2 |
| Anmeldung: | In der Vorbesprechung. Bachelor-Studenten müssen sich zusätzlich im elektronischen Prüfungssystem anmelden. |
| Inhalt: | Kern-Methoden sind in vielen Bereichen der Numerischen Analysis, der Mustererkennung und dem Maschinellen Lernen erfolgreich. Dies sind Verfahren, welche aus gegebenen Beobachtungen (Objekten, Messungen) in einem Trainings-Schritt ein abstrahierendes Modell erzeugen, das anschließend generalisierende Aussagen für neue Beobachtungen ermöglicht. Hiermit sind vielfältige Analyse-Aufgaben lösbar. In diesem Seminar werden zunächst die Grundlagen von Kernmethoden vorgestellt, um den allgemeinen Rahmen zu spannen. Hierauf aufbauend werden sich einige Teilnehmer-Vorträge anhand von Originalarbeiten mit Aspekten des Kern-Designs beschäftigen, z.B. Kerne für Graphen, Strings, etc. Weitere Vorträge präsentieren Kern-Methoden in der Mustererkennung (SVM, Kernel-PCA) und der Angewandten Mathematik (Regression, Parameterschätzung, Modellreduktion). Neben Vorstellung der methodischen Ansätze werden die Vorträge auch jeweils den Anwendungsaspekt beleuchten, z.B. Anwendung zur Objekterkennung, Visualisierung, Bildfilterung oder Vereinfachung von Dynamischen Systemen. Bei Interesse ist zu einigen Themen auch ein praktischer Aspekt in Form eigener Implementation und Experimente möglich. Gegebenenfalls ist auch eine Vertiefung von Themen in Form von Abschlussarbeiten möglich. |
| Voraussetzungen: | Vordiplom/Zwischenprüfung in Mathematik oder Informatik. Je nach Vortragsthema sind weitere Mathematik- oder Informatik-Vorlesungen vorteilhaft, z.B. Mustererkennung oder Numerik. |
| Leistungsnachweis: | Bescheinigung erfolgt nach Teilnahme an den Vorträgen, Ausarbeitung und Vortrag. Bei Interesse können auch eigene Experimente und Implementierung erfolgen. Eine Vorversion der Ausarbeitung (Latex) soll eine Woche vor dem jeweiligen Vortrag abgegeben werden, die endgültige Version anschließend eine Woche nach dem Vortrag. |
| Themen: |
|
| Weitere Themen: |
|
| Literatur: |
Allgemeine Literatur:
|
