WB-XIC: Explaining Image Classification

Semestr Wiosenny 2021/22 @hbaniecki

Tematyka zajęć

Kontekst: Knowing What and Why? — Explaining Image Classifier Predictions

Projekt: Klasyfikacja obrazu i kreatywne wyjaśnianie zagadnień opisanych w pracy Kandinsky Patterns.

Materiały:

1. Neural networks by 3Blue1Brown; Neural Network Playground
2. An Introduction to Statistical Learning, Chapter 10
3. Interpretable Machine Learning. A Guide for Making Black Box Models Explainable, Chapter 10
4. Dive into Deep Learning, Chapters 1-7; CNN Explainer
5. Explanatory Model Analysis. Explore, Explain and Examine Predictive Models

Technologie:

• torch, torchvision
• captum - Model Interpretability for PyTorch
• shap - SHapley Additive exPlanations

Dane:

• Fashion-MNIST: [GitHub] [PyTorch]
• CIFAR10: [PyTorch]; CIFAR100: [PyTorch]
• ImageNet: [.org]
• Kandinsky Patterns: [GitHub]

Literatura:

• Y. LeCun et al. Backpropagation Applied to Handwritten Zip Code Recognition. Neural Computation, 1989. https://www.doi.org/10.1162/neco.1989.1.4.541; http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
• A. Krizhevsky et al. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012. https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
• S. Ioffe & C. Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. ICML, 2015. https://dl.acm.org/doi/10.5555/3045118.3045167; https://arxiv.org/abs/1502.03167
• K. He et al. Deep Residual Learning for Image Recognition. CVPR, 2016. https://www.doi.org/10.1109/CVPR.2016.90; https://arxiv.org/abs/1512.03385
• M. T. Ribeiro et al. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. KDD, 2016. https://www.doi.org/10.1145/2939672.2939778; https://arxiv.org/abs/1602.04938
• G. Huang et al. Densely Connected Convolutional Networks. CVPR, 2017. https://www.doi.org/10.1109/CVPR.2017.243; https://arxiv.org/abs/1608.06993
• M. Sundararajan et al. Axiomatic attribution for deep networks. ICML, 2017. https://dl.acm.org/doi/10.5555/3305890.3306024; https://arxiv.org/abs/1703.01365
• S. M. Lundberg & S. Lee. A Unified Approach to Interpreting Model Predictions. NeurIPS, 2017. https://dl.acm.org/doi/10.5555/3295222.3295230; https://arxiv.org/abs/1705.07874
• J. Adebayo et al. Sanity Checks for Saliency Maps. NeurIPS, 2018. https://dl.acm.org/doi/10.5555/3327546.3327621; https://arxiv.org/abs/1810.03292
• H. Müller & A. Holzinger Kandinsky Patterns. Artificial Intelligence, 2021. https://doi.org/10.1016/j.artint.2021.103546

Terminy zajęć

	data	temat	zadanie
1	02-24	Opis zajęć i przedstawienie tematyki projektu.
2	03-03	Wstęp do sieci neuronowych i PyTorch.	PD-1 start
3	03-10	Sieci neuronowe w praktyce.
4	03-17	Wstęp do konwolucyjnych sieci neuronowych.	PD-1 oddanie, PD-2 start
5	03-24	Konwolucyjne sieci neuronowe w praktyce (ResNet, DenseNet).
6	03-31	Wstęp do wyjaśnień konwolucyjnych sieci neuronowych (LIME, IG etc.).	PD-2 oddanie, PD-3 start
7	04-07	Wyjaśnienia konwolucyjnych sieci neuronowych c.d. (SHAP, TCAV etc.).	KM-1 start
8	04-14	Przegląd danych i modeli związanych z projektem.	PD-3 oddanie
9	04-21	Przedstawienie postępów projektów, konsultacje.	KM-1 oddanie, KM-2 start
10	04-28	Przegląd postępów w projekcie i struktury raportu.
11	05-05	Przedstawienie postępów projektów, konsultacje.	KM-2 oddanie, KM-3 start
12	05-19	Przedstawienie postępów projektów, konsultacje.	KM-3 oddanie
13	05-26	Przedstawienie i dyskusja wyników projektu na zajęciach.	Prezentacja
14	06-02	*Prezentacja: Manipulowanie wyjaśnieniami sieci neuronowych.	Raport v0.1
15	06-09	Podsumowanie zajęć laboratoryjnych i projektowych.	Raport v1.0

Zasady oceniania (100 pkt)

Warszataty Badawcze składają się z wykładu, zajęć laboratoryjnych i projektowych:

• praca podczas laboratoriów i projektu -- 6 x 8 pkt = 48 pkt.
• prezentacja końcowa na wykładzie -- 16 pkt. (deadline: 29 maja)
• raport końcowy -- 32 pkt. (deadline: 9 czerwca)
• stosowanie dobrych praktyk wykorzystania GitHub -- 4 pkt.