Introduction to Deep Learning

Karteikarten und Zusammenfassungen für Introduction to Deep Learning an der TU München

Arrow Arrow

Komplett kostenfrei

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

Lerne jetzt mit Karteikarten und Zusammenfassungen für den Kurs Introduction to Deep Learning an der TU München.

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

bagging and ensemble methods as regularization?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

early stopping as regularization?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

explain regularization by data augmentation

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

what are the benefits of BN? what are drawbacks?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

what is a problem for test time? what is the solution? batch normalization

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

is it ok to treat dimensions seperately for BN? what happens to the biases before layers?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

how do you include Batch normalization in network?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

what is the goal of batch normalization? what is the solution?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

weight initialization: what happens if all weights are set to zero?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

What effects does dropout have on the model size and training time?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

What are ensemble methods for regularization?

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

Why does the Softmax formulation for binary predictions doesn't work for multiple classes?

Kommilitonen im Kurs Introduction to Deep Learning an der TU München. erstellen und teilen Zusammenfassungen, Karteikarten, Lernpläne und andere Lernmaterialien mit der intelligenten StudySmarter Lernapp. Jetzt mitmachen!

Jetzt mitmachen!

Flashcard Flashcard

Beispielhafte Karteikarten für Introduction to Deep Learning an der TU München auf StudySmarter:

Introduction to Deep Learning

bagging and ensemble methods as regularization?
  • bagging: use k different datasets to train different models

ensemble:

  • train three models and average results
  • change a different algorithm for optimization or change objective function
  • if errors uncorrelated -> expected combined error will decrease linearly with ensemble size

Introduction to Deep Learning

early stopping as regularization?
  • take model with lowest validation error(before overfitting sets in) -> optimize training time as a hyperparameter

Introduction to Deep Learning

explain regularization by data augmentation
  • classifier has to be invariant to a wider variety of transformations
  • generate fake data simulating plausible transformations (crop augmentation, flip augmentation, random brightness and contrast changes)
  • should be part of network design -> use same data augmentation when comparing two networks

Introduction to Deep Learning

what are the benefits of BN? what are drawbacks?
  • very deep nets are much easier to train -> more stable gradients
  • much larger range of hyperparameters works similarly when using BN

  • drawback: doesn’t work well for small batch sizes (about < 16)

Introduction to Deep Learning

what is a problem for test time? what is the solution? batch normalization
  • no chance to compute meaningful mean and variance for just one image
  • hence, we compute mean and variance by running an exponentially weighted average across training mini-batches

Introduction to Deep Learning

is it ok to treat dimensions seperately for BN? what happens to the biases before layers?
  • empirically shown that treating the dimensions separately still leads to faster convergence
  • biases can be set to zero since they wil be cancelled out by BN

Introduction to Deep Learning

how do you include Batch normalization in network?
  • can be applied after fully connected or convolutional layers and before non-linear activation functions
  • all unit gaussians before tanh might not be good

Introduction to Deep Learning

what is the goal of batch normalization? what is the solution?
  • preventing activations of dying out
  • unit Gaussian activations (in shown example)

Introduction to Deep Learning

weight initialization: what happens if all weights are set to zero?
  • hidden units are all going to compute the same function
  • gradients are going to be the same

Introduction to Deep Learning

What effects does dropout have on the model size and training time?

You need bigger networks because you are only using half of it and the training time increases

Introduction to Deep Learning

What are ensemble methods for regularization?

Train multiple models with different objectiv function and optimization. Average the models.

Introduction to Deep Learning

Why does the Softmax formulation for binary predictions doesn't work for multiple classes?

Because the outputs need to sum to 1

Melde dich jetzt kostenfrei an um alle Karteikarten und Zusammenfassungen für Introduction to Deep Learning an der TU München zu sehen

Singup Image Singup Image
Wave

Andere Kurse aus deinem Studiengang

Für deinen Studiengang Data Engineering and Analytics an der TU München gibt es bereits viele Kurse auf StudySmarter, denen du beitreten kannst. Karteikarten, Zusammenfassungen und vieles mehr warten auf dich.

Zurück zur TU München Übersichtsseite

Lineare Algebra

Was ist StudySmarter?

Was ist StudySmarter?

StudySmarter ist eine intelligente Lernapp für Studenten. Mit StudySmarter kannst du dir effizient und spielerisch Karteikarten, Zusammenfassungen, Mind-Maps, Lernpläne und mehr erstellen. Erstelle deine eigenen Karteikarten z.B. für Introduction to Deep Learning an der TU München oder greife auf tausende Lernmaterialien deiner Kommilitonen zu. Egal, ob an deiner Uni oder an anderen Universitäten. Hunderttausende Studierende bereiten sich mit StudySmarter effizient auf ihre Klausuren vor. Erhältlich auf Web, Android & iOS. Komplett kostenfrei. Keine Haken.

Awards

Bestes EdTech Startup in Deutschland

Awards
Awards

European Youth Award in Smart Learning

Awards
Awards

Bestes EdTech Startup in Europa

Awards
Awards

Bestes EdTech Startup in Deutschland

Awards
Awards

European Youth Award in Smart Learning

Awards
Awards

Bestes EdTech Startup in Europa

Awards

So funktioniert's

Top-Image

Individueller Lernplan

StudySmarter erstellt dir einen individuellen Lernplan, abgestimmt auf deinen Lerntyp.

Top-Image

Erstelle Karteikarten

Erstelle dir Karteikarten mit Hilfe der Screenshot-, und Markierfunktion, direkt aus deinen Inhalten.

Top-Image

Erstelle Zusammenfassungen

Markiere die wichtigsten Passagen in deinen Dokumenten und bekomme deine Zusammenfassung.

Top-Image

Lerne alleine oder im Team

StudySmarter findet deine Lerngruppe automatisch. Teile deine Lerninhalte mit Freunden und erhalte Antworten auf deine Fragen.

Top-Image

Statistiken und Feedback

Behalte immer den Überblick über deinen Lernfortschritt. StudySmarter führt dich zur Traumnote.

1

Lernplan

2

Karteikarten

3

Zusammenfassungen

4

Teamwork

5

Feedback