Kursplanen innehåller ändringar
Se ändringarKursplan fastställd 2021-04-29 av programansvarig (eller motsvarande).
Kursöversikt
- Engelskt namnInformation theory, advanced level
- KurskodSSY210
- Omfattning7,5 Högskolepoäng
- ÄgareMPCOM
- UtbildningsnivåAvancerad nivå
- HuvudområdeElektroteknik
- InstitutionELEKTROTEKNIK
- BetygsskalaUG - Godkänd, Underkänd
Kurstillfälle 1
Kurstillfället är inställt. Kurstillfället ges enligt plan vartannat år. För frågor kontakta utbildningssekreteraren för- Undervisningsspråk Engelska
- Anmälningskod 13112
- Sökbar för utbytesstudenterJa
Poängfördelning
Modul | LP1 | LP2 | LP3 | LP4 | Sommar | Ej LP | Tentamensdatum |
---|---|---|---|---|---|---|---|
0108 Muntlig tentamen 7,5 hp Betygsskala: UG | 7,5 hp |
I program
Examinator
- Giuseppe Durisi
- Professor, Kommunikation, Antenner och Optiska Nätverk, Elektroteknik
Behörighet
Grundläggande behörighet för avancerad nivåSökande med en programregistrering på ett program där kursen ingår i programplanen undantas från ovan krav.
Särskild behörighet
Engelska 6Sökande med en programregistrering på ett program där kursen ingår i programplanen undantas från ovan krav.
Kursspecifika förkunskaper
Goda förkunskaper i sannolikhet och analys. Kursens svårighetsgrad ligger på doktorandnivå, vilket innebär att den är matematiskt mer avancerad och går i ett snabbare tempo än de flesta masterskurser.Syfte
I denna kurs ges en introduktion till informationsteori och dess applikationer inom digital kommunikation, statistik och maskininlärning.
En viktig fördel med ett informationsteoretiskt tillvägagångssätt är dess förmåga att ge fundamentala resultat, det vill säga resultat som kan påvisa att en viss metod är optimal.
Denna sorts resultat är användbara av många skäl. De tillåter oss att, till exempel: avgöra huruvida en önskad felsannolikhet inom informationstransmission är möjlig att uppnå; att beräkna hur många observationer som behövs för att skilja en eller flera statistiska hypoteser åt; och att avgöra hur mycket data som krävs för att träna en maskininlärningsalgoritm.
Lärandemål (efter fullgjord kurs ska studenten kunna)
- Definiera entropi, relativ entropi samt ömsesidig information och förklara deras operationella betydelser
- Beskriva och visa Shannons källkodnings- och kanalkodningssatser
- Beräkna kapaciteten hos en diskret kommunikationskanal
- Beskriva de fundamentala prestandamåtten inom binär hypotesprövning, hur de relaterar till varandra, deras asymptotiska beteende samt det optimala testets struktur
- Förklara hur relativ entropi kan användas för att karakterisera generaliseringsfel inom statistisk inlärning
- Applicera Fanos olikhet för att visa omöjlighetsresultat inom grupptestning, grafiskt modellval och gles linjär regression
Innehåll
- Shannons informationsmetriker: entropi, relativ entropi (även kallat Kullback-Leibler divergens), ömsesidig information
- Den asymptotiska ekvipartitionsegenskapen och typikalitet
- Datakompression och källkodningssatsen
- Binär hypotesprövning, Neyman-Pearson-lemmat, Steins lemma
- Generaliseringsfel inom statistisk inlärningsteori och Probably Approximately Correct (PAC)-gränser
- Minimaxgränser i statistiska estimat och Fanos metod
Organisation
Kursen omfattar cirka 15 föreläsningar och 7 övningstillfällen.Litteratur
- S. M. Moser, Information Theory (Lecture Notes), six ed., ETH Zurich, Switzerland and National Chiao Tung University, Taiwan, Oct. 2019. [Online]. Available: https://moser-isi.ethz.ch/scripts.html
- Y. Polyanskiy and Y. Wu, Lecture notes on information theory, May 2019. [Online]. Available: http://people.lids.mit.edu/yp/homepage/papers.html
- J. Duchi, Information theory and statistics (lecture notes). Stanford, CA: Stanford University, 2019. [Online]. Available: http://web.stanford.edu/class/stats311/
- A. El Gamal and Y.-H. Kim, Network information theory. Cambridge, U.K.: Cambridge Univ. Press, 2011.
Examination inklusive obligatoriska moment
Obligatoriska inlämningar varje vecka, muntlig examination (godkänd eller icke godkänd), 7.5 hp.Kursens examinator får examinera enstaka studenter på annat sätt än vad som anges ovan om särskilda skäl föreligger, till exempel om en student har ett beslut från Chalmers om pedagogiskt stöd på grund av funktionsnedsättning.
Kursplanen innehåller ändringar
- Ändring gjord på kurstillfälle:
- 2021-04-28: Inställd Ändrat till inställd av UOL
[Kurstillfälle 1] Inställt
- 2021-04-28: Inställd Ändrat till inställd av UOL