INFORMAZIONE, TRASMISSIONE E CODICI A PROTEZIONE D'ERRORE
Docenti
Obiettivi dell’insegnamento e risultati di apprendimento attesi
Il corso fornisce i rudimenti della teoria dell'informazione classica di Shannon (entropia, informazione mutua, compressione dell'informazione, trasmissione senza perdita di informazione), e i suoi legami con la teoria dei codici a protezione d'errore. La trattazione richiede l'introduzione di elementi di calcolo delle probabilità, ed e' sufficiente ad enfatizzare i (mirabili) legami che esistono fra le tre sottodiscipline sopra menzionate. In sintesi, gli obiettivi dell'insegnamento ed i risultati attesi di apprendimento sono i seguenti:
Acquisire conoscenze di base di calcolo delle probabilita' e dei modelli probabilistici discreti
Conoscere e comprendere i legami fra informazione e compressione
Conoscere e comprendere i legami fra informazione e trasmissione
Conoscere e comprendere i meccanismi che stanno alla base dei codici a protezione d'errore
Contenuti di base di algebra, geometria e analisi matematica. Capacita' di lettura/comprensione di libri di testo scritti in inglese.
Contenuti e programma del corso
Introduzione al calcolo delle probabilita' (20 ore + 6 ore esercitazioni):
Introduzione alla probabilita' e al calcolo combinatorio. Spazi campionari, eventi, funzioni di probabilita', probabilita' condizionate, indipendenza fra eventi. Esempi. Variabili aleatorie discrete, funzioni di densita' discrete, variabili bernoulliane, binomiali, geometriche. Valore atteso e varianza di una variabile aleatoria. Disuguaglianza di Chebychev. Distribuzioni congiunte, condizionate, marginali. Valori attesi e varianze di funzioni di variabiil aleatorie. Legge dei grandi numeri (debole).
Introduzione alla teoria dell'informazione e alla teoria dei codici (20 ore + 6 ore esercitazioni):
Incertezza ed Informazione associata ad eventi, additivita'. Sorgenti di informazione discrete senza memoria, entropia e proprieta'. Codifica di sorgente: codici univocamente decodificabili e non, instantanei e non. Disuguaglianze di Kraft e McMillan. Entropia e lunghezza media di un codice, codifica senza rumore, codifica compatta (Huffman). Informazione mutua e canali di trasmissione, entropia condizionata e congiunta, irrilevanza ed equivocazione. Capacita' di canale. Decodifica e probabilita' d'errore, minima distanza di Hamming. Scambio affidabilita'-ridondanza. Capacita' di canale come limite alla trasmissione affidabile (secondo teorema di Shannon e teorema inverso). Codici lineari a protezione d'errore: codifica, decodifica. Codici in forma sistematica. Codici allungati e accorciati. Codici di Hamming e di Reed-Muller.
Tipologia delle attività didattiche
Tutte le lezione vengono svolte in aula, le esercitazioni (12 ore su 52 complessive) prevedono lo svolgimento di esercizi che applicano i contenuti teorici sviluppati.
Testi e materiale didattico
Libri di testo:
Paolo Baldi, Calcolo delle probabilita', Mc Graw-Hill ( capp. 1 e 2);
Norman Abramson, Information theory and coding, Mc Graw-Hill (capp.1-6);
E. Angeleri, Informazione: Significato e universalita', Utet 2000 (Sez. 6.3).
Dispense fornite dal docente e disponibili sul sito di e-learning.
Modalità di verifica dell’apprendimento
L'esame consta di uno scritto ed un orale. Nell'esame scritto gli studenti sono chiamati a mostrare comprensione degli argomenti trattati nel corso, applicando i risultati teorici a semplici (e idealizzati) contesti pratici. L'esito dell'esame, in trentesimi, e' positivo (e consente l'accesso al successivo esame orale) se riporta una votazione almeno pari a 15/30. La prova orale consta di un colloquio la cui prima domanda e' sempre a scelta dello studente. Durante l'esame orale lo studente deve mostrare comprensione della modellazione probabilistica discreta legata all'informazione e alla codifica, e saper motivare i costrutti concettuali su cui si basa la teoria dell'informazione, e la teoria dei codici.
La prova complessiva e' superata con una votazione finale di almeno 18/30. Il voto dello scritto concorre in modo significativo alla determinazione del voto finale.
Cerchi il programma? Potrebbe non essere ancora stato caricato o riferirsi ad insegnamenti che verranno erogati in futuro.
Seleziona l‘anno in cui ti sei immatricolato e troverai le informazioni relative all'insegnamento del tuo piano di studio.