Μάθημα ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ - Εαρινό Εξάμηνο 2017

 

ΒΑΣΙΚΑ        ΑΣΚΗΣΕΙΣ κλπ        ΑΝΑΚΟΙΝΩΣΕΙΣ        LINKS

 

 

ΒΑΣΙΚΕΣ ΠΛΗΡΟΦΟΡΙΕΣ ΜΑΘΗΜΑΤΟΣ

 

Πρακτικά

 

    Διδάσκων

          Καθ. Γιάννης Κοντογιάννης

4ος όροφος, κτήριο Κοδριγκτώνος

Τηλέφωνο: 210-8203-555

Email: yiannis παπάκι aueb τελεία gr

  

    Παραδόσεις

Πέμπτη 3-6μ.μ. στην αίθουσα 606 του κτηρίου Ευελπίδων

[από την Πέμπτη 25/2]

 

    Φροντιστήρια

          Τετάρτη 3-5μ.μ. στην αίθουσα 606 του κτηρίου Ευελπίδων

          [από την Τετάρτη 29/3]

 

    Βοηθός

Σπύρος Παπαφράγκος               papafrag@aueb.gr

 

 

Βαθμολογία/Ασκήσεις

 

Κάθε εβδομάδα θα δίδεται ένα προαιρετικό σετ ασκήσεων. Οι ασκήσεις θα λύνονται στα φροντιστήρια. Η τελική βαθμολογία θα προκύπτει εξολοκλήρου από την απόδοση στο τελικό διαγώνισμα.

 

Περιεχόμενο

 

Η θεωρία πληροφορίας είναι το θεμελιώδες πεδίο μελέτης της μετάδοσης και συμπίεσης σημάτων. Το μάθημα προσφέρει μια ευρεία εισαγωγή στις βασικές έννοιες της θεωρίας πληροφορίας, μαζί με κάποια στοιχεία από πρακτικές εφαρμογές στη συμπίεση και την κωδικοποίηση σήματος, και τη σχέση της θεωρίας πληροφορίας με την επιστήμη υπολογιστών. Συγκεκριμένα: Έννοιες της εντροπίας και της πληροφορίας. Ιδιότητα «ασυμπτωτικής ισοκατανομής». Αναπωλειακή συμπίεση σήματος: θεωρία και αλγόριθμοι. Σήματα και θόρυβος. Διακριτά και συνεχή κανάλια. Κωδικοποίηση και χωρητικότητα καναλιού. Διαχωρισμός πηγής-καναλιού. Συμπίεση με απώλειες και κβαντοποίηση. Συνάρτηση ρυθμού-απώλειας (rate-distortion function). Αλγοριθμική πολυπλοκότητα Kolmogorov.

 

Αν και δεν υπάρχουν προαπαιτούμενα μαθήματα, είναι απαραίτητη η γνώση των βασικών εννοιών πιθανοτήτων: Διακριτές πιθανότητες και τυχαίες μεταβλητές, συνάρτηση πυκνότητας πιθανότητας, συνάρτηση κατανομής, ενδεχόμενα, αναμενόμενη (ή μέση ή προσδοκώμενη) τιμή, διασπορά, διακύμανση, βασικές διακριτές κατανομές (Bernoulli, Διωνυμική, Poisson, Γεωμετρική, κλπ), ο Νόμος των μεγάλων αριθμών, ανεξαρτησία, δεσμευμένη πιθανότητα και δεσμευμένη μέση τιμή, ανισότητες Markov και Chebychev, δεσμευμένη ανεξαρτησία.

 

Βιβλία

 

Το βασικό σύγγραμμα του μαθήματος είναι το «Elements of Information Theory», των Cover και Thomas (στα Αγγλικά), New York: Wiley, 1991. Φέτος εκδόθηκε και η μετάφρασή του στα ελληνικά από τις Πανεπιστημιακές Εκδόσεις Κρήτης. Επίσης, μπορεί να σας φανεί χρήσιμο το βιβλίο «Information Theory, Inference, and Learning Algorithms», του David McKay, το οποίο είναι διαθέσιμο δωρεάν στον πιο πάνω σύνδεσμο.

 

Αν και η ύλη του μαθήματος καλύπτεται πλήρως από το βιβλίο, στο μάθημα και στις παραδόσεις ΔΕΝ θα ακολουθήσουμε κατά γράμμα τη σειρά των θεμάτων και την ακριβή ανάπτυξή τους σύμφωνα με το βιβλίο.