Cours Codage et Théorie de l'information


Cours 1: mesure de l'information
Un système de communication a pour but de reproduire en un point exactement ou approximativement) le message choisi à un autre point.
La théorie de l'information a pour objet d'évaluer mathématiquement les performances limites des systèmes de communication, en présence de perturbations aléatoires. La théorie de l'information s'intéresse essentiellement aux limitations théoriques et aux possibilités  (potentielles) de communication. Par exemple: quelle est la meilleure
performance de correction d'erreur que l'on peut avoir? Elle ne donne pas des indications sur la réalisation pratique des systèmes qui peuvent atteindre ces limites. La théorie du codage concerne la création de systèmes de codage et décodage pratiques.

Cours 2: théorème de séparation

A communique avec B veut dire l'opération physique par laquelle A agit sur B pour lui induire un état désiré. Cette opération sera affectée par un bruit incontrôlable dû à la transmission des signaux. La communication est réussite si la récepteur B et l'émetteur A sont d'accord sur ce qui a été transmit.
Coder est l'opération de représenter un échantillon de la source par une représentation binaire plus facile à transmettre. Cela veut dire trouver les opérations de traitement qui permettent de communiquer avec le minimum nombre de bits (compression) et avec le minimum d'erreurs (codes correcteur d'erreurs). Une seule opération peut atteindre ces deux buts mais elle sera très complexe à réaliser. Pour faciliter ce travail, le système de communication peut être séparé en deux parties. Une partie qui s'occupe de la compression et une partie qui concentre seulement sur la transmission et la protection contre les erreurs. Par exemple, pour envoyer les échantillons d'une source sur un canal on peut imaginer un système qui donne directement des mots binaires pour chaque échantillon ou utiliser un système pour compresser les échantillons d'une façon plus efficace puis utiliser un autre code pour le protéger, d'une façon plus efficace, contre le bruit, pour l'envoyer sur le canal.
Puisque cette méthode de séparation est plus pratique, elle est largement utilisée et tous les systèmes de communication l'utilisent. Pour étudier les systèmes de communication nous allons aussi suivre cette séparation et étudier en premier les méthodes de compression appelées aussi "codage source" et les méthodes de protection de l'information lors de sa transmission aussi appelées "codage canal".
Il faut noter qu'il y a une relation de dualité entre le codage source et codage canal. En effet durant la compression on essaye de réduire le nombre de bits utilisés (réduire la redondance) alors que le codage canal ajoute des bits (d'une façon contrôlée) pour combattre les erreurs.


Cours 3: codage source
Le but du codage source est de représenter les symboles de la source avec le nombre minimum de bits. Le principe de base de la compression est d'assigner des descriptions courtes pour les symboles de la source les plus fréquents et des descriptions nécessairement longues pour les symboles les moins fréquents.
CoursIT2020-part1.pdf