Une matrice n × m est un tableau de nombres à n lignes et m colonnes :
Exemple avec n = 2, m = 3 :
n et m sont les dimensions de la matrice.
Une matrice est symbolisée par une lettre en caractères gras, par exemple A. On note Aij l´élément situé à l´intersection de la ligne i et de la colonne j ( la ligne est toujours nommée en premier).
On note [Aij] la matrice d´élément général Aij. On a donc : A = [Aij]
Si m = 1, la matrice est appelée vecteur ( plus précisément vecteur-colonne) :
N.B. : Dans ce chapitre, nous utiliserons des lettres majuscules pour les matrices et des lettres minuscules pour les vecteurs, mais ce n´est pas obligatoire.
Si n = m, la matrice est appelée matrice carrée.
Quelques matrices carrées particulières ( Exemples avec n = 4)
Matrice unité Parfois notée In
n est la dimension de la matrice
( soit I4 dans cet exemple)
Matrice diagonale notée diag(Dii)
Matrice triangulaire supérieure
( Upper triangular matrix, U)
Matrice triangulaire inférieure
( Lower triangular matrix, L)
Une matrice carrée A est dite symétrique si :
Aji = Aij
pour tout i différent de j
--------------------------------------------------
------------------------------
II. Opérations sur les matrices
--------------------------------------------------
------------------------------
II.A. Addition, soustraction
L´addition et la soustraction des matrices se font terme à terme. Les matrices doivent avoir les mêmes dimensions :
--------------------------------------------------
------------------------------
II.B. Multiplication par un nombre
Chaque terme de la matrice est multiplié par le nombre :
--------------------------------------------------
------------------------------
II.C. Transposition
La transposée AT ( aussi notée A´) d´une matrice A est la matrice obtenue en échangeant les lignes et les colonnes de A :
La transposée d´un vecteur-colonne est un vecteur-ligne :
--------------------------------------------------
------------------------------
II.D. Multiplication des matrices
Définissons tout d´abord le produit d´un vecteur-ligne xT par un vecteur-colonne y :
Ce produit est appelé produit scalaire des vecteurs x et y, noté x · y. Les vecteurs doivent avoir la même dimension.
Le produit matriciel s´en déduit : le produit de la matrice A ( n × m) par la matrice B ( m × p) est la matrice C ( n × p) telle que l´élément Cij est égal au produit scalaire de la ligne i de la matrice A par la colonne j de la matrice B.
Exemple :
On a en effet, en effectuant les produits ligne par colonne :
Propriétés :
Le produit matriciel est :
associatif : ABC = ( AB)C = A(BC)
distributif par rapport à l´addition : A(B + C) = AB + AC
non commutatif : AB n´est pas égal à BA en général.
La matrice unité I est élément neutre pour la multiplication : AIm = InA = A, si la matrice A est de dimensions n × m.
Transposée d´un produit : ( AB)T = BTAT ( Attention au changement d´ordre ! ).
Quelques produits particuliers :
( x et y sont des vecteurs-colonnes, A est une matrice)
Carré scalaire.
Sa racine carrée ( xTx)½ est appelée norme du vecteur ( notée )
Produit extérieur des vecteurs x et y
( Matrice d´élément général xiyj)
Ne pas confondre avec le produit scalaire.
Forme quadratique ( si A est symétrique)
Forme bilinéaire ( dite symétrique si A est symétrique)
--------------------------------------------------
------------------------------
II.E. Inversion des matrices carrées
Une matrice carrée A est dite inversible ou régulière s´il existe une matrice carrée A-1 ( appelée matrice inverse) telle que :
A × A-1 = A-1 × A = I
Si A-1 n´existe pas, la matrice A est dite singulière
Propriétés :
( A-1)-1 = A
( AT)-1 = ( A-1)T
( AB)-1 = B-1A-1 ( Attention au changement d´ordre ! )
[diag(Dii)]-1 = diag(1/Dii)
La matrice A est dite orthogonale si A-1 = AT
--------------------------------------------------
------------------------------
II.F. Déterminant d´une matrice carrée
Pour une matrice 2 × 2, on montre que la matrice inverse est donnée par :
Le nombre ad - bc est appelé déterminant de la matrice A, noté :
La matrice inverse A-1 n´existe donc que si det A est différent de zéro.
La matrice A est singulière si det A = 0, régulière dans le cas contraire. Ce résultat se généralise à une matrice de dimension quelconque.
Le déterminant peut se calculer de manière récursive. Par exemple, pour n = 3, on a , en développant par rapport à la première ligne :
Dans ce développement, chaque déterminant d´ordre 2 est appelé mineur du terme qui le précède. Par exemple, le mineur de a est :
On peut développer le déterminant par rapport à n´importe quelle ligne ou colonne. Pour chaque élément aij de la ligne ou colonne choisie :
le mineur est le déterminant de la sous-matrice obtenue en supprimant la ligne i et la colonne j
le signe du produit est donné par le tableau :
+ - +
- + -
+ - +
Cette méthode est valable pour un déterminant de taille quelconque. En fait pour n > 3, il vaut mieux utiliser un algorithme spécifique tel que l´algorithme de décomposition LU.
Propriétés des déterminants :
det(AT) = det(A)
det(AB) = det(A) × det(B)
Le déterminant d´une matrice triangulaire ou diagonale est égal au produit des éléments diagonaux. En particulier, det(I) = 1 ( si I est la matrice unité)
Si A est régulière, det(A-1) = 1 / det(A)
puisque det(AA-1) = det(A) × det(A-1) = det(I) = 1
Si A est orthogonale, det(A) = ±1
puisque det(AAT) = [det(A)]2 = det(I) = 1
--------------------------------------------------
------------------------------
III. Application aux systèmes d´équations linéaires
--------------------------------------------------
------------------------------
III.A. Formulation matricielle
Un système de n équations linéaires à n inconnues est de la forme :
a11x1 + a12x2 + . .. + a1nxn = b1
a21x1 + a22x2 + . .. + a2nxn = b2
..................................................
..
an1x1 + an2x2 + . .. + annxn = bn
où les aij sont les coefficients du système, les xi les inconnues et les bi les termes constants.
Un tel système peut s´écrire sous forme matricielle :
Ax = b
avec :
--------------------------------------------------
------------------------------
III.B. Cas d´une matrice régulière
Si la matrice A est régulière, on a, en multipliant à gauche par A-1 :
A-1Ax = A-1b
Soit :
x = A-1b
Exemple :
Soit le système de 2 équations à 2 inconnues :
2x1 + 3x2 = 9
x1 - x2 = 2
On a successivement :
Soit : x1 = 3, x2 = 1.
--------------------------------------------------
------------------------------
III.C. Cas d´une matrice singulière
Lorsque la matrice est singulière, deux cas sont à envisager :
Système indéterminé
S´il est possible d´exprimer p équations en fonction des autres, le système admet une infinité de solutions. On peut retenir le vecteur x qui a la plus faible norme.
L´ensemble des solutions forme un sous-espace de dimension r = n - p dans l´espace de dimension n. Le nombre r est le rang de la matrice.
Exemple :
x1 + x2 = 3
2x1 +2x2 = 6
Le déterminant vaut : 1 × 2 - 1 × 2 = 0. La matrice est bien singulière.
La deuxième équation est égale à la première multipliée par 2. Il n´y a en fait qu´une seule équation : x1 + x2 = 3. C´est l´équation d´une droite ( espace de dimension 1) dans le plan ( x1, x2). La matrice est de rang 1.
Système impossible
Si les équations ne peuvent pas être exprimées les unes en fonction des autres, le système n´admet aucune solution. On peut cependant calculer un vecteur x tel que la norme du vecteur Ax - b soit minimale ( bien que non nulle). Ce vecteur constitue la meilleure approximation de la solution au sens des moindres carrés ( voir le cours sur la régression linéaire).
Exemple :
x1 + x2 = 3
2x1 +2x2 = 8
La deuxième équation divisée par 2 donnerait x1 + x2 = 4, ce qui est incompatible avec la première équation. Le système n´a pas de solution.
--------------------------------------------------
------------------------------
IV. Résolution des systèmes d´équations linéaires
Les principales méthodes de résolution des systèmes d´équations linéaires sont les suivantes :
Pour une matrice régulière :
La méthode de Gauss-Jordan
La décomposition LU
La décomposition QR
La décomposition en valeurs singulières
Pour une matrice symétrique définie positive :
La méthode de Cholesky
Pour une matrice singulière :
La décomposition en valeurs singulières
--------------------------------------------------
------------------------------
IV.A. Méthode de Gauss-Jordan
La méthode de Gauss-Jordan calcule simultanément la matrice inverse A-1 et le vecteur solution x. S´il y a plusieurs systèmes à résoudre, on peut réunir tous les vecteurs de termes constants bi dans une matrice unique B ( chaque vecteur constituant une colonne de la matrice). L´application de l´algorithme de Gauss-Jordan fournit alors une matrice X dont la colonne i constitue la solution du ième système.
Cette méthode exige que tous les vecteurs de termes constants soient connus au moment d´appliquer l´algorithme. Si tel n´est pas le cas, ou si la matrice inverse n´est pas requise, il vaut mieux choisir la méthode LU qui est plus rapide.
--------------------------------------------------
------------------------------
IV.B. Décomposition LU
Cette méthode exprime la matrice A sous forme du produit d´une matrice triangulaire inférieure L à diagonale unité par une matrice triangulaire supérieure U :
A = LU
Exemple avec n = 4 :
Le système devient :
LUx = b
soit :
Ly = b ( 1)
Ux = y ( 2)
On résout le système ( 1) pour trouver le vecteur y, puis le système ( 2) pour trouver le vecteur x. La résolution est facilitée par la forme triangulaire des matrices.
La méthode LU permet aussi de calculer le déterminant de A, qui est égal au produit des éléments diagonaux de la matrice U, puisque det(A) = det(L) × det(U) et det(L) = 1 ( Rappelons que le déterminant d´une matrice triangulaire est égal au produit de ses éléments diagonaux).
--------------------------------------------------
------------------------------
IV.C. Décomposition QR
Cette méthode exprime la matrice A sous forme du produit d´une matrice orthogonale Q par une matrice triangulaire supérieure R :
A = QR
Le système devient :
QRx = b
soit, en multipliant à gauche par QT :
QTQRx = QTb
soit :
Rx = QTb
puisque QTQ = I, la transposée d´une matrice orthogonale étant égale à son inverse.
On résout ce dernier système en tenant compte de la forme triangulaire de la matrice R.
Remarque : La décomposition QR peut s´appliquer à une matrice rectangulaire n × m ( avec n > m). Dans ce cas, Q est de dimensions n × m et R de dimensions m × m. Dans le cas d´un système Ax = b, la solution retournée est celle des moindres carrés.
--------------------------------------------------
------------------------------
IV.D. Décomposition en valeurs singulières
La décomposition en valeurs singulières ( SVD, Singular Value Decomposition) exprime la matrice A sous la forme :
A = USVT
U et V sont des matrices orthogonales. S est une matrice diagonale. Ses termes diagonaux Sii, tous positifs ou nuls, sont les valeurs singulières de A. Le rang de A est égal au nombre de valeurs singulières non nulles.
Si A est régulière, tous les Sii sont > 0. La matrice inverse est donnée par :
A-1 = ( USVT)-1 = ( VT)-1 S-1 U-1 = V × diag(1/Sii) × UT
( en se rappelant que l´inverse d´une matrice orthogonale est égale à sa transposée)
On en déduit la solution du système par x = A-1b
Si A est singulière, les expressions précédentes restent valables à condition de remplacer, pour chaque valeur singulière nulle, le terme 1/Sii par zéro.
On montre que la solution ainsi calculée correspond :
dans le cas d´un système indéterminé, au vecteur de plus faible norme.
dans le cas d´un système impossible, à la solution des moindres carrés.
Remarque : Tout comme la décomposition QR, la décomposition en valeurs singulières peut s´appliquer à une matrice rectangulaire n × m ( avec n > m). Dans ce cas, U est de dimensions n × m, S et V de dimensions m × m. Dans le cas d´un système Ax = b, la solution retournée est celle des moindres carrés.
--------------------------------------------------
------------------------------
IV.E. Méthode de Cholesky
Une matrice symétrique A est dite définie positive si, pour tout vecteur x, le produit xTAx est positif ( Exemple en régression linéaire : les matrices de variance-covariance ou les matrices des équations normales).
Pour une telle matrice, on montre qu´il est possible de trouver une matrice triangulaire inférieure L telle que :
A = LLT
L peut être considérée comme une sorte de " racine carrée" de A.
Cette décomposition permet de :
calculer la matrice inverse A-1
calculer det(A), égal au carré du produit des éléments diagonaux de L
résoudre le système Ax = b selon un principe
