Bonjour

Dans l'équation d'un hyperplan <w,x>+b=0, est-ce que quelqu'un peut m'expliquer l'utilité du vecteur w, et comment il est déterminé svp ? Je ne comprends pas pourquoi il ne part pas de l'origine, et pourquoi il est perpendiculaire à l'hyperplan.

Merci

Si x_1 et x_2 sont les deux vecteurs les plus proches de l'hyperplan (un par catégorie), je n'arrive pas non plus à comprendre pourquoi la taille de la marge est égale à
<w, x1-x2> / 2||w||

Quelle est l'utilité de normaliser ici ?

Le 14 août 2023 à 19:25:00 :
Bonjour

Dans l'équation d'un hyperplan <w,x>+b=0, est-ce que quelqu'un peut m'expliquer l'utilité du vecteur w, et comment il est déterminé svp ? Je ne comprends pas pourquoi il ne part pas de l'origine, et pourquoi il est perpendiculaire à l'hyperplan.

Merci

Le vecteur w est normal à la droite, en gros ta droite est dirigée par les vecteurs qui sont orthogonaux à w (d'où le <w, x>). Le +b ça translate la droite pour qu'elle puisse passer ailleurs que par l'origine.

Un vecteur a pas vraiment d'origine, tu peux le bouger et le foutre sur l'origine si tu veux mais ici c'est plus visuel de le représenter près de la droite pour mettre en valeur l'orthogonalité.

Le 14 août 2023 à 19:35:12 :
Si x_1 et x_2 sont les deux vecteurs les plus proches de l'hyperplan (un par catégorie), je n'arrive pas non plus à comprendre pourquoi la taille de la marge est égale à
<w, x1-x2> / 2||w||

Quelle est l'utilité de normaliser ici ?

Imagine si tu multiplies w par 2, ça reste un vecteur orthogonal et ça ne modifie pas la taille de la marge donc faut bien qu'il y ait une renormalisation dans ta formule pour tenir compte de cela.

Le 14 août 2023 à 19:58:14 :

Le 14 août 2023 à 19:25:00 :
Bonjour

Dans l'équation d'un hyperplan <w,x>+b=0, est-ce que quelqu'un peut m'expliquer l'utilité du vecteur w, et comment il est déterminé svp ? Je ne comprends pas pourquoi il ne part pas de l'origine, et pourquoi il est perpendiculaire à l'hyperplan.

Merci

Le vecteur w est normal à la droite, en gros ta droite est dirigée par les vecteurs qui sont orthogonaux à w (d'où le <w, x>). Le +b ça translate la droite pour qu'elle puisse passer ailleurs que par l'origine.

Un vecteur a pas vraiment d'origine, tu peux le bouger et le foutre sur l'origine si tu veux mais ici c'est plus visuel de le représenter près de la droite pour mettre en valeur l'orthogonalité.

D'accord merci, je comprends un peu mieux mais je vois toujours pas trop en quoi le vecteur w est important. Pourquoi on ne prend pas n'importe quel vecteur w orthogonal à l'hyperplan ?

Le 14 août 2023 à 20:01:26 :

Le 14 août 2023 à 19:35:12 :
Si x_1 et x_2 sont les deux vecteurs les plus proches de l'hyperplan (un par catégorie), je n'arrive pas non plus à comprendre pourquoi la taille de la marge est égale à
<w, x1-x2> / 2||w||

Quelle est l'utilité de normaliser ici ?

Imagine si tu multiplies w par 2, ça reste un vecteur orthogonal et ça ne modifie pas la taille de la marge donc faut bien qu'il y ait une renormalisation dans ta formule pour tenir compte de cela.

Pour moi ça ne change rien si on projette (x1-x2) sur w ou sur 2w

Au collège t'as du voir les équations linéaires à une inconnue du type ax+b=0 où x inconnu est dans R. l'ensemble des solutions c'est généralement un singleton (x=-b/a). Donc ici w = a.
Et puis tu peux regarder les équations linéaires à deux inconnues a_1x_1 + a_2x_2 + b = 0 avec x_1, x_2 les deux inconnus dans R. les solutions forment généralement une droite (la droite x_2 = -(b+a_1x_1)/a_2, ou encore y = -(b+a_1x)/a_2 ). Ici w=(a_1,a_2) dans R^2.
Perso dans ma tête toute l'intuition vient du cas R^2 donc je te conseillerais de regarder ce cas si tu as des questions.

Pourquoi on ne prend pas n'importe quel vecteur w orthogonal à l'hyperplan ?

Bah on peut, c'est juste que ya bien un moment où faut en choisir un, pour le mettre en variable python par exemple.
Si tu pars du fait que tu as un hyperplan H connu (c'est un truc géométrique, c'est juste un ensemble de points) pour lequel tu veux trouver le w correspondant, alors ya pas seulement un seul w mais yen a une infinité. Tu peux prendre w=k*w_0 pour n'importe quel k dans R et un certain w_0 qui marche. C'est tous les w qui sont orthogonaux à l'hyperplan. Par contre le b_0 qui correspondant au w_0 ne sera pas le b correspondant à w=kw_0.

C'est logique ça découle du fait que <w,x>+b=0 si et seulement si <kw_0,x>+b=0 ssi k(<w_0,x>+b/k) = 0 et donc le b correspondant au w=kw_0 doit être b=kb_0.