la version repris a partir de ton code 
onclick=\"window.open("$1") == onclick=\"window.open(this.src)
$0 represente toute la regex, $1 la premiere parenthese ainsi de suite. :
"<img src=\"$0\" style=\"border: 0\" onclick=\"window.open("$1");
"<img src=\"$1\" style=\"border: 0\" onclick=\"window.open("$2");
$0 == \[image src=(.*) link=(.*)\](.*)\[/image\]
$1 = (.*) (de src=)
$2 = (.*) (de link=)
$2 = (.*) (de ]ça[)