Je ne connais que trop mal le système d'eventListener de jQuery,
Mais l'idée c'est de faire un addEventListener() sur l'objet,
Et une fois que l'élément a été placé dans le second tableau,
Tu retires l'eventListener (en js c'est removeEventListener() je crois mais corrigez-moi sinon).
De cette manière, tu es sûr qu'un élément ne sera pas cliqué deux fois de toutes façons.