Ouais, c'est bof d'être parti comme ça.
Relance là dans une semaine jours avec un truc du genre
"Au fait, je suis passé devant ton travail hier, ça m'a fait penser que c'était vraiment pas loin de moi et qu'on pourrait manger ensemble un midi si on a un jour de libre etc." en essayant de replacer qqch dont vous avez parlé pendant votre conversation de façon marrante.
Mais c'est sûr que ça fait bcp moins naturel que si t'avais demandé direct