Pas la peine de se prendre la tête avec du XML en effet, pour la création de jeu ça sert pas à grand chose sauf si tu veux faire par exemple un menu d'option classique à la rigueur, un jeu ça passe plutôt direct par de l'openGL ES sur android.
Si tu connais déjà les cycles d'une application Android (la pause, etc), si tu sais déjà faire ton .apk, faire tourner les émulateurs et tout, tu devrais de tourner vers un framework comme LibGDX, qui a une communauté bien active et une documentation correcte 