Le conditionnel : ici il n'est pas employé pour une condition, mais comme un futur par rapport à un passé.
Astuce : quand tu as un doute comme ça, remplace le "je" par "tu" et vois comment tu dirais à l'oral. Ici on dirait "Nous avions convenu que tu commencerais..." plutôt que "Nous avions convenu que tu commenceras...", donc conditionnel.
Je ne suis pas sûr à 100%, mais c'est ce que je mettrais.