Johannes Tolle studierte Dirigieren, Schul- und Kirchenmusik sowie Germanistik in Freiburg und Trossingen. Neben seinen Studien u.a. bei Robert Levin (Klavier), Manfred Schreier (Dirigieren) und Hans Michael Beuerle (Chorleitung) besuchte er zahlreiche Meisterkurse, u.a. bei Eric Ericsson, Max Pommer und John Eliot Gardiner.
Seit 1993 ist Johannes Tolle künstlerischer Leiter der Musiktage Vaudreuille in Südfrankreich, bei denen er 2013 Claudio Monteverdis Oper „Orfeo“ dirigierte und jährlich einwöchige Chor-Ateliers anbietet. Von 1997-2003 war Johannes Tolle Dirigent der Knabenkantorei Basel. 1997 gründete er das John-Sheppard-Ensemble, das er bis 2012 leitete. Im Jahr 2000 wurde er zum künstlerischen Leiter des Konzertchores Cantate Basel gewählt, den er bis 2007 dirigierte. Mit diesen Ensembles realisiert er ein vom 16.-21. Jahrhundert reichendes Spektrum von Vokalmusik, in regelmäßiger Zusammenarbeit mit profilierten Instrumentalensembles wie dem Kammerorchester Basel, dem Barockorchester Capriccio Basel, Les Cornets Noirs und dem pocket orchestra Freiburg. Engagements beim WDR-Rundfunkchor, dem Theater Basel, dem Balthasar-Neumann-Chor und den Neuen Vocalsolisten Stuttgart ergänzen seine vielfältigen musikalischen Aktivitäten.
Johannes Tolle ist auch als Pianist und Liedbegleiter gefragt, wie bei Recitals mit Tobias Berndt, Nuria Rial oder der argentinischen Mezzosopranistin Marisa Martins.
Johannes Tolle ist Gründer und Geschäftsführer der Reservix GmbH.
„Johannes Tolles überaus präzise Zeichengebung und Taktierung zu beobachten, ist allein schon faszinierend […]“ (Badische Zeitung, 2000)