In augustus 1860 kwam een einde komen aan Gezelles leraarschap te Roeselare. Plannen om als missionaris naar Engeland te gaan gingen niet door. Zijn overheid stuurde hem terug naar Brugge. In het anglicaanse Engeland was er een gebrek aan katholieke scholen. Als gevolg van de nauwe contacten met het West-Vlaamse bisdom stuurden heel wat katholieke Engelsen hun kinderen naar Vlaanderen om er een opleiding te volgen. Eerst werden deze leerlingen ondergebracht in een afdeling van het kleinseminarie van Roeselare. In 1860 werd voor hen in Brugge een afzonderlijk college opgericht, gevestigd in de Wijnzakstraat, 1.
De leerlingen kregen hun lessen in het Sint-Lodewijkscollege. Gezelle had er samen met Joseph Cox Algar de leiding over de Engelse jongens. De Engelsman Algar was taalleraar in het kleinseminarie van Roeselare en een vriend van Gezelle. Hij was de zoon van een rijke anglicaanse dominee en had in Oxford gestudeerd. Het Engels college werd in april 1861 al gesloten.
Gezelle werd ook leraar aan het Engels Seminarie te Brugge. In dit seminarie, opgericht door John Sutton, werden Engelse, Schotse en Vlaamse jongens opgeleid tot missionaris voor Engeland. Ook Gezelles broer Jozef was er een tijdje ingeschreven als leerling.
Het seminarie was gevestigd langs de Langerei te Brugge, schuin tegenover het grootseminarie, en verhuisde later naar de Potterierei, nu het Sint-Leocollege. Op 26 augustus 1860 werd Gezelle er aangesteld als professor in de filosofie. In februari 1861 werd hij ook vice-rector. Hij zou er vijf jaar blijven. In een latere brief van 1892 mijmert Gezelle over de seminaristen.
“Ik heb de Engelsche seminaristen weten wonen neffens de smesse van Mr. Rooms, noordwaards, als men van ’t Seminarie over de Duine brugge gaat. Twee drie daegen eer ik daer toekwam waren al de seminaristen, 6 op 8 engelsche, met hunnen Vice-Rector Dr. Leadbitter, s nachts omtrent den 12 thuis gekomen uit stad en door de venster van dat huis binnengerocht. Het verhuizen moet op ’t einde van die 6 maanden zyn; ik woonde beneden in ’t huis neffens schippers capelle, seminariewaards.”
De benoeming was voor Gezelle een hoogtepunt in zijn professioneel en sociaal leven. Door zijn functie kwam hij nu in contact met prominente Engelse clerici als Wiseman en Faber. Op 19 augustus 1861 bracht kardinaal Wiseman een bezoek aan het Engels Seminarie. Hij nodigde Gezelle uit naar Engeland. Op 13 september vertrok Gezelle dan voor het eerst naar Londen in het gezelschap van oud-leerling Alfons Maus. Gustaaf Verriest vervoegde hen ter plaatse. Gezelle zou, voor zover bekend, nog zesmaal naar Engeland reizen, o.a. in september 1862 met Eugène Van Oye.
In 1865 werd Gezelle onderpastoor van de Sint-Walburgaparochie te Brugge. Als onderpastoor van die parochie had hij een zware taak. In zijn lijkrede getuigde kanunnik Rommel van de bijzondere inzet van Gezelle voor de zieke huisgezinnen tijdens de cholera-epidemie van 1866.
Hij was ook erg nauw betrokken bij de Engelse immigranten in Brugge waarvan er veel in zijn parochie woonden. Hij onderhield met hen een levendige correspondentie. Naast zijn druk pastoraal werk was hij actief als redacteur van het politieke weekblad ‘t Jaer 30 en het culturele weekblad Rond den Heerd. Dit paste in het katholieke ultramontaanse persoffensief tegen de secularisering van het openbare leven in België.
In 1872 werd Gezelle van Brugge overgeplaatst naar de Onze-Lieve-Vrouwparochie te Kortrijk. Financiële problemen, roddels en een journalistiek incident rond de kerkhovenkwestie in Sint-Denijs speelden een belangrijke rol bij die beslissing. Zo blijkt ook uit de getuigenis van neef Caesar Gezelle.
“Te Brugge was het leven voor hem niet uit te houden: vijanden, lasteraars en afgunstigen beloerden zijn stappen, bezoedelden zijne eere en faam, bespotten hem: zoover ging het dat de politie zijn huis kwam doorzoeken en zijne boeken aanslaan. Hij moest om zoo te zeggen vluchten !”