Esordi

La sua avventura da allenatore incomincia nel 1987, allenando gli "Allievi" del Vitória Setúbal. Nel 1988 viene chiamato dall'Estrela Amadora in veste di assistente tecnico di João Alves, vincendo la Coppa di Portogallo nel 1990 con gol in finale di Paulo Bento. Nel luglio 1992 diventa interprete per l'allenatore inglese Bobby Robson allo Sporting Lisbona;[18] in seguito lo stesso Robson lo vuole come suo vice al Porto. In due anni vincono una Coppa di Portogallo e due campionati.
Ancora Bobby Robson lo porta ad avere la possibilità di allenare come tecnico nel 1996, chiamandolo al Barcellona come suo vice. La stagione si conclude con i successi in Coppa di Spagna, Coppa delle Coppe, e Supercoppa di Spagna. Mourinho il 28 giugno 1997, durante i festeggiamenti della Coppa di Spagna, prende il microfono e urla al pubblico "Oggi, domani e sempre con il Barça nel cuore". Quando Robson diventa dirigente del Barça nell'estate successiva, Mourinho decide di rimanere in Catalogna; sulla panchina del Barcellona arriva l'olandese Louis van Gaal, che decide di continuare ad avvalersi del tecnico portoghese come allenatore della seconda squadra. Nel 1998 vincono il campionato, la Coppa di Spagna e la Supercoppa UEFA; nel 1999 la squadra si confermerà campione di Spagna.
Il 16 maggio 2000 Van Gaal gli permette di guidare la squadra blaugrana nella finale della Copa Catalunya; il Barcellona batte il Mataro 3-0 e Mourinho vince quindi il suo primo trofeo.

Benfica e União Leiria
La possibilità di diventare un allenatore di primo livello arriva nel settembre del 2000, quando Mourinho lascia il Barcellona e passa alla guida del Benfica sostituendo l'esonerato Jupp Heynckes. Proprio nella prima parte della stagione consegue una vittoria per 3-0 contro i rivali dello Sporting. Il 5 dicembre, si dimette dall'incarico dopo sole nove partite di campionato a causa del cambio di presidenza del club. Nel gennaio 2001 si accasa così all'União Leiria, conducendo la squadra prima al 5º posto nel 2001 (la posizione più alta mai raggiunta dal club) e poi al terzo posto nel dicembre del campionato 2001-2002 prima di passare al Porto (a fine campionato senza di lui la squadra arriverà settima).