Nowo mianowany prymas abp Kowalczyk sprawuje wiele funkcji, jednak najważniejszą i najbardziej odpowiedzialną powierzył mu 1989 roku papież Jan Paweł II, który mianował go nuncjuszem apostolskim w Polsce.

Jako nuncjusz corocznie przewodniczył mszy św., koncelebrowanej w rocznicę inauguracji pontyfikatu Jana Pawła II (26 października), a jako dziekan Korpusu Dyplomatycznego w pierwszych dniach nowego roku składał życzenia prezydentowi.

W okresie sprawowania przez niego urzędu nuncjusza apostolskiego została przeprowadzona reorganizacja struktur administracyjnych Kościoła katolickiego w Polsce (25 marca 1992 r.), wynegocjowano tekst Konkordatu odpowiadający nauce Soboru Watykańskiego II (podpisany 28 lipca 1993 r.; ratyfikowany 23 lutego 1998 r.); arcybiskup odegrał też znaczącą rolę w przywróceniu Ordynariatu Polowego WP (21 styczeń 1991).

Józef Kowalczyk urodził się 28 sierpnia 1938 r. w Jadownikach Mokrych w diecezji tarnowskiej, w rodzinie rolniczej. Po maturze studiował w Wyższym Seminarium Duchownym "Hosianum" w Olsztynie; następnie ukończył studia z zakresu prawa kanonicznego na Katolickim Uniwersytecie Lubelskim. Studia kontynuował na Uniwersytecie Gregoriańskim w Rzymie, gdzie w 1968 r. uzyskał tytuł doktorski. Ukończył też trzyletni kurs Świętej Roty Rzymskiej, uzyskując dyplom adwokata rotalnego obrońcy węzła małżeńskiego oraz dyplom archiwisty w Tajnym Archiwum Watykańskim.

Święcenia kapłańskie otrzymał 14 stycznia 1962 roku w Olsztynie z rąk biskupa Józefa Drzazgi. Nominację biskupią otrzymał 26 sierpnia 1989 r., a sakrę biskupią 20 października tego samego roku w Watykanie z rąk Jana Pawła II. Za dewizę przyjął słowa: "Fiat voluntas Tua", czyli "Bądź wola Twoja".

Był współpracownikiem Generalnego Sekretariatu Synodu Biskupów, pracownikiem Kongregacji ds. Kultu Bożego i Dyscypliny Sakramentów. Asystował abp. Luigiemu Poggiemu, nuncjuszowi do specjalnych poruczeń w podróżach do Polski (1976-1978) i wchodził w skład Zespołu Stolicy Apostolskiej ds. Stałych Kontaktów roboczych z przedstawicielami rządu PRL. Był też organizatorem i kierownikiem Sekcji Polskiej Sekretariatu Stanu przy Stolicy Apostolskiej. Z tego też tytułu brał udział w licznych zagranicznych pielgrzymkach Ojca Świętego Jana Pawła II.

Gdy w mediach pojawiły się informacje o współpracy abp. Kowalczyka ze służbami specjalnymi PRL, Komisja Historyczna Metropolii Warszawskiej zbadała materiały dotyczące hierarchy zawarte w archiwach IPN. Orzekła, że bez swej wiedzy zarejestrowany był on przez wywiad PRL jako kontakt informacyjny. Z badanych materiałów wynikało też, że ks. Kowalczyk był od 1963 r. inwigilowany przez Służbę Bezpieczeństwa PRL. Arcybiskup podkreślał, że sam wystąpił o dokumenty na swój temat, choć jako dyplomata nie musiał poddawać się procedurze lustracji.

Abp Kowalczyk jest oceniany jako hierarcha zdystansowany wobec Radia Maryja. W opublikowanym w 2008 roku wywiadzie-rzece, pt. "Świadectwo i służba. Rozmowy o życiu i Kościele", wydanej przez wydawnictwo "Adam", stwierdził, iż "radio katolickie nie jest po to, żeby pchać ludzi do piekła, a innych gloryfikować lub stwarzać podziały społeczne". Przypomniał, że Jan Paweł II, a także on sam "bronili zawsze Radia Maryja w wymiarze religijnym". Podkreśla jednak, że radio katolickie, "nie może stać się radiem partyjnym, bo jak się stanie radiem jednej partii, to razem z tą partią umrze".

W 2006 r. abp Kowalczyk przekazał prowincjałowi Redemptorystów o. Zdzisławowi Klafce list Stolicy Apostolskiej z przypomnieniem podstawowej zasady "odpowiedzialności Konferencji Episkopatu za działalność duszpasterską katolickich środków społecznego przekazu o zasięgu krajowym, nawet jeśli są one własnością zgromadzenia zakonnego".

Abp Kowalczyk zwrócił się wówczas z prośbą o potraktowanie treści całej tej korespondencji również "jako poważnego ostrzeżenia i zaproszenia księdza prowincjała do podjęcia zdecydowanych i skutecznych działań w zakresie swojego urzędu".

W ocenie nuncjusza "Okrągły Stół, chociaż nie był doskonały, stworzył możliwości pokojowych negocjacji i otworzył drogę do przemian".

Mówiąc o pojawiającym się kryzysie w Kościele, abp Kowalczyk podkreśla, że winni temu są księża, "bo stali się teoretykami wiary". Jego zdaniem "błędem jest myślenie, że Kościół w Polsce będzie wyizolowaną wyspą, której nie dosięgną problemy z zewnątrz". Zwracał uwagę na to, że "w Kościele powinno się mówić o problemach, szukać rozwiązań i tworzyć adekwatny do sytuacji program duszpasterski".



Nuncjusz opowiadał się za budowaniem przez polityków takiego państwa, "w którym każdy ma czuć się dobrze jak we własnym domu, a nie prowadzić niemądrą polityczną walkę wewnętrzną, bezsensownie marnować energię i tracić czas na grzebanie w przeszłości, której i tak nigdy nie da się wyjaśnić do końca".

Nowo mianowany prymas abp Kowalczyk sprawuje wiele funkcji; jest m. in.: arcybiskupem tytularnym Heraklei, przewodniczącym Komisji ds. publikacji pism i przekładów obcojęzycznych dzieł Karola Wojtyły, członkiem Rady Administracyjnej Watykańskiej Fundacji im. Jana Pawła II i dziekanem korpusu dyplomatycznego akredytowanego w Polsce.

Otrzymał wiele doktoratów honoris causa, m.in. Uniwersytetu Kardynała Stefana Wyszyńskiego w Warszawie, Akademii Rolniczej w Krakowie, KUL. Uhonorowany został też Wielkim Federalnym Krzyżem Zasługi za "zaangażowanie w stosunki niemiecko-polskie", Medalem Milito pro Christo Ordynariatu Polowego oraz Krzyżem Pro Piis Meritis Kawalerów Maltańskich.

Abp Józef Kowalczyk był inicjatorem budowy w rodzinnej miejscowości (Jadowniki Mokre) Ośrodka Opiekuńczo-Rehabilitacyjnego dla dzieci i młodzieży niepełnosprawnej oraz Izby Pamięci Pontyfikatu Ojca Świętego Jana Pawła II przy tym ośrodku (2008). Wmurowanie kamienia pod jego budowę odbyło się w 1999 roku, a otwarcie 2003 roku.

Jest autorem licznych publikacji, m.in.: "Na drodze konsekrowanej" (1998), "Służyć słowu" (2000), "Tym, którzy Polskę stanowią" (2003), "Jestem wpisany w Ciebie nadzieją. Świadectwa po śmierci Jana Pawła II" (2006), "Dojrzewanie czasu" (1998), "Otwórzcie serca Chrystusowi, który przychodzi z darem pokoju" (2003), "Świadectwo i służba. Rozmowy o życiu i Kościele" (2008).

Do ulubionych lektur abp. Kowalczyka należą: nauczanie Jana Pawła II, poezja Norwida i pisma Wincentego Witosa. Wśród ulubionych zajęć wymienia m.in.: jazdę samochodem, sport, a szczególnie mecze piłkarskie, a także szybkie spacery.