Drogosz, zwany "Czarodziejem ringu", zdobył w 1960 roku na igrzyskach w Rzymie brązowy medal w wadze półśredniej. Wówczas przegrał w półfinale po dość kontrowersyjnym werdykcie sędziów z pięściarzem z ZSRR Jurijem Radoniakiem.
Były to jego trzecie igrzyska. Wcześniej w 1952 roku wystąpił w Helsinkach, gdzie doszedł do ćwierćfinału, w którym przegrał z późniejszym wicemistrzem olimpijskim Włochem Sergio Caprarim. Natomiast cztery lata później w Melbourne przegrał pierwszą walkę z Władimirem Jengibarjanem z ZSRR.
Trzykrotnie sięgał po mistrzostwo Europy w Warszawie (1953) i Berlinie Zachodnim (1955) w kategorii lekkopółśredniej, a także w Lucernie (1959) w wadze półśredniej.
Między 1952 a 1960 rokiem stoczył 33 pojedynki w reprezentacji Polski, zwyciężając w 31 z nich. Natomiast bilans jego całej kariery to 377 walk, z których wygrał 363, ponosząc 14 porażek. Po jej zakończeniu został trenerem Błękitnych Kielce i Igloopolu Dębica.
Z Legią Warszawa trzykrotnie wywalczył drużynowe mistrzostwo Polski (1954-56), a wcześniej był też zawodnikiem Stali SHL Kielce i Błękitnych Kielce. Ośmiokrotnie zdobył złote medale MŚP indywidualnie. W wadze lekkopółśredniej (1953) oraz w kategorii średniej (1954-55, 1958, 1960-61, 1964 i 1967).
W 1954 roku otrzymał tytuł Zasłużonego Mistrza Sportu, a w 1996 Zasłużonego Działacza Kultury Fizycznej. Został odznaczony Złotym Krzyżem Zasługi (1953), Krzyżem Kawalerskim (1960) i Oficerskim (2001) Orderu Odrodzenia Polski. Siedmiokrotnie wybrano go najpopularniejszym sportowcem Kielecczyzny w plebiscycie "Słowa Ludu" (1952-53, 1958-59, 1961-62 i 1966).
Jeszcze przed zakończeniem kariery bokserskiej rozpoczął występy w filmach i serialach telewizyjnych. Zadebiutował na dużym ekranie jako tytułowy bohater "Boksera" w roli Jacka Walczaka. Dwukrotnie wystąpił też u Andrzeja Wajdy - w "Polowaniu na muchy" i "Krajobrazie po bitwie".
W latach 1990-1994 zasiadał w radzie miejskiej w Kielcach.