Um dos maiores pugilistas latino-americanos, Stevenson disputou sua primeira Olimpíada em Munique, no ano de 1972. Nas oitavas de final, enfrentou o grande favorito à medalha de ouro, o norte-americano Duane Bobick, que o havia derrotado um ano antes nos Jogos Pan-Americanos de Cali, Colômbia. O cubano venceu a revanche sem maiores complicações, para logo conseguir a medalha de ouro. O segundo ouro olímpico viria em 1976, nos Jogos de Montreal. Talvez Stevenson tenha passado por sua única dificuldade no combate final, quando o romeno Mircea Simon tentou escapar da iminente derrota movendo-se sem parar no ringue durante os primeiros dois assaltos. Assim conseguia escapar dos fortes punches do campeão, mas o golpe decisivo que caracterizava Stevenson chegou por fim, nocauteando Simon.
Os atributos do pugilista cubano não escaparam aos promotores do boxe profissional. Chegaram a oferecer-lhe enormes quantias para que abandonasse o amadorismo, o que forçosamente implicava sair de Cuba. No encerramento dos Jogos Olímpicos de Munique (1972), sabe-se que lhe ofereceram US$ 3 milhões por uma luta profissional, mas ele, secamente e com muito orgulho, disse que “preferia os dez milhões de aplausos do povo de seu país”. Como recompensa à sua dedicação esportiva e ao fervor patriótico, o governo de Fidel Castro sempre lhe concedeu um grande número de privilégios. Por desacordo sobre o número de rounds e o lugar adequado, nunca pôde ser organizada a tão almejada luta entre Stevenson e o outro astro do boxe mundial, o norte-americano Muhammad Ali.
Em Moscou (1980), o cubano ganhou sua terceira medalha de ouro olímpica, transformando-se no segundo boxeador do mundo a conseguir essa façanha, mas o primeiro em uma única divisão. Stevenson poderia ter conquistado sua quarta medalha de ouro, mas o boicote dos países socialistas aos Jogos de Los Angeles (1984) interrompeu sua trajetória. Além dos três títulos olímpicos, conseguiu um triplo campeonato mundial em Havana (1974), Belgrado (1978) e Reno (1986). Encerrou a carreira com apenas dez derrotas em mais de 170 lutas.