Em 1968, quando pela primeira vez Bermudas passou a escolher um governante para cuidar dos assuntos internos da colônia, os conservadores do Partido Unido das Bermudas (PUB) venceram as eleições. Mantiveram-se no poder por trinta anos, ou seja, até 1998. Swan foi um dos seus mais destacados dirigentes.
Ele tornou-se líder do partido no dia 15 janeiro de 1982, mesma data em que foi indicado para ser o primeiro-ministro do território de Bermudas. Nas quatro eleições seguintes – 1983, 1985, 1989, 1993 –, o PUB continuou conquistando a maioria das cadeiras na Assembleia e Swan permaneceu, por todos esses anos, como o nome indicado pelo partido para o governo. Esse longo período de um mesmo político no poder foi um fato inédito na história local, já que antes de Swan, apesar da hegemonia do PUB, sempre houve troca nas nomeações para a chefia do governo local.
Da mesma forma que assumiu a liderança do partido na ocasião em que foi nomeado primeiro-ministro, em 1982, afastou-se do comando partidário quando deixou o poder, em 25 de agosto de 1995.
O afastamento ocorreu após a derrota do projeto de independência, posto em votação em plebiscito, organizado durante o seu governo. Sua posição francamente favorável à independência de Bermudas causou profunda divisão no PUB, já que o partido nunca sustentou essa tese. Por sua vez, o principal partido de oposição, o Partido Trabalhista Progressista (PTP), histórico defensor da causa, boicotou o referendo para não ver o projeto aprovado sob o governo do PUB de Swan.
Depois disso, Swan afastou-se da política. Em 2005, alguns analistas especulavam que suas recentes manifestações públicas, profundamente críticas em relação ao governo – sob o comando dos trabalhistas do PTP desde 1998 – e de defesa de algumas propostas polêmicas, como a abertura de cassinos, poderiam representar um indício de retorno às disputas eleitorais.