En 1968, cuando por primera vez Bermudas eligió un gobernante para cuidar de los asuntos internos de la colonia, los conservadores del Partido Unido de las Bermudas (UBP) triunfaron en las elecciones. Se mantuvieron en el poder durante treinta años, o sea, hasta 1998. Swan fue uno de sus dirigentes más destacados.
Se convirtió en líder del partido el día 15 de enero de 1982, la misma fecha en que fue nominado para ser el primer ministro del territorio de Bermudas. En las cuatro elecciones siguientes –1983, 1985, 1989, 1993–, el UBP continuó conquistando la mayoría de los escaños en la Asamblea y Swan siguió siendo, durante todos esos años, el nombre indicado por el partido para el gobierno. Ese largo período de un mismo político en el poder fue un hecho inédito en la historia local, ya que antes de Swan, a pesar de la hegemonía del UBP, siempre había habido cambios en las nominaciones para la jefatura del gobierno local.
De la misma forma en que asumió el liderazgo del partido cuando fue nombrado primer ministro en 1982, se apartó del alto mando partidario tan pronto como dejó el poder, el 25 de agosto de 1995.
El alejamiento sucedió luego de la derrota del proyecto independentista, sometido a votación en un plebiscito organizado durante su gobierno. Su posición francamente favorable a la independencia de Bermudas causó una profunda división en el UBP, ya que el partido nunca había defendido esa tesis. A su vez, el principal partido de oposición, el Partido Laborista Progresista (PLP), histórico defensor de la causa, boicoteó el referendo para no ver el proyecto aprobado bajo el gobierno del UBP de Swan.
Después de esta derrota, Swan se apartó de la política. En 2005, algunos analistas especulaban que sus recientes manifestaciones públicas, profundamente críticas con relación al gobierno –desde 1998 bajo el dominio de los laboristas del PLP– y defensoras de algunas propuestas polémicas como la apertura de casinos, podrían representar un indicio de su regreso a las disputas electorales.