Le portail imposant de St James Palace est le seul vestige d’origine du site érigé par le roi Henry VIII en 1530. Le meilleur accès au site est par St James Street au nord du parc.
Ce fut la résidence officielle des rois et des reines pendant plus de trois siècles, jusqu’à l’arrivée de Victoria sur le trône en 1837. Les ambassadeurs étrangers y sont encore officiellement logés par la Cour de St James, bien que le thé traditionnel et les biscuits soient servis à Buckingham Palace.
Princesse Diana, qui détestait cet endroit, a vécu ici jusqu'à son divorce avec Charles, en 1996, puis elle a déménagé à Kensington Palace. Le prince Charles et ses fils y ont logé jusqu'en 2004, avant de déménager à côté de Clarence House, laissant St James Palace à d’autres membres de la famille royale, y compris la sœur du Prince Charles, la princesse Anne. St James Palace n’est pas ouvert au public.