De Post Office Bay kreeg zijn naam doordat het door Engelse walvisvaartschepen werd gebruikt als een postkantoor. Er werd een kantoor in de vorm van een ton gemaakt, welke tegenwoordig nog steeds door toeristen wordt gebruikt. U laat een brief of kaart achter en neemt in ruil daarvoor een andere kaart om het van huis uit te posten.