I The Voyage Of Governor Phillip To Botany Bay With An Account Of The Establishment Of The Colonies Of Port Jackson And Norfolk Island (1789) giver Arthur Phillip en beskrivelse af området omkring Ball's Pyramid, før han beskriver Lord Howe Island:
Der ligger omkring fire mil fra sydvestdelen af pyramiden, en farlig klippe, som kun viser sig lidt over vandoverfladen, og den ser ud til ikke at være større end en båd. Løjtnant Ball havde ikke mulighed for at udforske om det var sikkert at passere imellem dem eller ej.[3]
Man mener at den første person der gik i land på øen har været Henry Wilkinson, der var en geolog fra New South Wales Department of Mines i 1882.