Le Fort de Tung Chung a été construit pendant l'époque Shun Hei (1174-1189) de la Dynastie des Song du Sud. Les contrebandiers sur l'Île Lantau passaient du sel en contrebande de l'île à Canton et ont attaqué le gouvernement de la ville. Le gouvernement a donc envoyé la marine menée par le Roi Leok Chin afin de combattre ces contrebandiers. Trois cents soldats sont restés dans Tung Chung et y ont construit le Fort. Après 3 années de paix, les soldats se sont retirés et 150 d'eux ont été transférés pour construire Kowloon Walled City.

Pendant la Dynastie Qing, les pirates, y compris le célèbre Cheung Pô Tsai, ont choisi la baie de Tung Chung comme base et ont utilisé le fort. Le Gouvernement Qing a repris le fort après la reddition de Cheung Pô Tsai. En 1832, le fort a été confiné et utilisé par le Right Bataillon de Tai Peng pour défendre la côte des pirates jusqu'à ce que les Nouveaux Territoires soient loués à Grande-Bretagne en 1898.