در زمان قدیم شهر کنگ یکی از مراکز مهم دولت پرتغال بوده، در زمانی که برتغالی ها تسلط بر خلیج فارس و منطقه داشتن، لنگرگاهی در کنگ ساخته بودند که کشتی های بزرگشان در آن لنگر می انداختند، همچنین قلعه بزرگی ساخته بودند که مقر حکومت آنها بود، آثار این قلعه در کنار دریا باقی مونده. وقتی که آب دریا مَد می یابد آب اطراف بقایای این قلعه رو فرا می گیره، اما وقتی که آب دریا در حالت جزر هستش، قسمتی بزرگی از قلعه نمایان می شه، این قلعه نزد مردم کنگ به قلعه برتغالیها معروفه.