港口島位於吐露港海峽的入海口。它的中文名稱“Chek Chau”，意思是“紅島”，以主要呈現紅色的岩石命名。這些淡紅色的岩石是沉積岩，雖然長僅 1 公里，高 131 米，但港島是香港為數不多的擁有香港火山滅絕後形成的岩石的地點之一。
從吐露港出發的渡輪和遊船上看，島上西海岸的陡坡部分由灰色凝灰岩構成，與荔枝莊以東和長港周圍的凝灰岩屬於同一地層。放射性定年法顯示它們的年齡約為 1.42 億年——幾乎是侏羅紀末期。
一條主要斷層－赤洲斷層－位於波特島西部，呈東南-西北走向，穿過雙港群島。其東北側相對西南方向下移，形成橫跨現在大鵬灣的盆地。在白堊紀早期，香港的火山沉寂後，河流將沉積物注入盆地，形成了一種岩層，僅在波特島和三個較小的島嶼——圓島、海峽岩和石雅洲——上露出，但人們認為它是在其下面大鵬灣的大部分地區，估計厚度為1200米。
東海岸有海蝕洞。最大的是赤洲洞，高10米，寬8米，深20公尺。
河流穿越沙漠平原的沉積物
在波特島，沉積岩層向東緩緩傾斜，這極大地影響了島嶼的輪廓，西邊坡度較陡，東邊坡度稍緩。還有懸崖峭壁。
波特島的泥岩、粉砂岩和礫岩並非簡單地呈均勻帶狀，而是常呈厚透鏡狀，並具有由水流造成的交錯層理。這些透鏡體是由沉積物堆積在深達六公尺的河道中形成的。還有一些更薄、更廣泛的岩石帶，是由洪水沖過平原而形成的。
從沉積物的厚度來看，以前的火山很容易被侵蝕。由氧化鐵造成的微紅色調，再加上由乾燥的沉積物形成的岩石，顯示這裡的條件大多乾旱，幾乎像沙漠。雖然這裡沒有發現化石，但這些岩石與附近廣東的紅層有關，那裡的化石包括恐龍蛋。
即使在較為平緩的東側，波特島也是粗獷的，沒有居民，地形崎嶇，可供遊客登陸的地方也很少。在某些地方，大塊的岩石從上層岩石中脫落，墜落到海岸上。侵蝕導致了一些地形被命名為「狗頭」、「失落之城」和「眼鏡蛇爬山」等。
硬珊瑚和軟珊瑚
港島是香港最好的潛水地點之一，但潛水員必須注意潛在的危險水流。軟珊瑚數量豐富，也有硬珊瑚群落，以 Faviidae 科的塊狀珊瑚為主，如腦珊瑚 扁腦屬 種。和蜂窩狀珊瑚 法維亞 和 收藏夾 種。
