ホーム1面2線を有する地上駅。線路の使用方法は1番線が上下副本線、2番線が上下本線(制限速度100km/h、一線スルー)となっている。交換列車がないときは列車種別に関係なく2番線に入線する。貨車を改造した駅舎を持つ。予讃線には起点の高松駅より当駅までトンネルがないが、当駅の西にある鳥越トンネル(愛媛県との県境でもある)をはじめとする同線のトンネルは断面が小さく、パンタグラフ折りたたみ高さが4000mm未満でなければ通過できないため、JR他社の電車の大部分(マリンライナー専用のJR四国5000系電車を含む)は当駅より西に入ることができない。JR四国以外の電車・電気機関車では285系電車・EF65形電気機関車・EF210形電気機関車が鳥越トンネル通過対策済みとなっている。最南端の駅については、鉄道事業法および軌道法に基づく路線の駅にまで範囲を広げた場合は、雲辺寺ロープウェイの山頂駅が該当する。