파사성 정상을 중심으로 능선을 따라 축성한 파사성은 성벽 등 이 비교적 많이 남아 있으며, 둘레는 약 943m이며 성벽중 최고 높은 곳은 6.25m나 되나 낮은 곳은 1.4m되는 곳도 있다. 천서리를 면한 동문지(東門址), 금사면 이포리를 면한 남문지(南門址)에는 문앵(門櫻)을 세웠던 고주형초석 2기와 평주 초석이 남았고 동문지에는 옹성문지(甕城門地)가 남아 있다.

한강에 연하여 있어 성 일부는 강언덕에 돌출된 자리를 잡아 남한강의 상하류를 한눈에 관찰할 수 있는 전략적 요충지이다.

삼국시대에 축성되었으며 신증동국여지승람에는 선조 25년(1592년) 에 임진란이 일어났을 때 유성룡의 발의에 따라 승군총익인 의암(義巖)이 승군을 동원하여 쌓은 둘레 1,100보의 성첩을 중수한 기록이 있다(왕복 1시간 소요)