암타도
또한 인종이 갑자기 꿈을 꾸자 척준경은 임씨 성을 가진 왕후를 맞이할 것이라고 예언하였는데, 예언이 적중하여 인종은 문하시중 임원후의 딸 공예왕후를 간택하여 왕비로 삼았다. 그해 음력 11월 인종은 척준경의 얼굴을 그린 그림을 공신당에 걸게 했다. 그러나 척준경의 위세는 오래 가지 못했다. 척준경이 이자겸을 제거한 공을 내세우며 권세를 부리려 하자 인종은 척준경을 꺼리게 되었으며, 마침내 정언(正言) 정지상이 척준경의 옛 죄를 들어 탄핵하는 상소를 올리자 1127년 음력 3월 암타도(巖墮島)로 귀양 가게 되었다. 1127년 음력 3월 "이자겸을 제거한 일은 일시의 공이나 궁궐을 침범하고 불사른 것은 만세의 죄"라는 정지상의 탄핵을 받아 암태도로 유배되었다가, 1128년 음력 4월 이자겸을 제거한 공을 참작하여 척준경의 귀양지를 암타도에서 고향인 곡주로 옮기게 하였으며,  1130년 음력 10월에는 "죄는 중하나 또한 공도 적지 않다" 하며 가족들과 한곳에 살도록 했다. 또한 1132년 음력 11월에는 척준경의 아들에게 직전(職田)을 돌려주게 하였다. 1144년(인종 22) 음력 2월 인종은 척준경을 검교호부상서(檢校戶部尙書)에 임명, 바로 상경했으나 얼마 가지 못해 등창으로 세상을 떠났다.
1127년 음력 3월 척준경이 귀양 간 곳은
척준경