วัดเขาถ้ำคันกระได ตั้งอยู่เชิงเขาบริเวณอ่าวน้อย ก่อนถึงตัวเมืองประจวบคีรีขันธ์ มีทางเข้าแยกจากถนนเพชรเกษม

กิโลเมตรที่ 314 เป็นระยะทาง 3 กิโลเมตร ในบริเวณมีถ้ำขนาดเล็กประดิษฐานพระพุทธไสยาสน์

ในอดีตถ้ำแห่งนี้เป็นสถานที่ซึ่งชาวเรือมักเข้ามาอาศัยหลบพายุฝน