ตั้งอยู่ติดแม่น้ำสวี มีตำนานเล่าว่าพระเจ้าศรีธรรมาโศกราช เสด็จยกทัพมาพักรี้พลอยู่ในเขตอำเภอสวี ได้พบเหตุการณ์ประหลาด คือ มีกาเผือกและกาอื่น ๆ จับกลุ่มส่งเสียงร้องเหนือกองอิฐปรักหักพัง จึงรับสั่งให้รื้อเศษอิฐที่หักพังทับถมกันออก พบฐานพระเจดีย์ใหญ่ เมื่อขุดลึกลงไปพบผอบบรรจุพระบรมสารีริกธาตุ จึงโปรดให้สร้างเจดีย์ขึ้นใหม่แทนเจดีย์องค์เดิม สันนิษฐานว่า สร้างขึ้นในสมัยกรุงศรีอยุธยา จนกระทั่งปี พ.ศ.2459 ได้มีการบูรณะครั้งใหญ่ โดยการสร้างพระธาตุครอบเจดีย์องค์เดิม ส่วนด้านหน้าพระธาตุ ติดกับแม่น้ำสวีมีศาลเจ้าภายในเป็นรูปปั้นคนนั่งขนาดเท่าคนจริง ชาวอำเภอสวีเรียกว่า ศาลพระเสื้อเมือง