ปราชญ์ชาวบ้านอธิบายว่า ประเพณี "ปอยต้นหอลม" เป็นการทำบุญระหว่างเจ้าเมืองกับพสกนิกรในสมัยก่อน โดยมีการทำต้นหอลมแข่งกันว่า ใครจะมีบุญมากกว่ากัน ตำนานเล่าว่า มียาจกผัวเมีย ขอร่วมทำบุญ แต่ไม่มีปัจจัยนอกจากก้อนดินเหนียว จึงไม่มีใครให้ร่วมทำบุญด้วย เมื่อถึงวันงานจึงแอบยิงก้อนดินติดที่ต้นหอลมของเจ้าเมือง ทำให้ไม่สามารถเคลื่อนต้นหอลมเข้าวัดถวาย พระพุทธเจ้าจึงตรัสว่า ยังมีศรัทธาผู้ร่วมทำบุญอีก เมื่อทหารไปดูนอกรั้ววัดก็พบ 2 ยาจก จึงพาเข้ามา ต้นหอลม จึงเคลื่อนเข้าวัดได้ พร้อมสอนว่า การทำบุญอยู่ที่ศรัทธา และความตั้งใจจริงของผู้ทำบุญ ไม่ใช่ทรัพย์สินเงินทอง หรือแข่งเอาชนะกัน