อุปสมบท เมื่อวันที่ ๘ พฤษภาคม พ.ศ. ๒๔๔๙ เวลา ๑๓.๓๐ น. อายุ ๒๒ ปี ณ วัดทรงคนอง ตำบลทรงคนอง อำเภอสามพราน จังหวัดนครปฐม โดยมี พระอธิการรุ่ง วัดทรงคนอง เป็นพระอุปัชฌาย์ พระสมุห์มี และ พระอธิการแจ่ม วัดทรงคนอง เป็นพระกรรมวาจาจารย์

     เมื่อท่านได้รับการบรรพชาอุปสมบทแล้ว ก็ได้จำพรรษาอยู่ที่วัดนั้นนั่นเอง ครั้นปวารณาออกพรรษาแล้ว ท่านมีความปรารถนาอย่างแรงกล้า ในการเที่ยวไปเพื่อแสวงหาความสงบวิเวกทางใน ซึ่งเป็นสมณจริยาวัตรที่พระพุทธเจ้าทรงสรรเสริญ อันเป็นประเพณีนิยมของผู้มีศรัทธาอุปสมบทในสมัยนั้น ท่านประพฤติธุดงควัตรจาริกไปในที่ต่างๆ เช่นนี้มาหลายแห่ง จนในพรรษาที่ ๖ ท่านได้มาปักกลดอยู่ที่บริเวณวัดท่า อันเป็นวัดที่หลวงพ่อเลียบอาศัยจำพรรษาอยู่ก่อน แต่ทว่ามีเสนาสนะชำรุดทรุดโทรมมานานแล้ว ปรากฏว่าประชาชนในย่านนั้นต่างพากันเคารพสักการะด้วยศรัทธาเลื่อมใสในจริยาวัตรของท่าน

     หลวงพ่อห่วง เมื่อปกครองวัดได้ทำ การบูรณะซ่อมแซมถาวรวัตถุให้เป็นระเบียบเรียบร้อย และได้เปลี่ยนชื่อจากวัดท่ามาเป็น วัดท่าใน เพราะที่ตั้งวัดอยู่ตรงกลางในวงล้อมของวัดต่างๆ อีก ๗ วัด และถือได้ว่าในสมัย หลวงพ่อห่วง นี้ วัดได้มีความเจริญทุกๆ ด้าน มีการสร้างศาลาการเปรียญ โรงเรียนปริยัติธรรม กุฏิสงฆ์ทรงไทย พระอุโบสถ การขุดสระน้ำ สำหรับเก็บกักน้ำไว้ในฤดูแล้ง ๒ สระใหญ่ ซึ่งปัจจุบันถมไปแล้ว สร้างถนนสำหรับการสัญจรไปมาของชาวบ้าน และอีกหลายอย่างที่จำเป็นสำหรับวัดและชาวบ้าน