มีเรื่องเล่าของบ้านถ้ำเสือเกิดขึ้นตั้งแต่ช่วงปี พ.ศ. 2487 เนื่องจากสภาพบริเวณแถวนี้เป็นป่าดงดิบที่มีความอุดมสมบูรณ์ มีสัตว์นานาชนิดอาศัยอยู่ โดยเรื่องเล่ากล่าวว่าเมื่อถึงเวลา 4 โมงเย็น ผู้ที่อยู่ในป่าจะต้องรีบขึ้นไปนั่งห้างบนต้นไม้เพื่อพักและหลบจากสัตว์ป่าดุร้าย เนื่องจากพื้นที่แถบนี้จะมีดเร็วและยังมีสัตว์จำพวก ช้ร้างป่า ม้า เสือ กระทิงอาศัยอยู่ ต่อมาเมื่อมีชาวบ้านเริ่มเห็นว่าพื้นที่แถวนี้อุดมสมบูรณ์และสามารถเพาะปลูกได้ก็เริ่มถางป่ส่วนหนึ่งเพื่อใช้เป็นพื้นที่ในการเกษตรและอยู่อาศัย จากนั้นสัตว์ป่าน้อยใหญ่ก็เริ่มหลบเข้าไปอยู่ในป่าบริเวณที่ลึกขึ้น ส่วนเรื่องชื่อของบ้านถ้ำเสือนั้น เกิดจากที่ชาวบ้านไปพบเจอกับร่องรอยของเสือในถ้ำแถวนั้น จึงทำให้รู้ว่าแถวนั้นมีเสืออาศัยอยู่จนกลายมาเป็นชื่อของบ้านถ้ำเสือจนถึงปัจจุบัน จากนั้นบ้านถ้ำเสือเลยกลายเป็นชุมชนที่อยู่คู่กับผืนป่าและสายน้ำเพชรบุรีโดยขึ้นตรงกับอำเภอแก่งกระจาน ชาวบัานมีอาชีพหลักคือทำเกษตร ทำไร่ทำสวน รวมถึงมีโครงการที่เป็นเอกลักษณ์ของชุมชนคือ โครงการธนาคารต้นไม้