Sau khi cụ Thủy Tổ Ngô Nhất lang đưa người con thứ hai xuống Đăng tràng định cư lập nghiệp. Tại miễu Hồng cương hoang hoá, cụ Tổ Ngô hữu Rỹ vẫn trong cảnh bần hàn đã phải đi làm canh điền cho cụ Vũ Đăng Dưỡng là Lý trưởng xã An cúc, tổng Cao dương, huyện Thái thụy, Tỉnh Thái bình. Cụ Dưỡng không có con trai, chỉ có ba cô con gái. Cô cả là Vũ Thị Riệu. Thấu hiểu cảnh bần hàn của anh canh điền họ Ngô tính chất phác, cần cù khỏe mạnh, hiền hậu và sự gần gũi giữa hai làng Thu cúc và Hồng cương, cụ Vũ Đăng Dưỡng tỏ lòng quí mến, tin cậy đã gả cô con gái lớn Vũ Thị Riệu cho cụ Tổ  Đây là điều hiếm trong chế độ xã hội phong kiến còn đang rất hưng thịnh ở nước ta lúc bấy giờ.

      Vào một buổi chiều mùa hè, những người ỏ miễu Hồng cương đi làm phu theo lệng quan triều về nghỉ ở gốc đa đầu làng Thu cúc. Họ phàn nàn với nhau rằng: "Làng ta có anh Rỹ làm thuê ở đây, nhưng nghe đâu cụ Lý ở làng này gả con gái cho có lẽ ở rể không về nữa. Nếu không về gánh vác việc phu, chúng ta sẽ bắn xuất đinh xuống làng Thu, không lẽ cứ làm thay cho anh ấy mãi hay sao?". Tình cờ cụ Lý Dưỡng đi qua nghe thấy rõ chuyện. Về nhà, cụ Lý Dưỡng đã giúp cụ Tổ trở về Hồng cương lập nghiệp.

      Miễu Hồng cương nơi hoang vu, cây cỏ lau sậy chen lấn lỗi cũ vườn xưa, ba gian nhà (Từ đường) hướng nam mái tranh, tường đất rêu phong. Cụ Tổ về xóm làng mừng vui, từ nay có thêm người gánh vác việc chung, đóng góp phu phen tạp dịch. Tình làng nghĩa xóm, mọi người đã giúp cụ Rỹ dặm dọi lại ngôi nhà (từ đường) mát mẻ. Tổ ấm từ đây, ngày ngày trồng trọt vun bón rau mầu, ngô, khoai, đỗ, lạc. Đêm đêm thả lờ bắt cá. Cuộc sống bớt khó khăn đôi chút.

      Người hiền gặp lành, lại một sự kỳ ngộ vui như trong mơ, như huyền thoại. Đó là một chiều mùa hè, cụ Rỹ đang cuốc vườn, bỗng có Cụ già vẻ hiền từ bước tới nói với cụ rằng: "Tôi lỡ độ đường, trời nóng nực tìm vào đây ngủ nhờ anh". Cụ Tổ ân cần mời cụ già nghỉ lại, rồi lấy nước, thuốc lào ra tiếp. Lát sau cụ già cứ nhìn đi ngắm lại ngôi nhà (Từ đường) và nói" "Anh ở đây sao không làm nhà hướng đông có hay không?". Cụ Tổ trả lời:"Cháu cảnh nghèo đi làm thuê mới về làng...". Cụ già lại hỏi: "Bây giờ anh làm lại hướng đông được không?. Cụ Tổ nói: "Cháu không lấy gì làm lại được.. Cụ già nói tiếp: "Anh tìm hòn gạch hay cục đá hoặc vật gì để tôi đánh dấu cho cái hướng nhà rồi chiều mát tôi đi". Trước khi từ biệt, cụ già còn dặn kỹ càng về hướng nhà rồi nói tiếp. "Anh cố làm nhà hướng đông mà ở, sau này khá giả đấy". Từ đó không gặp lại và cũng không rõ cụ già là người thế nào, ở đâu.

      Tháng Tám năm ấy gặp phải bão táp mưa to kéo dài làm sụp đổ ngôi nhà (Từ đường ) hướng nam. Tự nghĩ: Đằng nào cũng phải làm lại, cụ Tổ đã nhờ bà con giúp dựng lại nhà hướng đông (Hướng Từ đường hiện nay) theo lời dặn của cụ già.

      Sau khi đã an cư, ngày đêm cụ Tổ vẫn vật lộn với nắng mưa, khai hoanh vỡ hóa, cấy lúa trồng cây. Mưa thuận gió hòa, ngoài đồng lúa tốt, chiêm mùa bội thu, trong vườn cây cối sai hoa trĩu quả, trâu bò, lợn gà sinh sôi. Đời sống trở nên no ấm, ổn định.

      Truyện còn kể rằng: Em gái cụ Tổ (Không rõ tên) lấy cụ huyện Hào họ Lê (cùng thôn) không có con. Ở cạnh nhà trồng một giàn trầu không, sau hai cụ qua đời, ngôi nhà bị dột nát đã trở thành nơi che sương, che nắng vừa là nguồn da961t vun bón giàn trầu xanh tốt. Năm ấy sương muối nặng nề, nhiều nhà trầu trút hết lá. Riêng giàn trầu nhà cụ Tổ còn nguyên vẹn, bán được nhiều tiền.

      Có lưng vốn, cụ Tổ dồn sức khai hoanh, khẩn hóa, mở rộng ruộng vườn, sau có tới vài chục mẫu tư điền, ba bốn mẫu tư thổ. Việc cày cấy, trồng trọt, chăn nuôi ngày càng phát đạt trở nên giàu sang phú quí. Cụ làm Lý trưởng xã Hồng cương, có tri điền bên họ ngoại (Thu cúc) và chịu hậu dựng bia ở Chùa làng cho Cô ruột là bà Ngô Thị Đoán.

      Cụ Tổ là người hiền lành, đức độ, được bà con làng xã quí trọng, kính nể. Công đức của cụ còn được lưu truyền đến ngày nay.