Theo như các ông các bà nói lại: Họ Cao nhà ta có một mảnh đất khoảng 400m2 ở giữa làng Quan Xuyên, xã Thành Công, huyện Khoái Châu, tỉnh Hưng Yên.

Đây là nơi ở của cụ Cao Duy Chinh và cụ Lê Thị Bảo. Sau đó, các cụ để lại cho em gái là cụ Cao Thị Tý sinh sống. Cụ Tý lấy chồng, sinh con và ở đây đến cuối đời. Sau đó một trong số 3 cô con gái của cụ Cao Thị Tý lấy chồng là ông Tư Báu sống trên mảnh đất này. Vợ chồng ông Tư Báu mất đi, 2 người con trai của ông Tư Báu phá nhà cũ, chia mảnh đất làm 2 xây nhà mới để ở. Người em trai ở phần ngoài, chú Quí ở phần trong. Như vậy, anh em chú Quí (chú Quí hiện là Trưởng công an xã) gọi bà Cao Thị Tý là bà ngoại và đang ở trên mảnh đất của nhà họ Cao.

Những năm gần đây, các gia đình họ Cao về hội làng cũng như thăm viếng mộ các cụ nhân ngày tiết Thanh minh hàng năm đều về nhà chú Quí nghỉ ngơi, thăm hỏi. Gần nhà chú Quí, khi về quê mọi người còn đến thăm nhà ông Tư Thụy. Ông Tư Thụy họ hàng với họ nhà ta là thế này: Cụ thân sinh ra ông Tư Thụy là em ruột bà Lê Thị Bảo (vợ cả của ông Cao Duy Chinh). Ông Tư Thụy học được nghề chữa đồng hồ do các ông con cụ Cao Duy Chinh (ông Mễ, ông Đồng) truyền lại nên rất thân thiết với họ hàng nhà ta.

Về mồ mả của các cụ:

Đời thứ nhất: Mộ Cụ tổ Cao Đức Lập và vợ là Cụ bà Nguyễn Thi Châm hiện chưa rõ ở đâu ?

Đời thứ hai: Mộ Cụ Cao Đức Liêm chôn ở thôn Quan Xuyên nhưng do việc quai đê, chống lụt nên thất lạc không biết cụ thể ở chỗ nào ? Mộ của cụ bà Nguyễn Thị Hoán đặt ở nghĩa trang thôn Quan Xuyên, Thành Công, Khoái Châu, Hưng Yên. Trên bia ngoài tên cụ Nguyễn Thị Hoán còn có ghi thêm chữ (cụ Liêm bà).

Đời thứ ba: Mộ các cụ: Cao Duy Chinh, Lê Thị Bảo, Cao Duy Long, Cao Thị Tý đặt ở nghĩa trang thôn Quan Xuyên, Thành Công, Khoái Châu , Hưng Yên. Mộ cụ Phạm Thị Phụng đặt tại nghĩa trang thôn La Xuyên - xã Yên Ninh - huyện Ý Yên - tỉnh Nam Định. Tro cốt của cụ Cao Duy Tứ và vợ đặt ở chùa Vĩnh Nghiêm thành phố Hồ Chí Minh.

Nơi thờ cúng các cụ họ Cao hiện nay tập trung ở nhà Bà Phạm Thị Hằng (vợ ông Cao Duy Chính, con dâu thứ 4 của cụ Cao Duy Chinh) tại TP Ninh Bình.