Dưới thời Lê Trịnh, Phan Huy không chỉ là một "vọng tộc" mà còn là một "quí tộc". Họ Phan có đến 5 người con gái vào phủ Chúa: hai con gái cụ Phan Văn Kính (đời thứ 6) là Phan Thị Nẫm, Phan Thị Lĩnh, một người cháu là Phan Thị Ái (thuộc đời thứ 7) và hai người con gái cụ Phan Văn Tĩnh là Phan Thị Chỉnh, Phan Thị Đang (thuộc đời thứ 8). Các bà đều có công với tộc họ và cả với văn hóa. Bà Phan Thị Nẫm là cung tần của Hoằng tổ Dương Vương Trịnh Tạc, năm Chính Hòa thứ 16 (1695) đã tu sửa, xây chùa Hoa Phát ở xã Sài Khê, đặt 10 mẫu ruộng Phật, chi 185 quan tiền và hiến thêm 3 mẫu ruộng, 2 sào ao để 4 giáp làm cơm chay cúng giỗ hàng năm. Bà Phan Thị Lĩnh, cung tần của Khang Vương Trịnh Căn vào năm Chính Hòa (1680 - 1705) theo chúa Khang Vương Trịnh Căn đi du ngoạn phí tây (tức vùng Sơn Tây ngày nay), yêu thích phong cảnh núi Sài, đã quyên tiền làm chùa Long Đẩu, rồi ủy cho chánh thần soạn văn bia về chùa này. Sau khi Khang Vương mất, bà đã về gia quán (Hà Tĩnh) đặt lễ hậu cho hai làng Gia Thiện và Hữu Phương, nhưng sau đó, khoảng niên hiệu Vĩnh Thịnh (1705 - 1719) lại trở ra Thăng Long chọn xã Thụy Khuê (thời Trung hưng thuộc tổng Lật Sài, phủ Quốc Oai, trấn Sơn Tây, nay là thôn Thụy Khuê, xã Sài Sơn, huyện Quốc Oai, Hà Nội) làm nơi cư ngụ. Ở đây, bà mở mang ao vườn, rồi để lại cho xã làm ao công nên dân làng biết ơn gọi là Đức Bà Gạch; lại sửa chùa Bối Am, khu Đền Một Mái (có đền thờ Phan Đô đốc, tức Phan Kính), tòa Tiền đường, và đúc chuông; đến niên hiệu Vĩnh Khánh (1730) lại cấp ruộng cho xã Phùng Xá, huyện Thạch Thất (tổng cộng đến trên 5 mẫu) để làm ruộng thờ. Bà Phan Thị Ái, không rõ thuộc chi nào, cũng là một phi tần, về sau đi tu, chủ trì chùa Bối Am, thường được gọi là Sư trưởng. Bà Phan Thị Chỉnh trước là cung nữ trong phủ Nhân Vương Trịnh Cương, sau cho xuất giá theo họ Đinh về Hàm Giang; bà Phan Thị Đang là phi tần của chúa Nhân Vương Trịnh Cương, được sủng ái, phong Tu Nghi Phan Quí thị, sinh được quận chúa Ôn Dung. Khoảng niên hiệu Bảo Thái (1720 - 1729) Nhân Vương làm cung điện ở Ninh Sơn, huyện Chương Đức, thường cho bà theo đến nghỉ, sau ban cho bà làm cung riêng. Khoảng từ năm Vĩnh Hựu thứ 5 (1739) bà bắt đầu tu tạo vùng này, cho xây đền thờ bên núi, mua ruộng cấp tiền cho xã Chúc Sơn để lo phụng thờ cha mẹ, đặt lệ hàng năm vào 12 tháng Giêng thì làm lễ rước bài vị cha mẹ và cúng tế trong 7 ngày; các tiết Thanh minh, Đoan ngọ, Trung thu, Trùng cửu và ngày giỗ các vị đều có cúng tế. Những lễ tiết ấy đã thành hội, dân trong vùng cùng vui vẻ tham dự. Các vị cung tần đều đã về quê Hà Tĩnh lo toan việc hậu tự, nhưng xem ra các vị lại quyến luyến hơn phong cảnh những làng quê gần Kinh thành Thăng Long. Có thể nghĩ một cách không võ đoán rằng chính các vương phi đã rất gắn bó với vùng đất kinh kì, và dường như đã tìm được "một nơi đất ở", để lại cho con cháu một miền "đất phúc". Không biết có phải từ "gợi ý" đó mà Phan Huy Cận đã chọn Sài Sơn làm quê hương thứ hai? Mặc dù ở quê gốc Phan Huy Cận đã lo toan việc nhà việc làng rất chu đáo: "bao đạc 5 mẫu đất để làm dinh phủ,... xây nhà thờ, lập hậu miếu cho hai thôn (Hữu Phương và Gia Thiện), đặt chợ Phủ, đào giếng, chọn đất làm Văn chỉ cho tổng, xã, Thần từ cho Hữu Phương và lo phần mộ cho các vị tiên nhân" (theo Phan công gia phả); và năm 1786, sau khi được nghỉ quan, cụ cũng đã đi thuyền về quê. Nhưng đợt nghỉ này không được lâu, cuối năm triều đình lại triệu ra trao chức Nhập thị kinh diên, tước hầu, rồi thăng Bình chương trọng sự kiêm Quốc sử Tổng tài. Được một năm, Phan Huy Cận lại xin nghỉ và lần này (1787) được chuẩn y, cụ về dưỡng nhàn tại ngôi nhà trên núi Sài Sơn, dạy con trẻ và "soạn niên phả", dẫu rằng nơi đây mới chỉ có ngôi nhà tranh tre "Tiến sĩ Phan Huy Ích mới mua vội cho cha về nghỉ" (Gia phả). Tại đây Phan Huy Cận sớm hòa hợp với dân làng, cụ cắm lại hướng đình, cổng làng, Văn chỉ, giúp dân xây giếng, sửa đường, làm lối thoát nước, khiến cho làng Thụy Khuê trở nên phong quang, dân làng biết ơn.

Không đầy năm sau, đất nước trải qua một cuộc thay đổi trời long đất lở, các quan chức trụ cột của triều đình, các danh gia vọng tộc Nguyễn Du, Phạm Nguyễn Du, Nguyễn Huy... đều chọn con đường rời Thăng Long, về quê ẩn dật hoặc nuôi chí lớn, nhưng họ Phan vẫn ở lại. Phan Huy Cận mất tháng 4 năm Kỷ Dậu (1789) tại Sài Sơn, mộ cũng đặt tại xứ Cây Bàng, thôn Phượng Cách, bên cạnh xã Sài Sơn. Từ đấy họ Phan chính thức coi Sài Sơn là quê hương, Phan Huy Ích và các con khi đi xa, thậm chí làm quan trong triều ở Phú Xuân, mỗi khi nhớ về quê hương cũng đều nhắc đến Sài Sơn, đến vùng Tây - Tản Lĩnh; tên hiệu của mỗi người cũng đều được lấy từ tên đất hoặc gợi nhớ về vùng núi Thày, ví như Thụy Nham (Phan Huy Ích), Khuê Nhạc (Phan Huy Thực), Sài Phong (Phan Huy Vịnh), Mai Phong (Phan Huy Chú); con cháu sau nhiều người cũng nhập tịch các nơi khác ở Bắc Hà, như Bảo Triện, Tả Thanh Oai, Hoài Đức, Từ Liêm... Như vậy, một chi nhánh lớn của họ Phan Huy đã lựa chọn Bắc Hà làm quê hương và chung thủy với mảnh đất này, bất chấp những thăng trầm sóng gió, cả sự tiêu điều của Thăng Long sau khi kinh đô đã chuyển về Phú Xuân, và ngay cả khi họ Phan đã là những triều thần có danh vị, đường về Sài Sơn xa gấp đôi quê cũ Thạch Hà, song miền quê núi Thày mà Phan Huy Cận đã lựa chọn vẫn là nơi Phan gia gắn bó, gửi gắm tâm hồn, để rồi sẽ đóng góp cho Thăng Long một Dòng văn lớn nữa sánh vai cùng Dòng văn Ngô Thì ở Tả Thanh Oai.

 Duy Trần