Theo tư liệu, vào thời Hùng Vương - An Dương Vương, vùng đất huyện Phú Xuyên hiện nay thuộc bộ Giao Chỉ - một trong 15 bộ của nước Văn Lang - Âu Lạc. Thời Bắc thuộc, từ sau năm 179 TCN đến thời thuộc Tùy (602 - 618), vùng đất huyện Phú Xuyên thuộc quận Giao Chỉ, thời thuộc Đường (618 - 905) đổi làm châu Giao Chỉ thuộc An Nam đô hộ phủ.

Thời Lý - Trần - Hồ (thế kỷ XI - đầu thế kỷ XV), vùng đất huyện Phú Xuyên hiện nay chủ yếu thuộc huyện Phù Lưu, châu Thượng Phúc, lộ Đông Đô. Thời Minh thuộc (1407 - 1427), huyện Phù Lưu thuộc châu Phúc Yên, lệ vào phủ Giao Châu. Đến thời vua Lê Thánh Tông niên hiệu Quang Thuận (1460 - 1469), đổi huyện Phù Lưu thành huyện Phù Vân, lệ vào phủ Thường Tín, thừa tuyên (còn gọi là đạo hay xứ) Sơn Nam. Thời vua Lê Chiêu Tông niên hiệu Quang Thiệu (1516 - 1522), huyện Phù Vân được đổi làm huyện Phú Nguyên. Nhà Mạc (1527 - 1592) vì kiêng húy Mạc Phúc Nguyên nên đổi làm huyện Phú Xuyên. Vùng đất là huyện Phú Xuyên hiện nay, thời Lê - Mạc thuộc huyện Phù Vân (Phú Nguyên, Phú Xuyên), phủ Thường Tín, thừa tuyên Sơn Nam. Dưới thời Lê - Trịnh, thừa tuyên (đạo, xứ) Sơn Nam được đổi thành trấn Sơn Nam, năm 1741 trấn Sơn Nam được tách thành hai trấn là Sơn Nam Thượng và Sơn Nam Hạ. Từ đó, vùng đất huyện Phú Xuyên hiện nay chủ yếu thuộc huyện Phú Xuyên, phủ Thường Tín, trấn Sơn Nam Thượng.

Vào thời Nguyễn, đầu thế kỷ XIX, vùng đất huyện Phú Xuyên hiện nay chủ yếu thuộc địa giới của huyện Phú Xuyên và một phần huyện Thượng Phúc, đều thuộc phủ Thường Tín, trấn Sơn Nam Thượng. Huyện Phú Xuyên khi ấy gồm 11 tổng, 82 xã, thôn, trang, phường; huyện Thượng Phúc gồm 12 tổng, 82 xã, thôn. Trong đó, các đơn vị hành chính ngày nay thuộc địa phận huyện Phú Xuyên gồm: Tổng Biện Thủy (huyện Phú Xuyên), các xã: Bái Xuyên, Bái Đô, Biện Thủy, Kim Quy, Thần Xuy, Vĩnh Bảo; thôn Mỗ thuộc xã Mai Trang; các thôn Hương Lâm, Khả Liễu thuộc xã Hương Lâm. Tổng Đường Hoàng Trung (huyện Phú Xuyên), các xã: Cổ Đường, Đường Hoàng Đông, Đường Hoàng Hạ, Đường Hoàng Trung, Viên Hoàng. Tổng Đường Xuyên (huyện Phú Xuyên), các xã: Tông Chất, Thượng Yên, Vân Hoàng; các thôn Thượng, Cổ Trai, Kiều Đông, Kiều Đoài, Thái thuộc xã Đường Xuyên. Tổng Già Cầu (huyện Phú Xuyên), các xã: Già Cầu, Hà Thao, Lễ Nhuế, Ngải Khê, Sơn Minh. Tổng Hòa Mỹ (huyện Phú Xuyên), các xã: Hòa Mỹ, Hoàng Lưu, Tư Sản, Tri Chỉ, Trung Lập. Tổng Khai Thái (huyện Phú Xuyên), các xã: Cổ Liêu, Khai Thái, Lật Đường, Tầm Khê, Vĩnh Thái. Tổng Lương Xá (huyện Phú Xuyên), các xã: Bất Nạo, Đồng Phố, Lương Xá, Văn Trai. Tổng Mỹ Lâm (huyện Phú Xuyên), các xã: An Khoái, Đương Triều, Mỹ Lâm, Nam Nguyễn, Nam Quất, Phú Nguyễn, Thao Triền, Ứng Thiên (Ứng Hòa). Tổng Thịnh Đức (huyện Phú Xuyên), các xã: Bối Khê, Kim Lung, Nhị Khê; các thôn Thượng Hạ, Trung, Ngọ, Đồng Vinh thuộc xã Chuyên Mỹ; các thôn Thượng, Hạ thuộc xã Thịnh Đức. Tổng Chương Dương (huyện Thượng Phúc), xã: Cát Bi. Tổng Phượng Dực (huyện Thượng Phúc), các xã: Phù Bật, Phú Hoa, Trình Viên, Phượng Dực, Xuân La, Đồng Quan, Tiến Động. Tổng Thụy Phú (huyện Thượng Phúc), các xã: Duyên Yết, Duyên Trang, Lật Dương, Thụy Phú, Đại Gia. Tổng Triều Đông (huyện Thượng Phúc), xã: Yên Cốc. Tổng Vạn Điểm (huyện Thượng Phúc), các xã: Do Lễ, Nhân Vực. Ngoài ra, còn có 4 xã: Bạch Sam, Hòa Khê, Bài Lễ, Bài Nhiễm thuộc tổng Bạch Sam, huyện Duy Tiên, phủ Lị Nhân (Lý Nhân), trấn Sơn Nam Thượng; nay thuộc 2 xã Bạch Hạ và Châu Can.

Sau cải cách hành chính của vua Minh Mệnh (năm 1831), tỉnh Hà Nội được thành lập, gồm 4 phủ, 15 huyện. Từ đó đến cuối thế kỷ XIX, huyện Phú Xuyên hiện nay chủ yếu thuộc huyện Phú Xuyên và một phần huyện Thượng Phúc, phủ Thường Tín, tỉnh Hà Nội.

Năm 1888, Hà Nội là “nhượng địa” của chính quyền Pháp. Huyện Phú Xuyên thuộc phủ Thường Tín, tỉnh Cầu Đơ. Ngày 6/12/1904, tỉnh Cầu Đơ chính thức được đổi tên thành tỉnh Hà Đông. Từ đó, hai huyện Phú Xuyên, Thượng Phúc thuộc phủ Thường Tín, tỉnh Hà Đông. Sau Cách mạng tháng Tám năm 1945, huyện Phú Xuyên thuộc tỉnh Hà Đông. Theo Quyết định số 103/NQ-TVQH  ngày 21/4/1965 của Ủy ban Thường vụ Quốc hội, tỉnh Hà Tây được thành lập trên cơ sở sáp nhập hai tỉnh Hà Đông và Sơn Tây. Huyện Phú Xuyên thuộc tỉnh Hà Tây. Ngày 27/12/1975, Quốc hội khóa V, kỳ họp thứ 2 đã thông qua Nghị quyết hợp nhất hai tỉnh Hà Tây và Hòa Bình, lấy tên là tỉnh Hà Sơn Bình. Huyện Phú Xuyên thuộc tỉnh Hà Sơn Bình. Đến ngày 12/8/1991, Nghị quyết của Quốc hội khóa VIII, kỳ họp thứ 9 đã quyết định chia tỉnh Hà Sơn Bình thành 2 tỉnh là Hòa Bình và Hà Tây. Huyện Phú Xuyên thuộc tỉnh Hà Tây.

Ngày 29/5/2008, Quốc hội khóa XII, kỳ họp thứ 5 đã thông qua Nghị quyết số 15 điều chỉnh địa giới hành chính Thủ đô, trong đó hợp nhất toàn bộ tỉnh Hà Tây vào thành phố Hà Nội. Từ ngày 1/8/2008, quyết định mở rộng địa giới hành chính thành phố Hà Nội chính thức có hiệu lực thi hành. Từ đó đến nay, huyện Phú Xuyên là một trong 30 quận, huyện và thị xã thuộc thành phố Hà Nội.

Thùy Trang