祖父：潘璘，以军校戍常山。

父亲：北宋开国名将潘美。

兄弟：潘惟德，官至宫苑使。

潘惟正，官西京作坊使

潘惟清，官拜崇仪使。

潘惟熙，娶秦王赵德芳之女，官拜平州刺史。

姐妹：潘氏，嫁大理寺评事张昭允；

潘氏，真宗潘皇后，嫁给了宋真宗赵恒；

潘氏，封冯翊郡夫人，嫁曹彬子曹玮。