- 始于芈姓：源于“芈”姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。潘崇字道安，是楚成王时的大夫，楚穆王继位后，他被任命为太师，掌国事，楚国大治。潘崇家族受楚王恩宠，发展迅速，其后裔子孙遍布楚国各地。

- 以国为姓：出于姬姓，毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为姓，奉季孙为潘姓始祖。

- 源于姚姓：是上古舜帝姚重华后裔，是以国名为姓。舜帝建都于潘地（今北京延庆），后将潘地移至今陕西省兴平。商王朝时期，舜帝后裔建有潘子国，到殷商末期被周文王所灭，其子孙遂以国名为姓氏而姓潘。

- 因地得姓：水在河南，住在潘水边的人以水地名为姓。下雒城西南有故潘城，有以地为氏者。

- 鲜卑改姓：北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。

- 其他民族改姓：在水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。

- 变迁：

- 春秋战国时，潘姓主要在今湖北省境内发展，此后，有向山东、湖南迁徙的少数潘姓人。

- 汉时，潘姓北迁至荥阳中牟（今属河南省），三国时发展兴旺而为荥阳郡一大望族。

- 东汉灵帝时，有潘乾因仕宦而迁江苏溧阳。

- 吴国有右将军潘璋由发干（治在今山东省冠县）而迁建康，而吴国还有浏阳侯潘，为汉寿（今湖南省常德）人。

- 晋时，潘勖之裔孙潘才因任广宗太守，而落籍广宗（今河北省威县），后又发展成为潘姓历史上第二大郡望。

- 唐初，陈元光父子开漳，有河南固始人潘节随其入闽。

- 宋时有潘节后人迁广东、云南。