回族的族源可以追溯到唐代。根据现有史料,唐高宗永徽二年(651年),阿拉伯和波斯的穆斯林商人陆续由海路来华,在广州、泉州、杭州、扬州及长安等城市定居。
他们建筑了中国最早的一批礼拜寺,不少人娶妻生子,繁衍生息,世代定居,并建立公共墓地。他们被称为蕃客或土生蕃客,被视为回回民族的先民。
13世纪初叶蒙古西征,西辽破灭。葱岭东喀什噶尔等地信仰伊斯兰教的回纥(回鹘)人的后裔,同葱岭西的中亚及波斯;阿拉伯广大地区不同民族的穆斯林,大批被签发或自动迁徙到东方来。他们主要以驻军屯牧和以工匠、商人、学者、官吏、掌教等不同身份散布在中国的西北、中原及江南、云南等地区,被称为回回人,成为元代色目人中的重要部分。大批色目人来到中原定居,为了实行对中原地区长久有效的统治,他们强令中原人移风易俗,其中很大一部分中原人就此被同化了。
后来,他们也以回回自称,是形成回族的主要部分。元代到明代前期,回回人中包含有信仰伊斯兰教的回纥(回鹘)人的后裔,他们同当时高昌及河西一带仍信仰佛教的畏兀儿人相区别,明中叶以后,维吾尔族普遍接受伊斯兰教信仰,而当维吾尔人迁到内地之后,自然地渐渐同化于回回之中。
元、明以来,不少蒙古贵族及其士卒因接受伊斯兰教信仰而逐渐同化于回回之中。明代哈密地区的哈剌灰人,原是蒙古人,正德(1506~1521)以后由哈密迁到肃州,到万历年间已经不食猪肉,与回回同俗。这些习俗信仰都改变的民族,就被聚合在一起,统称为回族,这也是现代回族人的起源。