部氏祖先原本是日本古代豪族之一秦氏的后裔,而秦氏则是自中国吴国渡海过来的移民。秦氏不但传授纺织技术给日本人,更在日本各地展开新乐公演,令日本人大开眼界。所谓新乐,是3世纪末到4世纪初,在中国非常发达的一种大众艺能,内容包含歌舞、杂技、力技、魔术、偶人剧、口技,以及训练犬、猴子、鸟等小动物表演节目的大众娱乐。据说是融合西藏艺能与中国艺能的新型技艺。
秦氏集团当时主要在中国南部都市与寺庙巡回演出,日后组织逐渐膨胀,分散到中国各地。其中之二、三个乐团,为了寻求新天地,渡海到日本来。日本和服的传统称呼是吴服,语源正是取自秦氏出身的吴国。