中国回回医学的发展，相伴于中阿医药交流。中阿医药交流历史源远流长，最早可追溯到西汉。当时张骞两次出使西域后，中国与西域之交流日益频繁，据史料记载张骞曾到达大宛（即今之中亚费尔干纳）、大月氏（即今之阿富汗北部）、大夏（即今之阿姆河南）、康居（即今之中亚撒马尔罕）等国，并从大月氏经安息（即今之伊朗）直抵大秦（即今之罗马）。张骞的副使曾达身毒国（即今之印度北、盂加拉、巴基斯坦一带）及??宾（即今之克什米尔及巴基斯坦北部），经此路输入中国的物品中有不少药物，据范行准先生统计：矿物药如石硫黄、密陀僧等凡18种，植物药如木香、豆蔻等凡58种，动物药羚羊角及龙涎等凡16种，共计92种。其中相当一部分是阿拉伯地区的药物。这些药物均被当时汉医吸收和应用。
虽然早在西汉时期张骞、甘英先后通使西域，但阿拉伯与中国的正式友好往来则始于唐代，医药方面也兴于此时。
公元651年，第三任哈里发欧斯曼使节于8月25日到达中国长安，进见唐皇，搭起了中阿友谊的桥梁。自此以后阿拉伯等穆斯林主要沿水旱两路往来于中阿之间，水路由波斯湾到马尔纳湾。经盂加拉湾抵马六甲海峡至我国南海达广州、泉州、杭州，再转至长安；陆路则经波斯、阿富汗到新疆天山南北，最后达唐都长安。比较而言，穆斯林经水路达中国的时间要比陆路早100年。从唐永徽二年到唐贞元十五年的148年中，阿拉伯遣唐使多达36次。当时唐人称阿拉伯人为大食（Taz或Tazih的译音）人。唐安史之乱，大食应中国之请求，派精兵支援唐王朝，后一些阿拉伯人即定居中国。据史料记载，在安史之乱到长安有更多大食人，其中大部分长期居住在“西市”一带，从事“回回”奇香异药经营。由于盛唐五代时期，阿拉伯与中国的关系最深的是商业贸易，医药方面则是香药进口，有时一处经营香药珠宝者甚至达一二十万人，单香药贸易有时竟达千斤之多，如此大大丰富了中药品种。到唐末五代时，最负盛名的回回医药家李珣，人称李波斯。他著有一本独具风格的药学著作《海药本草》，顾名思义，该书之所以用“海药”命名，是因其所收录的药物多来自海外。该书为总结唐末时南方药物与海外药物临床应用的本草学著作，有较高的文献学价值。另外还有郑虔的《胡本草》及非医药学书籍《西阳杂俎》等也记载了许多外来药物，包括阿拉伯药物。
在唐代不仅有香药输入中国，与之同时一些医疗技术也传入中国，如在《千金翼方养性》中所记载的“悖散汤”（又名牛乳补虚破气方），本为波斯、大秦医方，曾在朝野间广为流传，对治疗气痢、一切气病、健运脾胃其效甚佳。从唐代开始，回回先民对香药推广应用颇多贡献，如用香药防治疾病、薰洗衣物、化妆美容、调味食品、祛邪防腐等。同时中国穆斯林研究介绍了大量阿拉伯世界文化成就如数学、天文历法等，而中国的造纸术、针灸学、脉学、炼丹术、临床科学经验也源源不断地输入阿拉伯国家，特别是造纸术辗转外传，给欧洲中世纪文明以很大促进。因此早期的回回先民为中外文化的交流做出了重大贡献，尤其在未有空间传播科技的时代，堪称丰功伟绩。