在宋代，这个词继续广泛使用。譬如《东京梦华录·民俗》记汴京市民，「其士农工商诸行百户衣装，各有本色。不敢做外。」故「街市行人，便认得是何色目。」《梦溪笔谈·卷十九》记郓州发掘出一甚大之铜弩机，其上刻文「臂师虞士，牙师张柔。」作者云：「史传无此色目人，不知何代物也。」《鹤林玉露·乙编卷之一》记经总钱：「军兴，议者再请施行，色目寝广，视宣和有期焉。以迄于今，为州县大患。」《铁围山丛谈·卷六》记建溪进贡之龙茶，有「北苑龙培」、「正格」、「龙培」、「密云龙」、「瑞云翔龙」等名目。「其后祐陵雅好尚，故大观初龙焙于岁贡色目外，乃进御苑玉芽、万岁龙牙。」《野老纪闻》载陈长方读史：「每看一传，先定此人是何色目人，或道义，或才德。」此皆其类。

《南部新书》：「大中以来，礼部放榜，岁取三人姓氏稀僻者，谓之『色目人』，亦谓之『榜花』。」《南部新书》所记，反映出早在宋朝初期以来，「色目人」已作为一个专名词出现，指的是姓氏生僻的所谓「杂姓」人物。

胡小鹏考察翻译过程中大量保留蒙古语的语法特征而形成所谓「蒙文直译体」文件，发现「色目人」是蒙古语「合里·亦儿坚」(qari irgen)的对译，在蒙古国前四汗（铁木真、窝阔台、贵由、蒙哥）时期，用蒙古语「qari irgen」指称蒙古国统治范围内除蒙古人之外的一切被征服或联合的对象。反映的是蒙古人我族与他者两分的族群认知。在汉地，该词被译写为「色目」。忽必烈至元以后，由于统治对象主要是汉地的汉语人群，需要将土著汉语人群与外来族群相区别，「合里」(色目)中遂排除了汉语人群，逐渐演化为西域诸国人的专称。在这一过程中，在原有的蒙古人对「合里」(色目)的他者认知之外，又产生了汉语人群对「色目」的他者认知。两种认知既有重迭，又有区别，蒙元中期以后，后一种认知成为了主流认知。

元末陶宗仪的《南村辍耕录》一书中记载色目31种：哈刺鲁、钦察、唐兀、阿速、秃八、康里、苦里鲁、刺乞歹、赤乞歹、畏吾兀、回回、乃蛮歹、阿儿浑、合鲁歹、火里刺、撒里哥、秃伯歹、雍古歹、蜜赤思、夯力、苦鲁丁、贵赤、匣刺鲁、秃鲁花、哈刺吉答歹、拙儿察歹、秃鲁八歹、火里刺、甘木鲁、彻儿哥、乞失迷儿。

据钱大昕《元史氏族表》探查，则有23种：畏兀、唐兀、康里、乃蛮、雍古、钦察、阿速、迦叶弥尔、宾夷、族颍、突甘斯、威木鲁、土波思乌斯藏摄族、回回、也里可温、木速蛮、合刺鲁、合鲁、阿鲁浑、尼波罗、板勒纥城、谷则干儿、伊吾庐。

近代屠寄《蒙兀儿史记·色目氏族表》考索有26种：乃蛮、合儿兀鲁、畏兀儿、唐兀、雍古惕、甘木鲁、赤乞歹、吐蕃、回回、也里可温、曲儿只歹、阿刺温、苔失蛮、火里刺、吐火里刺、乞失迷儿、尼波罗、康里、钦察、阿速、薛儿客速、密赤思、客剥儿、贵赤、秃鲁花。

张帆认为色目人的内部结构，显示出一种「模块」式结构，而非「圈层」式结构。称其为模块式结构，似乎与以往对色目人集团进行平面罗列的做法没有什么区别。例如陶宗仪列出色目31种，钱大昕列出23种，不就是31或23个模块吗？本质上确实差不多，但思路不尽相同。第一，构成色目人的诸多模块，大小悬殊，不宜同等看待。重要的是搞明白有哪些大模块，这样色目人的轮廓就显明了。第二，大模块以外的小模块十分细碎，数量难以落实，也没必要完全落实。「色目人到底一共有多少种人」这样的问题，是不会有答案的。第三，不宜把「回回人」简单视为色目人当中的一大模块，而应视为大模块的补充概念。

具体来说，蒙元时期色目人当中可以区分出十个大的模块，初始分布情况大致如图：

①乃蛮人，活动于漠北草原西部，是蒙元时期色目人中离蒙古人最近的，也是被蒙古最早征服的。蒙元后期，他们已经脱离了「色目」范畴，被视为蒙古人。

②汪古人，回鹘、沙陀等部族混杂形成的一个族群，主要活动于阴山北麓的漠南草原。

③西夏人，也称唐兀人或河西人，就是西夏国的遗民。西夏的统治者本来是党项人，但经过二百多年发展，在西夏似乎已经初步形成一种地域认同，以党项人为核心，吸纳了当地的汉人、吐蕃人等族群，成为蒙元时期的「西夏人」。

④吐蕃人，即藏族先民。蒙元时期进入内地的吐蕃人大多是僧侣。

⑤畏兀儿人，即高昌回鹘。回鹘人西迁后的一大分支，活动于以吐鲁番为中心的新疆中部偏北地区。在蒙元时期尚未伊斯兰化，主要信仰佛教，也有信仰景教的。

⑥哈刺鲁/阿儿浑人，这是两个毗邻的部族，都源于西突厥。哈刺鲁人就是唐代的葛逻禄，活动于巴尔喀什湖以南，阿儿浑人位置更西一些。两个部族的活动范围基本都在当今哈萨克斯坦境内，历史上称为「七河地区」，因为这一带有七条河流入巴尔喀什湖而得名。该地区位于天山西端，也被称为西部天山地区。

⑦花刺子模人，这是个地域人群概念，指花刺子模帝国统治下的中亚居民。花剌子模是一个古老的部族，主要活动于中亚西部、里海东侧。12世纪强大起来，建立了覆盖中亚、西亚的庞大帝国。它的中亚统治区域囊括了河中地区（阿姆河、锡尔河之间的平原地带）和费尔干纳盆地，包括当今土库曼斯坦、乌兹别克斯坦两国全部，以及塔吉克斯坦、吉尔吉斯斯坦、哈萨克斯坦、阿富汗的一部分。这里在古代是一个不折不扣的「民族大熔炉」，活动过许许多多的部族，很难给蒙古征服前夕的当地人找出一个准确的概括性名称。以往的研究大多把这里的人群称为「中亚突厥人」，这样的称谓有两个问题：一是这里虽然逐渐突厥化，但从人群成分上说并不能等同于突厥人；二是会与上面提到的哈刺鲁/阿儿浑人混淆。故此处称当时这里的人为「花剌子模人」。

⑧波斯人，西亚伊朗地区的主要部族。被蒙古征服前夕，大都处于花刺子模统治之下。

⑨阿拉伯人，阿拉伯半岛和北非的主体民族。被蒙古征服的阿拉伯人主要限于两河流域。不过有些阿拉伯人在唐宋时期就沿海路来到中国，居住在南方沿海城市。他们的后代，只要是保持伊斯兰教信仰的，在蒙元应该也属于色目人。

⑩康里/钦察/阿速人。这是三个大致毗邻的游牧部族，从东向西依次分布在咸海、里海以北直至顿河下游的草原上。族源十分古老，也比较复杂，共同特征是与突厥有关或逐渐突厥化。以骁勇善战著称，被蒙古征服后，大批人被编入军队，到东亚作战和镇守。

上面十大模块构成了蒙元时期色目人的主体，但并非全部。色目人的复杂性在于，还包括许多不太引人注意、规模相对较小的模块。比如斡罗思（俄罗斯）人、乞失迷儿（克什米尔）人、忻都（印度）人、术忽(犹太)人、拂秣（西亚西部边缘至欧洲）人、啰哩（吉普赛）人等等。对这些小模块很难全部梳理明白，只能大致描述。

剩下的问题主要就是回回人。回回人是蒙元时期色目人当中的重要组成部分，但却不在上面十大模块里，这是因为回回人作为一个概念，性质与以上提到的各种人群有所不同。以上提到的各种人群都是部族或地域概念，回回人却主要是文化或宗教概念：以上各种人群都是原生概念，在当地就存在，回回人则是次生概念，当地没有，是被汉人叫出来的。因此，应当把回回人作为色目人十大模块的补充概念。

从宋代到蒙元时期，「回回」概念的使用十分复杂且混乱，曾经单指喀喇汗王朝统治下的回鹘人，后来又逐渐扩大，一度扩大到泛指西域人（畏兀儿及其以西各部族），有时甚至可以作为色目人的代称。不过到蒙元中后期，基本形成了一个相对而言稳定的理解，那就是上面⑦花刺子模人、⑧波斯人、⑨阿拉伯人三部分，再加上塔里木盆地南侧的回鹘人。这些人籍贯分散，语言各异，是伊斯兰教信仰将他们纽结为一个文化共同体。

关于蒙元时期回回人这样一个庞大的人群组合，还需要补充说明以下三点：

1.塔里木盆地南侧的回鹘人，曾受喀喇汗王朝统治，已经伊斯兰化，过着定居生活，史料通常会以所在或临近城市定性他们的归属，比如称其为于阗或斡端（今和田）人、鸦儿看（今莎车）人、可失哈耳(今喀什)人等。或许可以把他们视为一个整体模块，但很难给出简明而精确的定义，因此，暂时还是当作一系列小模块看待。他们与畏兀儿人同为当今维吾尔族的祖先，不过在蒙元时期并不混淆。

2.蒙元时期回回人中，比重最大且最重要的是花刺子模人。当今所知一些蒙元时期最有名的回回人，比如牙老瓦赤、赛典赤、阿合马，都是花刺子模人。其次是波斯人，再其次是阿拉伯人以及塔里木盆地南侧回鹘人。中学历史教材提到蒙元时期的回回人，只说由波斯人、阿拉伯人组成，不提及花刺子模人，其实很不准确。但若要是提及花刺子模人，又得花费不少的笔墨介绍花刺子模这个生僻的概念，所以略而不谈。

3.上面十大模块中的⑥哈刺鲁/阿儿浑人，同样信仰伊斯兰教。但他们与来自分散定居社会的⑦⑧⑨模块等不同，是部落组织保持相对完好的游牧部族，因此长期维持部族认同。蒙元时期史料中提到「回回人」，除个别场合外，并不包括哈刺鲁/阿儿浑人。直到元亡后，留居汉地的哈刺鲁/阿儿浑人才汇入回回人行列。

《元史》卷5《世祖纪》载至元二年（1265年）二月：甲子，以蒙古人充各路达鲁花赤，汉人充总管，回回充同知，永为定制。

《元史》卷6《世祖纪》载至元五年（1268年）三月：罢诸路女直、契丹、汉人为达鲁花赤者，回回、畏兀、乃蛮、唐兀人仍旧。

《元史》卷13《世祖纪》载至元二十一年（1284年）八月：定拟军官格例，以河西、回回、畏兀儿等，依各官品充万户府达鲁花赤，同蒙古人。女直、契丹同汉人。若女直、契丹生西北不通汉语者，同蒙古人；女直生长汉地，同汉人。

以上诏令规定除了以蒙古人充达鲁花赤外，河西、回回、畏兀儿等也可充任达鲁花赤，箭内亘由汉人不能充任达鲁花赤，得出色目人的地位高于汉人的结论。

作为权镇一方的地方长官达鲁花赤，主要由蒙古人担任和少数与蒙古贵族有密切关系即有跟脚的色目人担任。蒙古、色目人不恩意赴任的极边远的蛮荒之地则由汉人南人去充任。在蒙元初期，由于政权尚未稳固，灭宋正在进行，为笼络汉族上层，有少量汉人、南人去充任达鲁花赤，而随着政权的巩固，蒙元政权确立了在全中国的统治后，汉人南人充任达鲁花赤的官员又被革罢。

至元七年(1270年)，达鲁花赤弟男承廕，蒙古回回畏吾儿乃蛮唐元等达鲁花赤应继之人，「总管达鲁花赤应合承袭之人于下州达鲁花赤内叙用散府诸州达鲁花赤应继之人于县达鲁花赤内叙用，外司县达鲁花赤应继之人难议定夺。」然而，据契丹女真汉儿达鲁花赤应继之人「拟同管民官体例承廕叙用」。至元二十五年（1288年），「湖广省言：『左、右江口溪洞蛮獠，置四总管府，统州、县、洞百六十，而所调官畏惮瘴疠，多不敢赴，请以汉人为达鲁花赤，军官为民职，杂土人用之。』就拟夹谷三合等七十四人以闻，从之」。大德八年(1304年)，投下达鲁花赤，江浙行省中书省咨：「今后各投下各枝儿黑说知选陈蒙古人委付者，汉儿女真契丹达达小名黑做达鲁花赤的都合革罢了有，…今后诸王驸马各投下各枝儿黑行与文书他每分拨到城黑委付达鲁花赤呵，选陈蒙古人呵，陈选有根脚的色目人委付者。」

蒙元重视族群等级和门第出身，实行族群等级制和根脚制，根据家世任用官员，世代荫袭，享受根脚制的家族都是蒙古人、色目人，极少有汉人。

1307年，至大改元诏书，「近为汉人南人军站民匠等户，…已自元贞元年为始分陈，今后除正当怯薛歹蒙古色目人外，毋得似前乱行投属」。

1311年，怯薛受官：「诏蒙古人降一等，色目人降二等，汉人降三等」。

1330年，分拣怯薛歹，中书省奏，节该：「各怯薛、各枝儿里，将无体例的汉人、蛮子并[高丽]人的奴婢等夹带着行呵，将各怯薛官、各枝儿头目每，大伍拾柒下。…不应行的汉人、蛮子、高丽人每的奴婢，并冒名数目等有呵，怯薛官、各枝儿头目尽数分拣出去」。

怯薛，作为蒙元皇帝的亲军，又是蒙元官员的重要来源，对于蒙元政府有着极大影响，但作为作为蒙元官员来源的怯薛却由蒙古、色目人来充任，汉人、南人不能充任怯薛歹，就阻止了汉人、南人进入仕途的一条极为重要的通道，此外，对于清除进入怯薛的汉人南人也有个变化的过程，蒙元早期有少数汉人、南人投充怯薛，后要求除正当的蒙古色目人外，汉人、南人不得乱投属，当时怯薛受官尚有汉人、南人。但到蒙元中期，汉人南人投充怯薛的就要分拣出去，并且若有汉人、南人投充到怯薛，怯薛官也要受到处罚。这一逐渐变化的过程，表明蒙古政权对汉人的不信任不断强化，同时也表明蒙元廷对官员控制力加强，以蒙古、色目人为主要依靠力量，对汉人南人的入仕源头进行控制。

1300年，中书省奏奉圣旨节该：「上位知识有根脚的蒙古人每子孙承廕父职兄职呵，皇帝识也者。色目比汉儿人高壹等定夺。诸色目人比汉人优壹等受廕。正蒙古人若上位知识根脚深重人员，取自圣裁」，高汉人一等定夺，以后升迁自然就比蒙古慢很多，参与政权的机会大大诚少。至于自万户至百户诸翼军官，「子弟承袭父兄之职者，…设立武举，并须习学兵法武艺。如蒙古、色目人，只试以武艺，如愿试兵法，中者升阶；汉人兼试兵法、武艺，中试者方许承袭」，汉人和南人军官子弟承荫，要比蒙古色目人测试的多，汉人南人军官承葫的机会就少了，汉人南人军官带兵机会相对减少，军权被牢牢控制在蒙古人手中。

1271年，「诏立京师蒙古国子学，…于随朝蒙古，汉人百官怯薛歹官员，选子弟俊秀者入学。」

1315年，「以所设生员百人，蒙古五十人，色目二十人，汉人三十人…元置蒙古二十人，汉人三十人。」

1297年，设国子监，「生员二十人，蒙古汉人各半。」

1304年，「始定国子生，蒙古、色目、汉人三岁各贡一人。」

1306年，「国子学定蒙古、色目、汉人生员二百人，三年各贡二人。」

1311年，「复立国子学，讨贡法，蒙古授官六品，色目正七品，汉人从七品。试蒙古生之法，宜从宽，色目生稍加密，汉人则全科场之制。」

也有汉人对此提出异议，如监察御史韩元善言：「请凡蒙古、色目、汉人，不限员额，皆的入学」。但这一主张并未被采纳。国子学内「汉人生员，二年不能通一经，及不肯笃勤者，勒令出学」。

1342年，国子生员「十有八人。蒙古人六名，从六品出身；色目人六名，正七品出身；汉人、南人共六名，从七品出身。」

1348年，四月「除列取是十八人外，今后再取副榜二十人，于内蒙古、色目各四名，前二名充司钥，下二名充待仪舍人。汉人取一十二人，前三名充学正、司乐，次四名充学录，典籍管勾，以下五名充舍人」。

1366年，关于国子生员的规定亦重申。

国子学作为官员来源的重要途径，蒙元国子学以蒙古人为主，汉人只占少数，出任官职者，蒙古、色目、汉人南人各占三分之一，国子生中汉人南人所占份额与当时汉族占全国人口的比重极不对称，而蒙古、色目国子生却以少数人口在国子学中占三分之二的份额。

国子生员任官品级，汉人南人也比蒙古色目人要低，这就延缓了汉人南人官员的升迁时间，相应的汉人南人到达更高职务管理国家事务的机会也就减少了。对于出任官制的国子生，出任者考试，汉人南人也比蒙古色目人严格得多。蒙元后期，国子生员数量虽有所增加，但此时武装反元斗争也此起彼伏，蒙元政权处在分崩瓦解前夜，此时试图以入仕为官拉拢汉族上层，但已经晚了。

1269年，诏日：「凡文书皆用汉字及畏兀字，…凡玺书须发，并用蒙古新字，仍以汉字副之」「诸内外百司五品以上表章，并以蒙古字书，毋敢不敬，仍以汉字书其副」。也有人提出文字全用汉字的，如1285年，「中庶子巴拜以其子阿巴齐入见，论之以『毋读蒙古书，须习汉人文字』」，但未被采纳。

1292年，「敕用蒙古语谕河南官吏，用汉语渝江浙官吏，着为令」，北方蒙古官员较多，南方汉族官员较多。

1295年，「札鲁忽赤文移旧用国语，敕改从汉字」。

1337年，诏：「禁汉人、南人不得习学蒙古、色目文字」。

文字上，由于蒙古族为一等人，蒙古人充任各级地方长官。因此，颁发的公文要让蒙古族官员读懂，色目人是蒙古政权的最重要的结盟者，自然要有畏兀儿字公文，只是因为汉人南人又是占人口大多数的族群，汉语公文才不得不必备。

汉人南人实行不同于蒙古色目人的赋税制度，窝阔台初年「敕蒙古民有马者输牝马一，牛百者输牸牛一，羊百者输粉羊一，为永制。…命河北汉民以户计，出赋调，耶律楚材主之；西域人以丁计，出赋调，麻合没的滑剌西迷主之」。1286年，「括诸路马，凡色目人有马者三取其二，汉民悉入官，敢匿互市者罪之。」1296年，诏：「民间马牛羊，百取其一，羊不满百者亦取之，唯色目人及数乃取」。

汉人南人的马牛羊牲畜被蒙古人随意榨取以满足蒙古人的需求，马牛作为生产的重要工具，被蒙元政权榨走，很大程度上影响了农耕区的经济社会发展，而对色目人的征收则是留有余地。

在差役方面，汉人南人去服差役，而蒙古色目人高高在上不用服差役，后来才禁止，要求蒙古色目人和南人一起服差役。

1324年，均当杂泛差役，工部议得：「黄河两岸地面，蒙古、色目、汉人相间置庄居处，凡遇水发，均被其害。修堵之际，差倩人夫，其本管官司，…止令汉人、军人、站赤出备工物修理，不惟赋役不均，实恐一时人力不及，水害非轻。拟于附近河岸去处，不以是何户内，与民一体均科修筑，庶无偏负。拘该有司，毋得因而动扰违错。都省准拟」。

蒙元时期，对汉人南人在兵制上是严密防范的，防止汉人南人放抗蒙元统治。因此不断加强蒙古人的军事力量，色目人作为蒙古人统治的帮手，军事上也得到了相应的强化，对于汉人南人则是尽最大程度的弱化以致消除其军事力量，使其失去反抗元廷统治的能力。

因此，形成了作为统治民族的军事力量不断加强，和作为被统治民族的军事力量的极力弱化相反发展的态势。作为限制和防范对象的汉人南人并不甘于元廷的民族歧视和压迫，不断反抗元的统治。从元建立到灭亡，各种形式的武装反抗不断出现，元廷不得不时时提出针对汉人南人的军事上的各种禁令，各种矛盾不断激化。

1279年，禁断军器弓箭，御史札付奉中书省札付，「商议的汉儿人里头拿着弓箭的严行治罪的文书行么道商量来除侧近有的武术军外…汉军每出军把军器者回来将军器每置库纳者奥鲁里来有的军器休教拿」。1282年，申严汉人军械之禁。1284年，「探马赤军人内执把弓箭之人，多系汉儿人，今后凡带弓箭执把军器之人出给执照易为盘问等…除蒙古探马赤军人外，上司许令悬带弓箭，严诣本管上司告给执照悬带，及行移河南等路宣慰司严切禁约汉军人等不许悬带弓箭军器。」1285年，「达鲁花赤提调军器库，枢密院准中书省札付，达鲁花赤畏吾儿、回回、色目官人每依例提调管者，交蒙古军每看守者，汉儿蛮子官人每根底休教管者不中使不中用底交毁了呵…汉儿弓箭每根底交与探马赤每呵，不中汉儿蛮子官人每休交管者弓根底恐怕坏了，么道呵蒙古每根底与者，各路里蒙古军官每也有者，那底每就便纳入库里提调者，没蒙古军官城子里交达鲁花赤畏吾儿、回回、色目官人收拾入库里提调者。」

1286年，拘收弓手军器，江西行省据州府路申「各路弓手置备器仗拘收其弓手俱系新附之人，…新附弓手若有已前置到器仗责令各处簿廷巡检尽数拘收置库收贮过有盗贼生发斟配缓急逐旋关拨追捕事毕却行还库让那仍令本处达鲁花赤提调施行」。1286年，拘收古朵刀子，湖广行省准中书省咨，「汉儿民户根底帖尺古朵又带刀子拄捧寻出来了么道交觑呵安童根底说了交行文书疾忙拘收者道圣旨了也钦此」。1287年，尚书省河东山西道宣慰司呈：「西京、太原、太和岭等处把隘军人，将弓箭军器拘收，合许执把闷棍巡防勾当。仍令本管色目人员常切钤束，不致生事违错」。

1287年，尚书省奏：「江西行省官人每与将文书来，吉、赣等地面多乱，路州县弓手之弓箭，城子里的达鲁花赤、达达、畏吾儿、回回官人每教管者。若收捕贼的勾当有可，巡军根底教把弓箭，无勾当时拘收了库里放？呵」。禁递错铁尺手枪，1287年中书省咨，「汉儿民户每根底铁尺古朵又带刀子柱棒交行文书疾忙拘收者刑部议得急递铺兵铁尺手第既系汉儿人氏拟合拘收都省准呈咨请合属拘收施行」。

1304年，诏：「内郡，江南人，凡为盗黥，三次者，谪戍辽阳；诸色人及高丽三次，免黥，谪戍湖广」。「江西行省准中书省咨，…色目人骨头的润端赤每根底不刺，高丽汉儿蛮子调端赤每根底刺字。」1307年，流远出军地面，「除汉儿高丽蛮子人外，俱系色目人，有合出军的贼根底不刺，断交出军…汉儿蛮子人申解辽阳省发付大帖木儿出军，色目高丽人申解湖广省发付二拨都出军交出军去了」。

犯盗贼者，汉人南人刺字，蒙古人不刺字，而色目人刺字经历了一个变化，开始不刺字，但后来对色目人亦刺字，蒙古人则高高在上享受特权。1312年，「御史台咨，除出正蒙古之人外，其余色目汉人诸人不以是何职役但犯强窃到贼者俱各一体刺断…除蒙古人并妇人免刺，其余人员依例刺字，岁会诏赦释免亦合一体刺字」。

蒙古元廷法令视汉人南人生命如草芥。1272年，中书省钦奉圣旨：「听得汉儿人每多有聚集人众达达人每根底开打有。…您每严加禁约者。」「蒙古人札死汉人，五十七下，征烧埋银。汉儿人殴死蒙古人，处死，断付正犯人家产余并征烧埋银」。1283年，中书省兵部奉中书省札付：「如蒙古人殴打汉儿人，不得还报，指立证见，于所在官司陈诉。如有违犯之人，严行断罪」。汉人南人的生命被任意践踏。

对于蒙古色目人犯罪管理机构不同于汉人南人。「大宗正府，国初未有管制，首置断事官，曰札鲁忽赤，会决庶务。凡诸王驸马投下蒙古、色目人等，应犯一切公事，及汉人奸盗诈伪，蛊毒厌魅，诱掠逃驱，轻重罪囚，及边远出征官吏，每岁从驾分司上都存留住冬诸事，悉掌之。」1265年，「止理蒙古公事」。…1312年，「以汉人刑名归刑部。」…1328年，「以上都、大都所属蒙古人并怯薛军站色目与汉人相犯者，归宗正府处断，其余路府州县、汉人、蒙古人、色目词讼，悉归有司刑部掌管。」1334年三月，诏：「蒙古、色目犯奸盗诈伪之罪者，隶宗正府；汉人、南人犯者，属有司」。

管理蒙古色目人与管理汉人南人刑事事件的机构不同，蒙古色目人犯罪就可以逃脱法律的追究，而汉人南人却要受到比蒙古色目人更为严厉的惩罚。

在根脚制中，虽然高门贵族子弟可以荫袭父职，而其他子弟就需寻找其他途径入仕，如就读国子监和应试科举。蒙元时期的科举也极为偏袒蒙古、色目人，使之在科举中占尽优势。蒙元时期科举是不同族群等级的人分开考试，蒙古人和色目人是考两场，汉人和南人要考三场。蒙古人、色目人应试内容较易，汉人、南人较难。蒙古人、色目人列一榜叫「右榜」；汉人、南人另列一榜，叫「左榜」，录取名额各五十人，但是科举取士人数与各族群人口基数严重不平等，十三世纪初，蒙古人三四十万，色目人三四十万，汉人、南人多达六千万，人口基数和读书人口的比例相差悬殊，但录取名额却是一样的，汉人、南人是千军万马过独木桥，而且蒙古、色目人的考试内容也比汉人、南人容易得多。在蒙元的户数统计中，蒙古、色目仅占3%，南人占82%，但是南人官员仅占官员总数的10.2%。

在蒙元时期社会的各个方面，色目人都享有特权，迁居中原的色目人，虽然学习诸多汉文化，但他们不愿意改变族群认同进而导致特权的丧失。蒙元时期进士数量甚少，而在元末为蒙元政权死节者中，色目进士比例尤其高，以畏兀儿数量最多，西夏遗民次之，回回再次。

究其原因，在蒙元时期，畏兀儿、唐兀、吐蕃、回回等成为蒙古人倚重的对象，在蒙古人的征服战争和治国理政的过程中功劳卓著，因而也获得了仅次于蒙古人的社会地位，其中畏兀儿最为倚重，成为族群等级制的受惠者。1209年高昌畏兀儿亦都护巴而术·阿而忒·的斤归降铁木真，被铁木真封为第五子，并下嫁公主。归顺后的畏兀儿人跟随成吉思汗及其子孙西征中亚，亡金灭宋，立下赫赫战功。畏兀儿人的战绩不仅局限于攻城略地，他们以较高的文化素养成功扮演了蒙古人文化导师的角色。塔塔统阿以回鹘文字母为基础创制蒙古文字，改变了蒙古人「以木契」记事，「使命往反，必以口授」等传统而落后的传递信息方式，畏兀儿人以长于语言文化和经商的优势，在经济、文化、政治等方面成为了蒙古统治者的得力助手。

与畏兀儿的自觉归顺不同，唐兀人（西夏）在被征服的过程中殊死抵抗，所以在大蒙古国时期唐兀人的政治地位一直较低，直到忽必烈称汗以后，西夏遗民的政治地位才得到大的改善，「从民族阶梯的最底层一跃而登上仅次于蒙古人的第二阶层之中，它获得了与回回、畏兀儿等色目种类同样平等的政治待遇」。如同畏兀儿、吐蕃、回回一样，西夏遗民成为蒙元政权统治的重要支柱之一，也成为蒙元社会的既得利益者。据统计，蒙元见于记载的西夏遗民有400余人，其中大多为官员，如李恒、迈里古思、丑闾、昂吉儿、完泽、明安达尔、观音奴、纳麟等，还有西夏国时期就以儒学著称的斡玉伦徒家族、高智耀家族、王翰家族和余阙家族等。色目高门家族世代继袭爵位，获得了众多利益，故而发自内心地忠于蒙古王朝。如王翰本为东迁中原的第四代西夏遗民，1227年，西夏亡于蒙古，其高祖迁徙山东，其曾祖跟随西夏名将昂吉南侵江淮，因军功而被授予武德将军，领兵千户，镇抚庐州（今安徽合肥），王家遂定居庐州，自祖父始三代世袭爵位。王翰十六岁世袭爵位，任庐州路治中，后到福建任福州路治中，接着升任同知、理问官，管理永福、罗源两县事务，之后再升任朝列大夫、江西福建行省郎中。元末战争中，王翰在广东、福建等地积极组织力量顽抗明军，保卫蒙元政权。洪武十年（1377年），46岁的王翰拒绝出仕明朝，自杀明志。

蒙元政权是色目人享受特权的温床，色目人与蒙元政权可谓命运相连、休戚与共。以科举进士为代表的色目士人与元朝政权形成「命运共同体」，在元朝政权风雨飘摇之时，他们以死报国，形成了历史上罕见的色目仕宦死节现象。