《清朝文献通考》中就说："自明初绍兴有"惰民"，靖难后诸臣有抗命者子女多发山西为"乐户"，数百年来相沿未革。一旦去籍为良，令下之日，人皆流涕。"
乐人、乐工、乐户，在现代人眼中都是艺术家，但在中国古代却不过是些贱民。隋代著名乐工万宝常，是因为父亲谋反，才被编入乐籍的。而一旦编入乐籍，就失去人身自由，成了贱民阶层，后代必须世袭奴隶的身份。当官居高位、声名显赫者由于政治的原因而获罪的时候，最高统治者对他们的惩罚，就是将他们的妻女籍没为"乐户"，从事以声色娱人的低贱职业。
　　高尚的音乐，在古代竟成了一种政治惩罚的严酷手段，这是现代人无论如何想不到的。
　　就全国范围而言，"山西乐户"无疑是历史最长、影响最大的一种特殊人群。如果从有确凿记载的北朝算起，到清代末年为止，"山西乐户"的历史不间断地延续了将近一千五百年！据说，直到清代雍正元年，才有开明的官员向皇上启奏，认为把官宦之后籍没为"乐户"，是有失仁慈的，请求给予赦免。雍正皇帝看来很有些同情心，他决心革除"山西乐户"的贱民身份。据《世宗圣》卷六载，当时雍正下旨说：
　　朕以移风易俗为心，凡习俗相沿，不能振发者，咸与以自新之路，如山西之乐户、浙江之惰民，皆除其贱籍，使为良民，所以厉廉耻、广风化也。
　　关于这件事，俞正燮《癸巳类稿》卷十二引《皇朝通志》云：
　　雍正元年，时山西省有曰"乐籍"，浙江绍兴府有曰"惰民"，江南徽州府有曰"伴当"，宁国府有曰"世仆"，苏州之常熟、昭文二县有曰"丐户"，广东省有曰"蜑户"者，该地方视为卑贱之流，不得与齐民同列甲户。上甚悯之，俱令削除其籍，与编氓同列。而江西、浙江、福建又有所谓"棚民"，广东有所谓"寮民"，亦照保甲之法，按户编查。
　　雍正帝的谕旨一出，山西和浙江等地的官员表面上都立即执行，命令"乐户"和"惰民"们马上改行。相沿千百年的陋制，本来似乎是天经地义般的不可动摇，如今一旦去籍成为良民，"乐户"和"惰民"们怎不感激皇恩浩荡？一时间，贱民们真是感激涕零。《清朝文献通考》中就说："自明初绍兴有"惰民"，靖难后诸臣有抗命者子女多发山西为"乐户"，数百年来相沿未革。一旦去籍为良，令下之日，人皆流涕。"
　　但是，在雍正的时代，在达官显贵们的既得利益受到触动的情况下，要彻底消除乐籍、解放贱民，并不那么容易。从历史事实来看，雍正的谕旨在各地并没有得到真正的实施。在雍正元年下旨废除贱籍之后，雍正五年又下过同样的谕旨--仅此就可见解放贱民的难度之大。否则，同样的谕旨为何要下两次呢？
　　究其原因，关键在于官府和社会都对 "乐户" 这一群体有相当大的需求--典礼、宴会、庙会、节日，似乎都离不开"乐户"的点缀，"惰民"的奔走。
　　山西是"乐户"的主要发源地。历史上的"乐户"，总是集中在以京师为中心向外一千五百里的区域范围内。山西就一直在这个范围内。北魏时期，曾以平城即山西大同为京城，那时的情况自不必说。其后，唐朝都长安，宋朝都汴梁，元、明、清三朝都北京，山西均在这个区域范围之内，是历代"乐户"的重要出产地与聚居地。而明代的统治者，在差不多两百年中将全国的犯罪官吏不分南北都发配至山西，更使山西成了新"乐户"源源不断得到补充的地方。在山西，有十几代甚至几十代做"乐户"的人家，以至今天在那里也不难找到"乐户"的孑遗。这种情况，在全国可以说是极其罕见的。
　　山西是北魏时的中心区域，并州、恒州、肆州、朔州、汾州均为当时政治经济重镇。后来，山西归北朝的齐国所辖，是北朝的腹心地带。隋朝统一中国，将周、齐、梁、陈的乐人全部纳入宫中，说明齐地原来就有"乐户"。可以说，在"乐籍"制度形成之初，山西就是这种制度的重要实施之地。