韦正矩的父亲韦庆嗣即这一支的承嫡者,隋炀帝时出任齐王杨暕的幕僚。
隋炀帝杨广虽然一生风流多情,宠妃无数,但早年为了讨好母亲独孤皇后,庶出的儿子都不敢养下来,以致子嗣不丰。杨暕说起来是隋炀帝膝下仅有的三个儿子之一,还是萧后所生,但一直不得宠爱,甚至屡屡被父亲猜忌、提防,连打猎打得比父亲好都能被记恨上。在这样的情况下,杨暕的日子有多难过可想而知。直到元德太子杨昭因为过于肥胖病死了,杨暕作为次子这才捞到了喘口气的机会。
隋炀帝就算再不喜欢这个儿子,也不得不开始给他正儿八经地选些官员辅佐了。韦庆嗣便是这个时候被选为了齐王府的官员。只不过韦庆嗣在齐王府也没有待很久,因为杨暕忌惮哥哥留下了三个儿子,而自己又迟迟未被立为太子,开始“阴挟左道,为厌胜之事”,事发后自然没有好果子吃。隋炀帝大怒之下,杀了一批王府官员,又贬黜了另一批,韦庆嗣不幸就是被贬的一员。