倒推看，虞世南的祖先是会稽余姚一脉，这一脉是两汉交替之际从河南迁徙而来，可能是古矢国一脉，秦国虞香的后人。
余姚虞氏
虞世南在《旧唐书》中记载，是越州余姚（今浙江慈溪）人。祖父虞检是魏晋南北朝时期的人，在萧梁曾任官；父亲虞荔也是这个阶段的人，在陈朝做过官。
再往上推，在《陈书·虞荔传》记载，虞荔是会稽余姚人也。祖父是虞权，在萧梁任过廷尉、永嘉太守一职。
也就是说虞世南的父辈是会稽余姚的虞氏。而会稽虞氏是六朝时期江东世家大族，为会稽郡的四大姓之一，自两汉之际，向南边迁徙会稽余姚（今浙江余姚），比较出名的是三国东吴的虞翻，原本是会稽太守王朗部下，又投奔了孙策，在东吴任职，后来被流放到交州。
这里面迁徙到会稽余姚后定居的应该是虞翻的两个儿子——虞光和虞国两兄弟，这个是在郦道元的《水经注》中记载，头条小王看到他引用了阚駰《十三州志》说法，虞翻登绪山时，告诫子孙如果居住江北，世代都有高官厚禄，居住江南则不会昌盛，这里是风水之说。
这里的“绪山”也就是余姚的龙泉山，后面就写到“江水又经官仓，仓即日南太守虞国旧宅，号曰西虞，以其兄光居县东故也。”虞国就住在了龙泉山南，虞光就住在了余姚县的东边。
不过这虞光、虞国两兄弟，头条小王倒是在《三国志》里没见，里面虞翻11个儿子记录了4个；在网上的贵阳虞氏谱系也没见，里面虞翻11个儿子记录了10个，存疑仅供参考。
迁徙前的虞氏
既然是迁徙到会稽余姚的，那迁徙前在哪？在河南。
当时西汉灭亡、王莽乱政，发生了绿林军农民起义，虞氏家族因为距离政治统治中心很近的中原河南，为了躲避战乱，保全族人，虞氏一支迁徙来到江南，在余姚定居。
为什么说一支，因为目前看到的虞姓的望郡有三个地方，分别是济阳郡（今河南兰考）、会稽郡（今浙江余姚）、陈留郡（今河南开封），而且像湖北虞氏都有十个分支。加上虞氏一脉在东汉之际，出了虞经（一代）——虞诩（三代）——虞凯、虞恭（四代）的名人，他们的居住地是陈国武平县（今河南周口武平）人 。
而迁徙来的这一支，在唐朝《元和姓纂》记载，是秦朝虞香的后代。“香十四代孙意，自东郡徒余姚”，虞香的十四代子孙虞意，在两汉交替时从兖州东郡（今河南濮阳一带）迁徙到了余姚。
至于秦国虞香何人？找不到记载，下面头条小王只能推测一下。
虞姓来源
再往上追，就到了商均、虞仲或者古矢国了。
前面说的《元和姓纂》，还记载了，“虞有天下，号曰虞，子商均因以为氏。又武王封虞仲于河东，亦为虞氏。”
商均一脉
这里的商均，是舜的长子，为尧帝二女儿女英所生，初名义均。义均因为禹继承了舜的位置，被禹封为有虞氏部落为国君。根据《括地志》记载，封地是虞城县（今河南商丘），义均袭其父虞舜国号，称虞国，这个是夏朝的虞国，和周朝的虞国是两回事。
由于当时有虞氏部落归属于商部落，也就是商朝的祖先，所以后世也称为“商均”。这个国的后裔子孙，开始多以国名“虞”作为自己的姓氏。
虞仲一脉
而后面的武王封虞仲应该是取自《史记·吴太伯世家》记载，周武王打败了殷商后，封了吴国第五位君主周章的弟弟虞仲，在周朝的北部，建立了诸侯国虞国，也就是周朝的虞国，封地在夏墟（今河南安阳）。
史书上有两个虞仲，前一个虞仲名为仲雍，就是周章的先祖；后一个可能是因为周章的弟弟是虞国的首位受封君主，排行第二，封在虞国，所以也称为虞仲，这个还是前一个的曾孙，小王觉得这个是真的绕，不过这一脉是姬姓。
后来有个成语“唇亡齿寒”，讲的是晋国假借虞国的道路灭了虢国，回来时顺手灭了虞国，虞国的人民遂以国名为姓氏，称虞氏，以念亡国之痛。
可以看到商均、虞仲两脉都在河南地区。
古矢国一脉
这个是商王朝时期的古老诸侯国，是姜姓，今陕西周至县一带。 因支持周武王伐纣，故而在西周初期仍被封为诸侯国。
后来矢国被秦国灭亡后，后裔子孙及国人成为秦国之民，其中多有以故国居地为姓氏者，称虞氏。而原先的矢国的地盘也成了秦国的土地，时间上大概是公元前10世纪到前8世纪之间。小王推测秦国虞香可能是这一脉的，毕竟记录的不是秦朝、是秦国，秦朝是公元前221年建立。
所以说，虞世南祖先的会稽余姚一支，是从河南迁徙过来的应该问题不大，按记载的说法是古矢国的姜姓一脉，然后被秦国所灭，虞世南的先祖虞香成了秦国人，十四代子孙虞意在兖州东郡居住，后来为了避开王莽之乱迁徙到了余姚，他的第六代子孙是东吴虞翻。虞翻在余姚把家族发扬光大，子孙在余姚定居，虞翻的第三代子孙是虞骧，虞骧的第七代子孙是虞荔，虞荔生了虞世南。
