所谓的“越人”，是西汉时期中原王朝对生活在百越地区古越人的称呼。《汉书》中有载：“自交趾至会稽七八千里，百越杂处，各有种姓”。让人疑惑的是，在一般人的印象中，这一地区多沟壑险阻，似乎并不适合骑兵的奔突和腾跃。事实上，就连许多古人都对所谓“越人”有一种天然的轻视，认为当地“不宜牛马”，越人更是“绵力薄材，不能陆战”。

也正是因为这种印象的存在，不少人对《汉书》中所描述的“越骑”之说一直有所怀疑，这种感觉，就好像今天的人们突然看到“蒙古国海军司令”这样的称呼一样，充满了荒谬感和错位感。一些人据此认为，所谓的“越骑”，似乎不应该解释为越人骑兵，而是“材力超越众人之骑”，也就是由精锐士兵组成的骑兵部队。可是，这样的猜想并不符合逻辑。

《汉书》关于越骑的记载，最早见于武帝创立八校尉部队。这八校尉中，既有承担对禁军第三序列的北军担负监察职责的中垒校尉，也有如射声、虎贲、步兵校尉这样分别负责射手、车兵、步兵部队的军事军官。至于剩余四校尉：长水、胡骑、越骑、屯骑都是骑兵部队的校尉，和名称相对应的，他们负责训练、统领长水羌人、匈奴、越人、北地边民四种不同兵源的骑兵，从这种一一对应的关系来看，汉武帝所立八校尉，除了军事职能外，还担负着一定行政职能作用。

八校尉编制下的各军，本就是西汉帝国经过层层选拔后的精锐，因此，把“越骑”强行解释为一种经过再次挑选选拔而来的“材力超越”者，实在是有些勉强。相反，越人骑兵的说法才更加符合常理。

从武帝八校尉的设立来分析，越骑与长水羌骑、胡骑、屯骑能同为骑兵校尉编制，意味着在当时看来，越骑部队的战斗力即使比不过三者，但起码也是水准之上的骑兵部队。不要小瞧这三支骑兵部队，如长水羌骑，曾经是西汉关陇西线战场的重要军力来源，如西汉的公孙家族，就是长水羌族人，像公孙敖、公孙贺都是西汉时期曾经屡立战功的宿将，虽不如卫霍这样的当时名将，但也决不可小觑。而胡骑就更不用说了，汉代所谓的“胡人”并非对游牧民族的泛指，而是单单用来指代自己的宿敌匈奴，胡骑校尉顾名思义，所统领的就是归化汉朝的匈奴部落骑兵，这些“上山下阪，出入溪涧”的匈奴骑兵，在骑术上的造诣，曾经让整个汉王朝都头痛不已。