书中，万兽山庄的主人是史家五兄弟，分别是大哥白额山君史伯威、二哥管见子史仲猛、三哥青甲狮王史叔刚、四哥大力神史季强和最小的兄弟八手仙猿史少捷。
五兄弟承继祖业，驯兽为生，从猛兽身上领悟武功法门。几兄弟之中，青甲狮王史叔刚曾有奇遇，习得上乘内功，后来教导其他兄弟练习。有了内功加持，几人的功夫是越来越好，家业闯得越来越大，声名远播，在西凉彻底扎下根基。武林中人根据几人善于驱使的野兽，给他们取了个总外号，叫做“虎豹狮象猿”。
说起杨过与史家五兄弟的结识，不得不提到另外一拨人，叫做西山一窟鬼的。
西山一窟鬼，顾名思义，是在西山一带活动的，一群以“鬼”为号的江湖人。一门十鬼，乃是异姓兄弟姐妹，有长须鬼、大头鬼、煞神鬼、无常鬼、丧门鬼、笑脸鬼、催命鬼、吊死鬼、俏鬼和讨债鬼。
那是在杨过等待小龙女归来的时候，杨过因为自身际遇，最见不得三心二意的负心薄幸之人。也是凑巧，某天活动时，碰到了煞神鬼家中妻妾龃龉，听到其中一个小妾满腹委屈，大怒之下，削了煞神鬼的耳朵，因而与西山一窟鬼结下了梁子，约下比斗。
十鬼兄弟情深，自然不能袖手旁观，于某一晚赶赴倒马坪共斗神雕侠，要为兄弟出气。
无巧不成书，十鬼赶赴途中，碰上了万兽山庄活动，双方僵持不让之际，阻碍了史家五兄弟捕捉九尾灵狐。
原来，青甲狮王史叔刚为霍都所伤，需要灵狐之血方可救治。然而，眼看灵狐唾手可得，却被西山一窟鬼搅了好事，救命的狐狸逃了，史叔刚命在旦夕，其他几个兄弟怎能不怒？当即与十鬼起了争执。
就在双方打得不可开交之际，久等十鬼的杨过寻了过来，以绝强武功将双方镇压，了解了情况后，出头为史家兄弟求取灵狐，经过这么一遭，与史家兄弟和西山一窟鬼有了交情。
不过，在这个没有龙女，只有龙的世界里，龙没有重伤、中毒，朝不保夕，杨过也没有断臂，中毒，无须为了救命良药奔波劳苦。龙与杨过已然情投意合，过起了焦不离孟，孟不离焦的甜蜜生活。因此，杨过没有机会体味十六年相思之苦，也就不会随便插手他人家事，不会与西山一窟鬼有关系。兼之，先前襄阳一战之中，霍都已经被欧阳锋打死了，更不会有机会伤了史叔刚，因此，万兽山庄也就不会离开西凉进驻中原捕捉九尾灵狐。
龙思及这些，想到此地本就是万兽山庄的地界，与史家兄弟碰面很是
…。。