郭芙笑道：“你倒识得我。”唰唰连出两剑，均是刺向她胸腹之间的要害。李莫愁举拂尘挡开，心道：“小女孩儿好骄横，凭你这点儿微末本领，竟也敢来向我无礼，若不是忌惮你爹娘，就有十个也一起毙了。”拂尘回转，正想夺下她长剑，突然两胁间风声飒然，武氏兄弟两柄长剑同时指到。他哥儿俩和郭芙的武艺都是郭靖一手亲传，三人在桃花岛上朝夕共处，练的是同样剑法。三人剑招配合得紧密无比，此退彼进，彼上此落，虽非什么阵法，但三柄剑使将开来，互相照应，声势也颇不弱。
三人二雕连环搏击，将李莫愁围在垓心。若凭他三人真实本领，时刻稍长，李莫愁必能俟机伤得一人，其余二人就绝难自保。但她见敌方人多势众，如一拥而上，倒不易敌，若再惹得郭靖夫妇出手，更加讨不了好去，拂尘回卷，笑道：“小娃娃们，且瞧瞧赤练仙子耍猴儿的手段！”呼呼呼连进六招，每一招都直指要害，逼得郭芙与武氏兄弟手忙脚乱，不住跳跃避让，当真有些猴儿模样。李莫愁左足独立，长笑声中，滴溜溜一个转身，叫道：“凌波，去罢！”师徒俩向西北方奔去。
郭芙叫道：“她怕了咱们，追啊！”提剑急追。武氏兄弟展开轻功，随后赶去。李莫愁将拂尘在身后一挥一拂，潇洒自如，足下微尘不起，轻飘飘的似是缓步而行。洪凌波则发足急奔。郭芙和武氏兄弟用足力气，却与她师徒俩愈离愈远。只两只大雕才比李莫愁更快，不断俯冲啄击。武敦儒眼见今日报仇无望，吹动口哨，召双雕回转。
耶律齐等生怕三人有失，赶来接应，见郭芙等回转，上前行礼相见。众人少年心性，三言两语就说得投机。耶律齐忽然想起，叫道：“杨兄呢？”完颜萍道：“他一个儿走啦。我问他去那里，他理也不理。”说着垂下头来，神色凄苦。
耶律齐奔上个小丘，四下了望，见那青衣少女与陆无双并肩而行，走得已远，杨过却没半点影踪。耶律齐茫然若失，颇感惆怅，他与杨过此次初会，联手拒敌，为时虽暂，但数次性命出入于呼吸之间，攻守配合，互相救援，那是打出来的交情，见他忽然不别而行，倒似不见了一位多年结交的良友一般。
原来杨过见武氏兄弟赶到，与郭芙三人合攻李莫愁，三人神情亲密，所施展剑法又极精妙，不多招之间竟将李莫愁赶跑。他不知李莫愁是忌惮郭靖夫妇这才离去，还道三人剑招之中暗藏极厉害内力，逼得她非逃不可。当日郭靖送他上终南山学艺，曾大展雄威，打败无数全真道士，武功之高，在他小小心灵中留下了极深印象，心想郭靖教出来的弟子，武功自然胜己十倍，有了这先入为主的念头，见郭芙等三人一招寻常剑法，也以为其中必含奥妙后着。他越看越不忿，想起幼时在桃花岛上给武氏兄弟两番殴打，郭芙则在旁大叫：“打得好，用力打！”又想起黄蓉故意不教自己武功，郭靖武功如此高强，却不肯传授，将自己送到重阳宫去受一群恶道折磨，登时满腔怨愤，冲向胸膛。
殊不知郭靖自将他送往重阳宫从师后，心中也常自记挂，和黄蓉谈起，关心杨过武功进展如何，在桃花岛上日长无事，常起意要伴同黄蓉到终南山走走，去看望杨过。黄蓉总记得杨过之父杨康当年毒手害死江南五怪、引得郭靖对自己父女视作仇人的恨事，又见杨过狡狯，常不安分，不愿多见他，说道：“靖哥哥，咱们去全真教瞧杨过，只怕那些老道要多心，说咱们疑心全真教教得不认真，要亲自来查考查考。”郭靖摇头道：“马道长、丘道长、王道长他们对我都亲厚得很，绝不会多心。”黄蓉道：“上一辈的当然不会，但上次你独自挑了他们十来个天罡北斗阵，全真教大失面子，第三代弟子以下，未必个个都不介怀吧？”郭靖仔细琢磨，觉妻子的话十分有理，自己见了杨过，非查询他武功不可，一查之下，只怕重阳宫中当真有人多心了。此事其后便不再提。杨过虽知郭靖对自己不错，但也不知他有此心意。
杨过又眼见完颜萍、陆无双、青衣少女、耶律燕四女都眼望自己，脸有诧异之色，心想：“李莫愁污言骂我姑姑，你们便都信了。你们瞧不起我，那也罢了，可怎敢轻视我姑姑？我此刻脸色难看，那是我气不过武氏兄弟和郭芙，气不过郭伯伯、郭伯母，你们便当我跟姑姑有了苟且、因而内心有愧吗？”突然发足狂奔，也不依循道路，只在荒野中乱走。此时他心神异常，只道普天下之人都要与自己为难，却没想自己戴着人皮面具，虽满脸妒恨不平之色，完颜萍等又如何瞧得见？他面貌奇特，旁人自觉诧异。李莫愁恶名满江湖，又是众人公敌，所说的言语谁能信了？
他本来自西北向东南行，现下要与这些人离得越远越好，反而折返西北。心中混乱，厌憎尘世，摘下面具，只在荒山野岭间乱走，肚子饥了，就摘些野果野菜果腹。越行越远，不到一个月，已形容枯槁，衣衫破烂，到了一处高山丛中。他也不知这是“五岳天下险”的华山，见山势险峻陡峭，就发狠往绝顶上爬去。
他轻功虽高，但华山是天下之险，也不能说上就上。待爬到半山时，天候骤寒，铅云低压，北风渐紧，接着天空竟飘下一片片雪花。他要尽力折磨自己，并不找地方避雪，风雪越大，越在巉崖峭壁处行走，走到天色向晚，雪下得一发大了，足底滑溜，道路更难辨认，若一个踏空，势必掉在万仞深谷中跌得粉身碎骨。他也毫不在乎，姑姑既离己而去，自己这条命也就毫不足贵，生死无所萦怀，仍昂首直上。
又走一阵，忽听身后发出极轻的嗤嗤之声，似有什么野兽在雪中行走，杨过立即转身，只见后面一个人影晃动，跃入了山谷。
杨过大惊，忙奔过去，向谷中张望，只见一人伸出三根手指钩在石上，身子凌空。杨过见他以三指之力支持全身，凭临万仞深谷，武功之高，实到了不可思议的地步，恭恭敬敬的向他行了一礼，说道：“老前辈请上来！”
那人哈哈大笑，震得山谷鸣响，手指一捺，已从山崖旁跃上，突然厉声喝问：“你是川边五丑的同党不是？大风大雪，半夜三更，鬼鬼祟祟在这里干什么？”
杨过给他这般没来由的一骂，心想：“大风大雪，三更半夜，我鬼鬼祟祟的到底在这里干什么了？”触动心事，突然间放声大哭，想起一生不幸，受人轻贱，自己敬爱之极的姑姑，却又无端怪责，决绝而去，此生多半再无相见之日，哭到伤心处，当真天愁地惨，毕生的怨愤屈辱，尽数涌上心来。那人起初见他大哭，不由得一怔，听他越哭越伤心，更觉奇怪，后来见他竟哭得没完没了，突然之间纵声长笑，一哭一笑，在山谷间交互撞击，直震得山上积雪一大块一大块的掉落。
杨过听他大笑，哭声顿止，怒道：“你笑什么？”那人笑道：“你哭什么？”杨过待要恶声相加，想起此人武功深不可测，登时将愤怒之意抑制了，恭恭敬敬的拜倒，说道：“小人杨过，参见前辈。”那人手中拿着一根竹棒，在他手臂上轻轻一挑，杨过也不觉有什么大力逼来，便身不由自主的向后摔跌。依这一摔之势，原该摔得爬也爬不起来，但他练过头下脚上的逆练内功，在半空顺势一个筋斗，仍好端端的站着。