松鹤老人说：“你从这里起步，退回到你上岸的地方。若天黑之前到达不了，便是你输了。”
那汉子心想：刚才来的时候，不熟悉路形胡钻乱撞才花费了这么多时间，现在再回去，肯定不费吹灰之力了。等回头朝来路走去的时候，汉子才知道，自己的想法完全是错误的。由于没留下记号，山重水复，树木交错，根本找不着路。他像瞎子一样胡**行，走了一阵，由于几天没进食物，口中干渴，腹中饥饿，难以忍受，翻过低坳，被草藤连绊几下，就晕倒在地。
他昏昏沉沉的睡了两天两夜，醒来昏天黑地的，只当是进了鬼门关。门吱呀一声开了，射出一道光亮，一个孩子端着药水来到铺前。他才明白过来，原来岛上的人救了他。
转眼过了数日，岛上突然迎来了一位不速之客。一个汉子长着一张阎罗的脸，身材魁梧，四肢发达，看样子是练武的好手。他闯入房舍，见东西就翻。一位妇人干活归来，还没开口问什么，就被他一巴掌打倒在地。男人和女人闻讯赶来，向他评理。他抓住一个老头，向大家索要什么武功秘笈。大家根本没他所说的东西，只能搓着手干着急。
松鹤老人从人群中出来，问那人怎么来到这里的？那汉子说：“在逍遥顶峰，我见你年近百岁，步行稳健，气吐如丝，料你身怀绝世武功，所以，跟踪你和孩子来这里寻找武功秘笈。因木排触礁，加上迷失方向，在岛外徘徊许久才找到此地。”
松鹤老人说：“单凭这一点，就判断我有武功秘笈，太过荒谬。”
松鹤老人告诉端木小少爷，这里以前原是一座荒无人烟的孤岛。除了树木和野草外，什么都没有。古武代时，先祖为躲避战乱，带着妻儿老小和村里的人飘洋过海来到了这里。他们在岛上搭建房屋、狩猎捕鱼、种植花果，建造成一所新的家园。百多年来，逍遥岛与世隔绝，从无外人涉足。
十年前，他乘坐木筏离开大海，游览中原名山大川，观赏湖光山色，最后留步在此岛养生。一天，他小息醒来，发现自己的头发和胡子成了白色，才想起出来好久了。正准备离开此岛，却巧遇上故人之子求助，只得破例带他回岛。
端木小少爷听完老人的介绍，对老人和这座岛充满了好奇心。他一路东装西望地到了林子里，看到一片花草地上，坐着一群孩子。中间有个可爱的女孩在转动身姿跳舞。那女孩的身体轻得跟小鸟一样，任她怎么舞动，脚下的花草仍然鲜活未折。端木小少爷深深地被女孩那动人的舞姿给迷住，半天也没回过神来。
松鹤老人在一尊巨石上盘腿打坐，山风阵阵，吹得那两道长长的白眉毛和那道白胡须左右飞舞。端木少爷抬头仰视老人，鹤发童颜,仙风道骨，端的是个活脱脱的世外高人。想起一家人的死，当即拜倒在地，放声悲啼。
松鹤老人问明原故，伤感了一番。他唤端木小少爷起来，闭目曰：“闲云野鹤无拘束，脱离世事耳不闻。可怜你幼年失亲，无家可归，只好与你指条明路。”停了一下，问：“你会棋艺吗？若能跟你爹一样，与我对上一盘，我便送你去极乐世界，从此脱离人世间苦难！”
端木少爷抓了抓脑袋，心想：平时父亲跟人对弈，自己没事在旁观赏，对棋道不算十分拿手，但也略懂一二，这回用上了。于是，这一老一小，以石子当棋，大小代替黑白子，开始你一子我一子的对弈起来。
在岛上养好伤之后，汉子把端木小少爷叫到跟前，说：“叔叔有事要出岛一趟，若能回来，定教你武功报仇雪恨。”这几天，他通过养伤之余，大致观察了一下周围的地形，总算摸清了路线。一天，人们都去干活了，他悄悄离开了逍遥岛。端木小少爷就在岛上默默地等待那位叔叔回来教他武功。
转眼一个月后，他终于回来了，还带来了一个瘦小巴干的中年。他介绍说，他叫阴长祖，和他阳无胜在修仙界上并称阴阳二圣，曾合创阴阳**，大败九菊一派掌教。两个月前，阳无胜和阴长祖在逍遥顶峰比武，不慎失手败于下风，心心愤愤不平，老想找本武功绝学打败阴长祖。恰巧碰到松鹤老人，见他仙风道骨，与凡人有所不同，便以为他身怀绝世武功，本想上前讨教，又觉冒然，只得悄悄跟踪其来到了岛上找武功绝学。到了岛上，武功秘笈没找到不说，还栽了跟头，想到那日跟阴长祖约定月后再战的事，只得决定暂时出岛，等打赢了阴长祖回岛上再说。
他们兄弟二人第二次比武选在中州一山。阴长祖说那里幽静，无人打扰，不论输赢，没人知道，双方也保住了面子。阳无胜很赞成他的说法。谁料，二人决斗到激烈处，阴长祖的徒弟倪萧然突然引来九菊掌教联手偷袭，结果，二人身受重创，要不是阳无胜及时运用绝招和阴长祖一起逃离，定会葬身华山，成为孤魂野鬼。
他的话引起了宾朋的猜测和争议，为了证实真实性，他派人去房中取来山河图，当众献宝。不献则可，一献即引人红眼。酒席上，几位武夫私底下交头接耳，这个说：“这可是在江湖上流传的多宝道人的贴身防御法宝山河图呀，开启宝藏之图居然到他的手上。”那个说：“如果我们能得到山河图，再找着吞魂剑，便可成为普天之下最富有的人。”于是，几个人一合计，决定晚上夺取端木广遥手上的山河图。此时，他们也不顾当日端木大善人的恩情了。
晚上刚过，客人们吃了夜饭纷纷告辞而去，只有几位远方的客人留宿。端木广遥安置好客人，携夫人有说有笑的进了卧室。他把山河图当成辟邪之物，挂在床前，然后熄灯就寝。半夜三更，几名武夫先用软仙散吹入房中，几分钟后他们悄悄溜进他的房间，取下了墙上的山河图。本来他们一走了之，也就什么也不会发生，偏偏中了软仙散的端木广遥内力雄厚，支持着还没昏过去，醒转来。看到有人窃取山河图，急忙大喊。他这一喊，马上引起那伙贼人动了杀心。黑夜中，端木广遥的惨叫声惊醒了端木夫人。跟着，端木夫人也丧命。端木家的仆人闻讯赶来，操着棍棒和扫帚死死堵住房门，无奈贼人身怀修真武学，几拳脚下来，门口的障碍给清除干净。
他们跑到门外，端木广遥的儿子和母亲带人守在那里。他们干脆来个一不做二不休，冲老人和孩子下手。幸亏端木家的几名护院也是修真者，挥动着大刀苦苦护着小公子和老太太，跟贼人拼杀。那晚，血雨腥风，杀声振天。端木家遭大火洗劫一空，八名护院在砍杀死伤一半，六十高龄的端木老太太为了保护孙子而断气。剩下的四名护院带着小少爷从后山逃走。半路遭到另一伙修真人伏击，又死了三名护院。最后一人拼命把端木小少爷从刀口救下，连夜逃离城镇，前往一山逍遥顶求助端木广遥生前棋友松鹤老人。
眼前这个孩子六七岁光景，长得圆头圆脑，聪明伶俐，他说：“大叔叔，你该吃药了。”
“什么药？不会是毒药吧？”那汉子疑心病重，要求小孩先服下一口试药。小孩子不肯，他就抓住小孩，把他的脑袋按到药碗里。小孩直挣扎，不小心打翻了那碗。那汉子火来了，扬起巴掌说一掌劈死他。小孩不但不怕，反倒天真地问，一掌能劈死人吗？汉子说，当然能，我练过武功的。小孩说，什么武功？我也要学。那汉子竖起眼睛盯着小孩，问他为什么想学？小孩说，我要报仇。汉子问他报什么仇？小孩眼圈一红，泪出来了。
当汉子了解小孩的身世后，义愤填膺，说要传授武功给他出岛报仇。松鹤老人知道这件事后，极力反对。他说，身居世外，应心无尘念，不然，与其这样，还不如回到俗世去！那汉子便不说话了。
那汉子有些气愤，说：“你不交出来，我打死这老头。”说完，举起了手掌。
“且慢！”松鹤老人拦住他说：“我与你打个赌，若你赢了，我便传授你绝世武功。”
“赌什么？”那汉子挺了挺腰板。
松鹤老人指着女孩对端木小少爷说，她叫若仙，是岛上最漂亮的小姑娘。又说他和若仙年龄相仿，以后就在一起玩好了。
看到有生人来，小姑娘有些害羞地放慢了舞步，脸藏到了袖子后。待松鹤老人介绍后，便大胆地跑过来拉端木小少爷去蹈舞。
岛上的人听说了端木小少爷的遭遇后，非常同情。争着送食物给他吃，送衣服给他穿。晚上，端木小少爷被安排到木屋休息。那是一间在林子上用木材构架的“空中楼阁”，四四方方，小而有形，像鸟巢一样。小若仙就睡在隔壁，两个孩子隔着一面墙，聊天到天明才睡。
落日西斜，一盘棋终于分出胜负。端木少爷的棋子受到挤压，无路可逃，只便认输。松鹤老人审视着端木少爷，捋须作笑，说：“你跟我回逍遥岛吧！那里是个安宁的地方。”
端木少爷点头应吮。然后，老人拉着他的手，消失在云雾茫茫中。
松鹤老人带着端木少爷乘船去了东海一座隐蔽的小岛上。那里，四面环水，群山耸翠，房屋错落，鸟语花香。男男女女耕田劳作，老人和孩子悠闲自在，全然一派安静平和的世外桃源之景象。
他们正在说话，岛上的人簇拥着松鹤老人来了。大家对他的不辞而别，又不请自来的行为感到很不高兴，将他狠狠责备了一顿。松鹤老人替阴长祖把脉，惊道：“他脉相絮乱，气息不调，伤在五内。得尽快治理，迟了就会有性命之危。”
阴无胜看出松鹤老人懂医术，呼了一声“高人”，拉住他说：“老哥，求你救救我兄弟的命吧！”
松鹤老人又帮阴无胜看了一下，说：“你也受了重伤，你们二人身上各有一股很强的内力，可以互相调息，以药为辅，七七四十九日后，方可治愈。”
松鹤老人乃一名世外高人，几年前，端木广遥去中州经商，途经洞庭湖，在船上遇到一位老人独自弈棋，一时兴起，便请求对弈。一盘下来，棋逢敌手，将遇良才，各不分上下。船靠岸后，松鹤老人便起身告辞。临行，约端木广遥来年的同一日去逍遥顶峰一决高下。
这老人长年隐居仙山灵境，不问世事。端木广遥第一次登上逍遥顶，一盘棋局下了三天三夜，最后棋失一着，拜倒下风。此后，二人结为忘年之交，端木广遥没事经常上山跟老人对弈，谈论棋道……
端木少爷搀着受伤的家人，一步步艰难地爬上逍遥峰顶，等见到了父亲常提起的松鹤老人，护院因出血过多而毙命。