王冕却是想都没想，直接拒绝道：“我有田可耕，有书可读，岂肯送公文做人家的使唤下人？”
李孝光叹了一口气，知道自己是劝不动王冕了，便也只能悄悄留下一些银钱，不再劝说。
母亲在绍兴城休养了几天后，知道王冕本就没什么钱，不肯留在绍兴城里“浪费”钱，便想着要回家去。
王冕劝说不动，便只好买了一辆牛车，准备载着母亲回家。
在准备路上的吃食时，他忽然想起自己曾经在《楚辞图》上看到过的屈原衣冠，便自己做了一顶很高帽子，和一件很阔的衣裳。
第二天，他戴着高帽子，穿着阔衣裳，腰上挂着木剑，然后牵着牛车载着母亲，一路唱着山歌回到乡里。
“快来看，这里有个疯子！”
“哈哈，真的呀，他还在唱山歌呢！”
“他的帽子好高啊，他的衣服也好大啊，真难看！”
“……”
从村子里走过的时候，一群小孩子看到王冕的模样，都嘻嘻哈哈笑着跟在后面看热闹，而王冕却是丝毫不在意。
没过几年，王冕的母亲也去世了，悲痛万分的王冕，又过了三年的守孝生活。
至正十一年（1351年），由韩山童、刘福通、徐寿辉等人领导的农民起义在颍州爆发，由于起义军头裹红巾，因而被称为“红巾军”，又因为其烧香聚众，又被称作为“香军”。
至正十九年（1359年），朱元璋提兵击败之江方国珍，派遣胡大海攻打绍兴，屯兵九里山。
村里的老百姓们惶恐不安，携家带口四处躲避兵灾，但王冕却是不为所动。
当红巾军进入村庄之中时，王冕正好卧病在床，他对闯入家中的士兵说道：“我是王元章。”
士兵听到这名字后，顿时大惊，王冕的名声太响了，不仅仅是因为他是远近闻名的大儒，更是因为他多次作诗讽刺朝廷，宁肯过着困苦不堪的隐居生活，也不愿意做元朝的官。
于是，士兵们当即将王冕用车送到胡大海下榻的天章寺。
胡大海听说后，立刻将王冕奉为上宾，请他上座，并向他请教用兵策略。
王冕摇了摇头，对胡大海说道：
“大将军是高明远见之人，自不消乡民多说。若以仁义服人，何人不服？若以兵力服人，何人心服？我绍兴乃秉义之地，要我教大将军杀我父兄子弟，则万万做不到。大将军若能听我之言，望能立即改过以从善。不能听者，则请立即杀我。”
胡大海哑口无言，只得再拜领受，只求王冕不要讲话即可。
第二天，王冕便病重不起，没过几日便逝世了。
胡大海尊之重之，备丧礼殓葬王冕于山阴兰亭之侧，墓碑题“王先生之墓”五字。