他的未過門妻子被迫自盡，他在蒙面人──就是日後結義的五哥──引介下到少林寺學藝，從此專心習武，絕口不談兒女之事。近年來他四嫂一再要為他做媒，都被他婉拒了。他們結義兄弟成家的不多，四哥是其中之一。他四嫂對他如母如姐，他為了避嫌，極少到四哥家走動，但每次遠行，四哥都會帶來四嫂為他做的鞋子。四嫂對他的關愛，並未激起他成家的念頭。
然而，安娜的出現卻使他微微心動。安娜敢愛敢恨的個性，如棒喝般，把他潛藏已久的兒女私情喚醒。當他正在回味兩天來的際遇時，突然聽到馬蹄聲由遠而近，一小隊荷蘭兵突然湧進來，一看到他的辮子，立即喝令不准動，把他綁起來押走了。以萬大明的武功，哪會輕易就捕！但他選擇了不抵抗，以免連累船老大和郭懷一兄弟，並影響此行的目的。
荷蘭兵把萬大明押上船，載往紅毛城監禁。漢人犯罪，通常交給駐軍就地處置，只有和政治有關的罪犯，才會關進紅毛城監獄，這裡深溝高壘，一關進去就插翅難逃。
當時荷蘭人對閩南一帶的義軍存有戒心，他們推斷，義軍一旦光復無望，就可能搶奪台灣。荷蘭人當然知道，義軍幾乎都是鄭芝龍的舊部，他們和台灣多少都有點淵源，鄭芝龍沒發跡前，就曾經在台灣當過通譯。鄭芝龍的長子國姓爺繼承了鄭家的「五商十行」，靠著他的聲望和龐大的錢財，正在迅速崛起。當時鄭家控制台灣海峽的海上貿易，荷蘭人不能不買國姓爺的帳，但對他也就特別忌憚。萬大明非農非商，荷蘭人早就在注意他，如今有人密告他是國姓爺派來的奸細，被捕也就無足為奇了。
關押萬大明的監牢位於紅毛城的外城，牆壁由巨大的紅磚砌成，鐵門深鎖，只有近屋頂處有個透光小窗戶，鐵鑄窗櫺粗如兒臂，任你武功再高，也逃不出去。