久而久之，輿論的風向也開始轉變。
有人說，當初大公子落水，是另有人設計，目的是除掉原配所留之嫡子的同時，又讓續弦池氏及她生下的三公子失去永宣侯的歡心，是條一石二鳥的計策。
鷸蚌既然爭得你死我活，自然就讓背後的漁翁得利。
不過這漁翁到底是誰？有的說是齊承允的幾個未承爵的弟弟；不過更多的言語，還是將幕後主使，指向了第二任侯夫人留下的二公子。
「二公子不過才兩歲，如何做這些事？」有人下意識地反駁。
「奶娃娃自然做不得這事，可他身後之人呢？」傳話的人意味深長地說。
眾人便因此想到了二公子的外祖家。
任家得知此事時，當真是驚出了一身的冷汗。任家當家人，也就是侯夫人任氏之父，千里迢迢趕至京都，登門發作了一通：「我好端端的女兒，嫁來你們侯府不過一年，便香消玉殞。可憐我只有這麼一個女兒，如珠如寶地養大，到頭來卻白髮人送黑髮人！如今她去了，只留下那一根獨苗苗，你們也見不得他好是不是？」
「我任家是商戶出身，這門親事也是高攀，可當年也不是我們上趕著嫁女啊！是你們求的親！我任家清清白白做事，堂堂正正做人，斷不會害一黃口小兒！侯府門第太高，若容不下我那可憐外孫，小老兒求侯爺發發慈悲，讓我接他回去，改我任姓，容我將他撫養長大，以後承我衣缽，繼我香火。」
任老爺子先是怒火中燒地指責侯府背信棄義，苛待任氏，隨後信誓旦旦地表明了自家的清白立場，最後說到要將孩子帶回家去的時候，卻淚流滿面，哭得十分傷心。
這樣一來，齊承允倒不好發作。
雖然他確實懷疑過任家是否參與其中，但他先娶任氏，靠任家的錢渡過難關，後來待任氏冷淡，害她在孕期中鬱鬱寡歡，拖累了身子，生下孩子後，日漸憔悴到失去生機，也是事實。
至於任老爺子所說，要將譽哥兒帶回，為其改姓，那是決計不可能的。
侯府血脈如何能落到商戶中，改他人姓？此事若傳了出去，他和永宣侯府都會變成京里最大的笑話！
「都是外人捕風捉影的閒話，小婿不曾當真。岳父您的為人，小婿是信得過的。」
「真信得過？」任老爺子含著淚問。
「信得過！」齊承允斬釘截鐵地回答，只是片刻後，他話鋒一轉道：「人們之所以這樣揣測，除了無事生非，恐怕還和岳父您留了太多人手給譽哥兒一事，脫不了干係。」
任老爺子心中冷笑，面上卻作出恍然大悟樣：「竟是如此？我年事已高，久居江南，心系唯一的外孫，才多留了些人手代我多照顧他，竟也有人以此來做文章？」
「侯府人手足夠，譽哥兒不過一個小娃娃，何須如此之多人手伺候？」齊承允理所應當道。
任老爺子也就裝作不知道他對原配文氏留下的大兒子是如何的寵愛有加，沉吟片刻，嘆道：「是我想得不夠周全，竟鬧出如此笑話。也罷，那我就將他們統統帶走！」
齊承允同意了。