丁承业在给人盖房子时不小心摔了下来，摔得半死，主家也是穷苦人，赔不了几个钱。为了给丁承业看病，潘氏几乎将家里能变卖的东西都变卖了。

可是，丁承业还是死了。

在那个时候，男人就是家里的天，是一个家的顶梁柱。丁承业死后，他与嫡妻的几个儿子，也就是芸娘的几位伯父便以丁来喜不是丁家的种为由，分走了丁承业所有的遗产，将潘氏母子赶了出去。

潘氏并没有离开越州，就在离家不远处的树林里搭了几间茅草屋住下来。她用自己开荒出来的地种上蔬菜，再以刺绣换取其他生活用品，艰辛地养大了儿子。

丁氏一族对丁来喜的身份一直持怀疑态度，但以前丁承业是承认这个儿子的，因此宗族的态度模棱两可。虽然很多人怀疑，却并未将丁来喜逐出宗族。

丁来喜家境不好，在族中又受人轻视，偏偏人才生得十分好，还识字，让丁氏一族同龄的族人很是嫉妒。于是，只要有人给丁来喜做媒，丁家就有人出面说丁来喜的坏话，坏掉他的婚事。因此，丁来喜一直娶不上媳妇儿。

如此，丁来喜直到年近三十去外地做工，这才娶了个媳妇回家，几年后才生下了芸娘。

因为家里多了人口，而潘氏的身体也越来越差，家里负担很重。于是，丁来喜只能外出做工，以养活自己的母亲和妻女。因为他经常几个月都不能回家一次，芸娘也一直没有弟弟妹妹出生。

就在芸娘四岁的时候，父母带着她出门，说是去外祖家，谁知就遇上了船难。

等芸娘被父亲的朋友送回老家，祖母潘氏差点哭瞎了双眼。可是，眼泪除了表示软弱，没有半点作用。为了养大芸娘，潘氏不得不坚强地站起来。

这个时候，村里有了谣言，说潘氏命不好，克夫克子。而后，潘氏的三个继子，芸娘的三位伯父就开始欺辱她们。经常潘氏好不容易用刺绣攒几个钱买回一点米或者肉，就被几个继子抢了，理由是：都怪你这个扫把星克死了我爹！

沈梦看得满心愤怒，然而潘氏却一直忍着，这一忍就是十多年，真的是历经千辛万苦才将芸娘抚养长大。

芸娘也是个能干懂事的姑娘，很小的时候就能帮着祖母做事，七八岁就能做刺绣贴补家用，十来岁就跟着人学打渔。但她们一直无法摆脱被三位伯父欺凌的境况，直到后来遇到燕老三，家里有了男人，还是个武艺高强的男人，这种情况才开始有了好转。