爸爸和他的战友们白天在各自公开的工作岗位上工作，夜间到我家开会。我朦朦胧胧记得，他们每天来得都很晚，大都在我们睡下后悄悄到最里面的房间。这个小屋充满了神秘感，因为在大院里人们只能看到四间房，只有进到我们客厅里才能看到这个小屋。小屋里面放有当时很高档的办公桌椅、书架、茶具、收音机，墙上挂有地图。平常锁着门，而且门是全封闭的。爸爸妈妈和叔叔们工作到很晚。有时，半夜爸爸常过来给我们盖被子，喂水喝，他们还在工作。根据当时斗争需要，隐蔽潜伏的任务主要有三种：第一是专门搞帝国主义情报的，代号“新美 ”，领导人是我父亲；第二是专搞国民党军统特务的，代号“市军”；第三是专搞国民党中统特务的，代号“乡中”。他们每人都有自己的代号，我爸爸代号是 “112”。他所领导的下属隐干也都有代号。他们破获多起书写反动标语，破坏共和国和人民生命安全的暴乱爆炸暗杀等政治案件，抓获多个国民党潜伏特务和披着宗教外衣的外国间谍。

后来，到了上学的时候，那些领导们的孩子都被保送到育才学校，国家包食宿，而我们姊妹几个没有这个资格。不仅如此，我们还受尽了作为资本家子女在那个年代受到的种种歧视。当时学校让填写家庭成分，我年小不懂什么叫成分。有一个老师大声喊道：“祁葆珠的爸爸是商人，奸商，就是资本家。”那声音、那语气到现在我还记忆犹新。回家后，把这件事告诉父亲，并问什么是商人，父亲把我抱在怀里，过了好一阵才说：“爸爸是商人，爸爸是好人。”

1956年，国家进入对资本主义工商业社会主义改造时期，按照党的指示，父亲作为可改造好的“资本家”代表“带头”加入公私合营，“接受”社会主义改造，“主动”拉着板车把“私有财产”交给国家。同时父亲为党做了大量思想工作，团结了一批热爱社会主义祖国的工商业者。

三年困难时期，国际国内形势十分紧张。父亲每天晚上在收听了中央广播电台的“新闻和报纸摘要节目”后与收音机一起高唱国际歌，后来还教会了我们姊妹五人。每天晚上我们都和爸爸妈妈围坐在收音机旁，一起听新闻，一起唱《国际歌》，当唱到“要为真理而斗争……因特纳雄耐尔就一定要实现”时，我看到父亲眼里闪着泪花，还充满深情地打拍子当指挥。当时我想，一个资本家唱起《国际歌》怎么这么动情。根据当时国际国内形势的需要，国家公安部决定派父亲到香港以大资本家的公开身份隐蔽潜伏下来，执行一项更艰巨、更危险、更重要的任务。