分析台湾公会的性质更不能忽视日本领事馆和台湾总督府控制的阴影。台湾公会从成立开始，就一直处于日本领事馆和台湾总督府的严密控制与监督之下。当台湾籍民从民间自发组织成立台湾公会时，领事馆并没有骤然答应。次年令人修改台湾公会章程，而后才同意呈报附案。到后来，派驻厦门的历任领事越来越重视台湾公会的作用，台湾公会的一切事务受到领事馆愈加严密的控制。领事馆操纵了台湾公会的人事权，领事插手甚至控制公会的选举，不断进行改革，制定规则，直接任命督察，甚至派出颇有实权的日本监督人员。1906年成立时就由日本人奥山章次郎和坂野担任顾问，之后历任旭瀛书院院长均任顾问，后又增加泽重信、木村贞次郎等。公会的会长及副会长虽由议员以无记名投票方式产生，但须经领事承认，领事馆有权干涉其人选。“每有选举，概以馆令公布。”在议员中官选的比例也越来越大。1922年的20名议员中，官选4名。1936年发布“厦门台湾居留民会规则”，确立议员为20名，其中半数为领事指定［33］。并规定“议员选举日期、地点及其他为选举议员必要之细则，概由日本领事官指定。议员中如有缺员，则由领事官指明选任补缺。”［34］该会的一切活动安排均须得到领事认可。“议员会须请领事、顾问及参事出席，领事可向议员会提出议案。但议员会议议决各项事务，均须领事的承认，方才有效。”［35］公会的财权同样受领事馆监控。抗战爆发后，台湾居留民会更是完全处在日本控制之下，一度还有日本人担任会长。旭瀛书院第一任院长小竹德吉因为为台湾籍民教育的贡献和为“台纪事件”调解奔走有功，离任时还在校内为他设立胸像［36］。接任的冈本要八郎“凡会务所关，得院长之相助为理者不少”，在公会事务中发挥了重要作用［37］。台湾公会已经沦为日本领事馆和台湾总督府手中的傀儡。

厦门台湾籍民中有一部分人是当地居民以购买台湾人旅券等方式混入台湾籍，同时日本政府也选择一些对日本利益有用的人归化日本籍［38］。因而台湾公会的成员构成也很复杂。日本领事认为：公会之元老及有力人士中，有不少这样的人，他们多数是当地的资本家，且活跃于厦门市之经济界及政治界。因为他们原来就与台湾无深厚的关系，对台湾及日本之事不甚了解，故公会开会时经常使用厦门话即台语，除领事馆官员出席时使用日语翻译外，完全不用日语［39］。由于受日本领事馆的保护和治外法权的庇护，台湾公会的一些头面人物公然从事开设赌场、走私、贩卖毒品等勾当，获取不当利益，为非作歹，给当地人留下了极其恶劣的印象。如曾任厦门市台湾公会会长及议员的施范其、曾厚坤、何兴化、陈宝全、林滚等人，均与贩毒有关。曾经当过12年会长的曾厚坤在厦门的“厚祥”、“坤吉”商店大量贩卖鸦片与日货，其中以鸦片生意为大宗。每次货船抵厦，日本领事都派日本警察下船，为其起卸鸦片打掩护［40］。厦门“鸦片大王”叶清和与台湾公会历届会长施范其、曾厚坤、陈长福等人先后合办专营鸦片、吗啡等毒品的“五丰”、“鹭通”、“裕闽”公司，走私鸦片，制造、贩卖海洛因、吗啡等毒品，与台北“星制药”公司也有合作关系［41］。时任日本驻厦门的领事井上庚二郎也不得不承认“台湾公会之议员中，有多数涉及贩毒，上述台籍之学生中，有部分咒骂公会议员是鸦片议员，实非夸张”［42］。在台湾籍民和当地人发生的一些矛盾中，台湾公会发挥了调停作用。但作为客居的一方，常常反客为主，在领事馆的支撑下，仗势欺人，如著名的“台吴事件”、“台纪事件”、“台探事件”等。