アル開発室メンバーです。
相手を不快にさせない「断り方」を教えて頂きたいです。

【自己紹介】
・アラサー男：IT系の法人営業マン、新規事業の責任者
・既婚：妻は持病があり、土日祝は2人の時間を優先

【相談背景】
1人で社内で頑張るだけでは新規事業をスケールできないと考え、「外に出て人脈形成(売り先探し＆協業パートナー開拓)」の観点で、オフラインのコミュニティを模索し始めました。

先日とあるコミュニティを2つオブザーブ参加しました。(※以降A・B)
地区が違うだけで、どちらも同じ母体です。

オブザーブ参加した印象は下記でして、正直、自費でそれなりにお金を払って参加するほどのメリットを感じられませんでした。
＜A・B共通＞
・仕事に繋がらない⇒所属メンバー、および所属メンバーが懇意にしている方々も、私が想定する業界でもなく規模感もズレる。
・雰囲気が少し合わない⇒上下の規律が厳しく、既存メンバー同士の繋がりが深いため、新規の身としては積極的に入りづらい。
・リソースを避けない⇒顔を出せば出すほど(貢献すればするほど)コミュニティ内の役職も上がるのですが、平日の勤務時間だけでなく、土日の家族の時間も含めて、身を捧げている方が多そう。
＜Aのみ＞
・特定メンバー(Xさん)が苦手⇒押し(勧誘)が強く、イベント等の誘いをやんわりお断りすると、既読スルーを発動する等、生理的に苦手。

【相談要旨】
上記理由から、「A・Bどちらも辞退したい」のですが、以下に悩んでいます。

＜誰に連絡すべきか？＞
「A・Bをアテンドしてくださった方」 or 「A・Bそれぞれの主要メンバー」
※はじめは前者が先導して下さったのですが、その後はA・BのLINEグループに入ったうえでのやりとりでした。

＜どう理由づけすべきか？＞
オブザーブ参加までしたので、きちんとお礼を伝えた上で、でもある程度の理由を説明して一旦は区切りとして諦めてもらいたいのですが、角が立たないように説明したいです。

＜いつ連絡すべきか？＞
・9月上旬：母体に連絡
・9月末：Aにオブザーブ参加
・10月頭：Bにオブザーブ参加
・10月9日：現在
※早く連絡し過ぎても失礼かと思いつつ、明確に断わりの連絡をしないと誘われ続けるのを懸念しています。