لما تأسست جمعية العلماء المسلمين أنظم اليها الشيخ وكانت له إسهامات كثيرة دون خوف ولا وجل رفقة صديقة الشيع العلامة البشير رحمة الله عليه في خدمة المجتمع الجزائري الرازح تحت نير الاستعمار أنداك,

لما شعر الاستعمار الفرنسي بخطر جمعية العلماء المسلمين على مصالحه في الجزائر عمد الى حلها وإلقاء القبض على الكثير من أفرادهـــا وسجنهم او نفيهم الى المناطق النائية,

شاء القدر ان يلتقي الشيخ الفيلالي في المنفى بالشيخ الإبراهيمي في مدينة أفلو بالشيخين الفضلين من مدينة غرداية وهما : زياني بوبكر بن مرزوق وعمراني على بن عيسى اللدان طلبا من الشيخين القدوم الى مدينة غرداية للمساهمة في تنوير الشباب ونشر روح الإصلاح بينهم,

انتقل الشيخ الأخضر الى غرداية بينتا اعتدة الشيخ الابراهيمي لارتباطاته بدار الحديث بتلمسات, وهكذا بدأ الشيخ الفيلالي العمل في غرداية كمنشط للوطنية ومدرس للقران الكريم والتفسير والفقه وكافة علوم الدين

داع صيت الشيخ بالمنطقة فتوافد طلبة العلم عليه نت كافة قرى غرداية ومتليلي والقرارة فازدهرت النهضة الإصلاحية في المجتمع ولاسيما بين النساء والشباب فأنشأ مدرسة نسوية لتدريس علوم الدين وتحفيظ القران،

بدأ الشيخ يفكر في جمع شمل قرى ومداشر غرداية مسعينا بعلمــائها في الاتفاق على معاهدة تقارب بين المذاهب المالكية والإباضية يجمعه في دلاك القران الكريم والسنة النبوية،

لاقت الفكرة قبولا واستحسانا حت شاعت بين جميع السكان فخاف المستعمر الفرنسي من هده الوحدة لأن دالك يتعارض وسياسة “فرق تســود” التي كان يطبقها للتحكم في سكان المنطقة، حاول الاستعمار بشتى الوسائل إبعاد الشيخ من المنطقة حتى تم نفيه إلى إحدى القرى في جبال القبائل الكبرى،