Upload 17 files

.env

@@ -0,0 +1,14 @@
+# API Keys (Copy this file to .env and add your keys)
+GEMINI_API_KEY=AIzaSyBRRBPGBWvmKNvnGC_UCbyoWMjIek2qRQw
+ANTHROPIC_API_KEY=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
+
+# Optional: For enhanced features
+OPENAI_API_KEY=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
+
+# Development Settings
+DEBUG=false
+LOG_LEVEL=INFO
+
+# Cache Settings
+REDIS_URL=redis://localhost:6379
+ENABLE_REDIS=false

.env.backup

@@ -0,0 +1,18 @@
+GEMINI_API_KEY=AIzaSyA8y7oklHVodnVTSGrR5aYT4csyhUa3rEA
+ANTHROPIC_API_KEY=your_anthropic_api_key_here
+
+# Optional: For enhanced features
+OPENAI_API_KEY=ollama
+# Using Ollama for embeddings
+EMBEDDING_MODEL=ollama
+OLLAMA_MODEL=granite-embedding:278m
+OPENAI_BASE_URL=http://localhost:11434/v1
+
+
+# Development Settings
+DEBUG=false
+LOG_LEVEL=INFO
+
+# Cache Settings
+REDIS_URL=redis://localhost:6379
+ENABLE_REDIS=false

.env.example

@@ -0,0 +1,14 @@
+# API Keys (Copy this file to .env and add your keys)
+GEMINI_API_KEY=your_gemini_api_key_here
+ANTHROPIC_API_KEY=your_anthropic_api_key_here
+
+# Optional: For enhanced features
+OPENAI_API_KEY=your_openai_api_key_here
+
+# Development Settings
+DEBUG=false
+LOG_LEVEL=INFO
+
+# Cache Settings
+REDIS_URL=redis://localhost:6379
+ENABLE_REDIS=false

.env.py

@@ -0,0 +1,15 @@
+# API Keys (Copy this file to .env and add your keys)
+GEMINI_API_KEY=AIzaSyBRRBPGBWvmKNvnGC_UCbyoWMjIek2qRQw
+ANTHROPIC_API_KEY=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
+
+# Optional: For enhanced features
+OPENAI_API_KEY=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
+
+# Development Settings
+DEBUG=false
+LOG_LEVEL=INFO
+
+# Cache Settings
+REDIS_URL=redis://localhost:6379
+ENABLE_REDIS=false
+FORCE_OPENAI_ONLY=true

README.md

@@ -1,14 +1,65 @@
----
-title: CMP AI RAG
-emoji: 👀
-colorFrom: gray
-colorTo: yellow
-sdk: gradio
-sdk_version: 5.47.2
-app_file: app.py
-pinned: false
-license: mit
-short_description: CMP_AI_RAG_Assistant
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# Enhanced Arabic Document Chatbot
+
+Advanced Arabic document chatbot with persistent knowledge base and semantic search.
+
+## Quick Start
+
+1. **Install dependencies**:
+   ```bash
+   pip install -r requirements.txt
+   ```
+
+2. **Set up environment variables** (create `.env` file):
+   ```bash
+   GEMINI_API_KEY=your_gemini_api_key_here
+   OPENAI_API_KEY=your_openai_api_key_here
+   ```
+
+3. **Run the application**:
+   ```bash
+   python enhanced_main.py
+   ```
+
+4. **Access the web interface** at `http://localhost:7860`
+
+## Features
+
+- Automatic document indexing from configured folders
+- Persistent vector database - no re-indexing needed
+- Advanced semantic chunking for Arabic legal documents
+- Context-aware retrieval with improved accuracy
+- Background monitoring for new documents
+- OpenAI embeddings with Gemini AI responses
+
+## Configuration
+
+The application monitors these directories by default:
+- `data_cmp/data_cmp/CBK/` - Central Bank documents
+- `data_cmp/data_cmp/CMA/` - Capital Markets documents  
+- `data_cmp/data_cmp/Legal_Principles/` - Legal principles documents
+
+## Command Line Options
+
+```bash
+python enhanced_main.py --help
+
+Options:
+--test              Run installation test
+--reindex           Force reindex all documents
+--clear             Clear knowledge base and start fresh
+--chunking [type]   Choose chunking strategy (semantic, late, hierarchical, fixed)
+--test-chunking     Test chunking strategy on sample documents
+```
+
+## System Requirements
+
+- Python 3.8 or higher
+- 8GB+ RAM recommended
+- Internet connection for API access
+- ~500MB disk space for vector index
+
+## API Keys
+
+You need API keys from:
+- **Gemini**: Get from [Google AI Studio](https://makersuite.google.com/)
+- **OpenAI**: Get from [OpenAI Platform](https://platform.openai.com/)

Reference_QA.json

@@ -0,0 +1,96 @@
+{
+    "question": "تمتلك الهيئة العامة للاستثمار نسبة 62% بطريقة مباشرة في الشركة الكويتية للاستثمار وكما تمتلك نسبة 100% بطريقة غير مباشرة في شركة إمبلس إنترناشيونال للاتصالات عن طريق امتلاك نسبة 100% في الشركة الوطنية لمشاريع التكنلوجيا التي تمتلك نسبة 100% في شركة إمبلس إنترناشيونال للاتصالات، بناءً على الملكية المذكورة هل تعتبر الشركة الكويتية للاستثمار مترابطة مع شركة إمبلس إنترناشيونال للاتصالات؟ علماً بأن الهيئة العامة للاستثمار لا تمتلك أي تمويل من بنك وربة ولم تقدم كفالتها لأي من التمويلات المذكورة.",
+    "answer": "وفقًا لمفاهيم السيطرة التي تستخدم في تحديد مدى وجود ترابط بين الأطراف من شركات الأموال، فإنه إذا تحقق للطرف (أ) السيطرة بموجب الملكية المباشرة في الطرف/ الأطراف (ب) ، وفي ذات الوقت تحقق للطرف (أ) السيطرة بموجب الملكية غير المباشرة في الطرف/ الأطراف (ج)، فإن ذلك يعني أن كل من الطرف/ الأطراف (ب) و(ج) يتم السيطرة عليهم من طرف واحد وهو الطرف (أ) ، وعليه يتحقق الارتباط بين الطرف/ الأطراف (ب) و(ج) على هذا الأساس. وفي ضوء ما تقدم، وبالنظر إلى نسب الملكية (المباشرة وغير المباشرة) للهيئة العامة للاستثمار في رأس مال كل من الشركة الكويتية للاستثمار وشركة إمبلس إنترناشيونال للاتصالات، والتي تحقق للهيئة العامة للاستثمار سيطرة مباشرة على الشركة الكويتية للاستثمار وتدرجها ضمن شركاتها التابعة في قوائمها المالية، وكذلك تحقق للهيئة العامة للاستثمار سيطرة تامة على شركة إمبلس إنترناشيونال للاتصالات بموجب ملكية كامل رأس المال، وعليه تكون كل من الشركة الكويتية للاستثمار وشركة إمبلس إنترناشيونال للاتصالات تحت سيطرة طرف واحد وهو الهيئة العامة للاستثمار، وتكون جميع الأطراف المذكورة مترابطة وفقًا لمفهوم العميل الواحد الوارد في تعليمات بنك الكويت المركزي ذات العلاقة، وإن لم تكن الهيئة العامة للاستثمار عميل لدى مصرفنا."
+  },
+  {
+    "question": "لغرض احتساب الحد الأعلى لإجمالي التسهيلات الممنوحة للأطراف المترابطة لاحتساب نسبة التركز التمويلي، هل يتم احتساب التسهيلات غير النقدية على أساس قيمة الحد أو المستخدم من الحد؟",
+    "answer": "إن عمليات التمويل غير النقدية التي يتم الاعتداد بها عند احتساب نسبة التركز التمويلي، \"هي العمليات التي ترتب التزامًا عرضيًا على البنك، وهي تشمل ما يلي: - الاعتمادات المستندية. - خطابات الضمان والكفالات. – القبولات\". ومعنى ذلك أنه متى ما ترتب فعليًا بسبب عمليات التمويل غير النقدية التزامًا عرضيًا على مصرفنا، تم إضافة تلك العمليات إلى إجمالي عمليات التمويل غير النقدية عند احتساب نسبة التركز التمويلي لمصرفنا، أي أنه يتم احتساب الحدود المستخدمة فقط من عمليات التمويل غير النقدية والتي ترتب عليها فعلا التزامًا عرضيًا على مصرفنا، وليست قيمة الحدود التي لم تستخدم ولم ترتب فعلا التزامًا عرضيًا على مصرفنا."
+  },
+  {
+    "question": "يرجى الافادة حول ما إذا كان هناك أي تعليمات تمنع العملاء الأفراد من فئة عالي المخاطر بتحديث بياناتهم عبر تطبيق بنك وربة وتستوجب حضورهم شخصيا إلى البنك، وذلك حتى يتم عمل اللازم للسماح لهذه الفئة من تحديث البينات من خلال التطبيق.",
+    "answer": "لا يوجد تعارض مع التعليمات مع الالتزام التام بسياسة مصرفنا بهذا الشأن."
+  },
+  {
+    "question": "توضيح تعليمات البنك المركزي بخصوص منح تسهيلات غير نقدية لشركات لها ترابط مع أحد أعضاء مجلس الادارة، فهل يجوز الاكتفاء بهامش نقدي لا يغطي 100% من التسهيلات؟",
+    "answer": "يتعين أن يتم تحديد الهوامش (التأمينات النقدية) التي يحصل عليها البنك من قيمة عمليات التمويل غير النقدية وفقاً للأصول المصرفية المتعارف عليها والمتبع مع باقي عملاء البنك، مع مراعاة ما يلي:\n- ألا تقل هذه الهوامش عن 100% من قيمة خطابات الضمان أو الكفالات الصادرة لضمان أي عمليات تمويل يحصل عليها عضو مجلس الإدارة من بنوك أو مؤسسات مالية أخرى.\n- بالنسبة للاعتمادات المستندية وباقي خطابات الضمان أو الكفالات والالتزامات العرضية الأخرى، يتعين الحصول على هوامش كافية مقابلها، بحيث لا يكون هناك أية معاملة تفضيلية لأي من أعضاء مجلس الإدارة عن باقي عملاء البنك.\nوعليه فإنه يتم الحصول على هوامش بنسبة 100% مقابل خطابات الضمان والكفالات الصادرة لضمان عمليات تمويل يحصل عليها العضو من جهات أخرى، وفيما عدا ذلك فإنه يتم الحصول على هوامش كافية لا يكون فيها ميزة تفضيلية للعضو عن بقية عملاء البنك."
+  },
+  {
+    "question": "استفسار عن رغبة البنك بفتح حساب لعميل ذو شخصية اعتبارية تم تصنيفه من ذوي مرتفعي المخاطر نظراً لعلاقته بالمجوهرات والذهب وكون الرخصة الصادرة هي رخصة منزلية والتي لا يقوم بها بتقديم بيانات مالية معتمدة.",
+    "answer": "نود الإفادة أنه بالإشارة إلى تعليمات بنك الكويت المركزي بشأن مكافحة غسل الأموال وتمويل الإرهاب الصادرة والمحدثة بتاريخ 16/02/2023 في البند تاسعاً (تدابير العناية الواجبة المشددة على العملاء ذوي المخاطر المرتفعة..) نصت في النقطة رقم 4 على تتضمن تدابير العناية الواجبة المشددة التي تنطبق على علاقات العمل مرتفعة المخاطر .... ج. الحصول على معلومات إضافية عن العميل (الشخص الاعتباري) وطبيعة علاقة العمل المتوقعة وحجم النشاط والحصول على آخر ميزانية متاحة عن النشاط\".\nوعليه فإن أي عميل ذو شخصية اعتبارية يتم تصنيفه من ذوي مرتفعي المخاطر عليه تقديم البيانات المالية المتاحة عند تقديم طلب فتح الحساب وتحديث البيانات (KYC) مهما كان نوع الترخيص التجاري."
+  },
+  {
+    "question": "ما هي المدة القانونية التي يجب أن يحتفظ فيها الشخص المرخص له ببيانات اعرف عميلك (KYC) بعد انتهاء العلاقة مع العميل؟",
+    "answer": "خمس سنوات."
+  },
+  {
+    "question": "ما هي الشروط التي يجب أن تتوافر في التفويض القانوني الذي يسمح لشخص بفتح وتشغيل حساب استثماري نيابة عن عميل؟ وهل يجوز أن يكون التفويض إلكترونيا ؟",
+    "answer": "• يجب أن يكون التفويض صادرًا من كاتب عدل أو موثق معتمد من وزارة العدل.\n• يجب أن يتضمن نصا صريحًا بالصلاحيات المفوضة مثل فتح الحساب، تشغيله، إجراء الحوالات، أو بيع وشراء الأوراق المالية.\n• لا يعتد بالتفويض الإلكتروني إلا إذا كان موثقًا ومعتمدًا وفق قانون المعاملات الإلكترونية."
+  },
+  {
+    "question": "هل هناك قيود مفروضة على موظفي الشخص المرخص له من قبل هيئة أسواق المال بالنسبة لتداولاتهم؟",
+    "answer": "يتعين على موظفي الشخص المرخص له الالتزام بالتعليمات والقيود المفروضة عليهم من قبل الهيئة، حيث يتعين إبلاغ مسؤول المطابقة والالتزام - على الفور - بأي صفقة (بيع أو شراء أوراق مالية محلية) يجريها عن نفسه أو بالإنابة عن أحد أقربائه أو عن شركة تابعة له أو لأحد أقربائه."
+  },
+  {
+    "question": "هل يجوز للشخص المرخص له بمزاولة نشاط مدير استثمار جماعي أن يتواصل مع بعض العملاء لمعرفة رأيهم بشأن الاستثمار في صندوق يرغب بتسويقه مستقبلاً؟ وذلك قبل حصوله على ترخيص تسويق الصندوق من الهيئة؟",
+    "answer": "يجوز للهيئة – بناء على طلب مقدم - أن تسمح للمسوق خلال فترة استكمال متطلبات الهيئة التواصل مع العملاء المحترفين المحتملين لبحث رغبتهم بالاستثمار في الصندوق المزمع تسويقه دون الإعلان في وسائل الاعلام، وأن لا يتم تقاضي أي مبالغ نقدية أو غير نقدية أو الحصول على التزام نهائي من العملاء بالاشتراك في الصندوق قبل الحصول على ترخيص التسويق من الهيئة."
+  },
+  {
+    "question": "ما هو مفهوم \"مجلس التأديب\" وفقاً للوثائق؟",
+    "answer": "هو مجلس مختص بالنظر في مخالفات الأعضاء والمنتسبين، ويتألف من قضاة أو أعضاء إداريين وفقًا للأنظمة المعمول بها، ويصدر أحكامًا تأديبية بناءً على التحقيقات والمرافعات المقدمة."
+  },
+  {
+    "question": "ما الفرق بين التنبيه واللوم كعقوبتين تأديبيتين؟",
+    "answer": "التنبيه هو أقل درجات العقوبات ويكون بمثابة تحذير كتابي دون أن يؤثر على المسار المهني، أما اللوم فيُسجل في الملف الوظيفي وقد يؤثر على الترقيات والتقييمات."
+  },
+  {
+    "question": "ما هو الإجراء الذي يجب اتباعه قبل إحالة الموظف إلى مجلس التأديب؟",
+    "answer": "يجب أن تُجري جهة العمل تحقيقًا داخليًا مبدئيًا، ويُشترط توفر دلائل قوية على المخالفة، مع إبلاغ الموظف كتابيًا وإعطائه الفرصة للرد."
+  },
+  {
+    "question": "هل يجوز للموظف الطعن في قرار مجلس التأديب؟ وضح.",
+    "answer": "نعم، يحق للموظف الطعن في قرار المجلس خلال مدة محددة أمام الجهة القضائية المختصة، بشرط أن يبيّن أسباب الطعن سواء كانت شكلية أو موضوعية."
+  },
+  {
+    "question": "ما المقصود بمبدأ \"الملاءمة التأديبية\"؟",
+    "answer": "هو المبدأ الذي يعطي الجهة التأديبية سلطة تقديرية في اختيار العقوبة الأنسب وفقًا لظروف المخالفة ودرجة جسامتها وشخصية المخالف."
+  },
+  {
+    "question": "اشرح مبدأ \"التحقيق المسبق\" في العمل التأديبي.",
+    "answer": "ينص على أنه لا يجوز توقيع أي جزاء على الموظف إلا بعد إجراء تحقيق مكتوب معه وسماع أقواله والدفاع عنه وتمكينه من الاطلاع على المستندات."
+  },
+  {
+    "question": "ما الحالات التي يُحال فيها الموظف إلى التقاعد لأسباب تأديبية؟",
+    "answer": "في حال ارتكب الموظف مخالفة جسيمة تسيء للوظيفة أو سمعة المؤسسة، ويكون ذلك بقرار من المجلس التأديبي بعد استيفاء الإجراءات النظامية."
+  },
+  {
+    "question": "كيف يتم تحديد العقوبة المناسبة للمخالفة؟",
+    "answer": "يُراعى مدى جسامة المخالفة، الضرر الناتج عنها، سوابق الموظف، ودرجة تعاونه أثناء التحقيق، وكل هذه المعايير تُستخدم لتقدير العقوبة الأنسب."
+  },
+  {
+    "question": "ما الفرق بين المجلس الابتدائي والمجلس الأعلى للتأديب؟",
+    "answer": "المجلس الابتدائي يختص بالنظر في المخالفات البسيطة والمتوسطة، أما المجلس الأعلى فينظر في القضايا الجسيمة وله صلاحية إصدار عقوبات أشد."
+  },
+  {
+    "question": "هل يمكن إعادة النظر في قرار الفصل التأديبي؟",
+    "answer": "نعم، يمكن في حالات محددة مثل ظهور أدلة جديدة، أو وجود خطأ جوهري في الإجراءات، ويُعاد تقديم الطلب للجهة المختصة للمراجعة."
+  },
+  {
+    "question": "ما هو المبدأ رقم (1) في النظام التأديبي؟",
+    "answer": "المبدأ رقم (1) ينص على أن \"الجزاء التأديبي لا يوقع على العامل إلا بعد التحقيق معه وسماع أقواله وتحقيق دفاعه. ويجب أن يكون القرار الصادر بتوقيع الجزاء مسببًا يتعلق هذا المبدأ بضمان حقوق الموظف وتمكينه من الدفاع عن نفسه، ويؤكد على ضرورة وجود تحقيق عادل قبل توقيع الجزاء. المرجع: الكتاب رقم 13 – مبادئ مجلس التأديب (ص. 3-4)."
+  },
+  {
+    "question": "ما هو المقصود بالمبدأ رقم (2)؟",
+    "answer": "المبدأ رقم (2) ينص على أنه \"لا يجوز توقيع جزاء على العامل إلا من السلطة المختصة قانونا\". هذا يعني أن توقيع الجزاءات التأديبية لا يجوز من أي جهة غير مخولة قانونا بذلك، لضمان العدالة وتجنب التعسف. المرجع: الكتاب رقم 13 – مبادئ مجلس التأديب (ص. 4)."
+  },
+  {
+    "question": "المبدأ رقم (3) يربط بين الخطأ التأديبي والخطأ الجنائي - كيف؟",
+    "answer": "المبدأ يوضح أن الخطأ الجنائي إذا قام على ذات الواقعة محل المخالفة التأديبية، فإن للسلطة التأديبية أن تنتظر نتيجة الحكم الجنائي ما لم تكن بصدد مخالفة تأديبية مستقلة بمعنى آخر، إذا كانت المخالفة قيد التحقيق الجنائي، قد يتم تعليق القرار التأديبي لحين الفصل القضائي. المرجع: الكتاب رقم 13 – مبادئ عامة في التأديب (ص. 5)."
+  },
+  {
+    "question": "ما هو المبدأ الرابع في تنظيم الإجراءات؟",
+    "answer": "ينص المبدأ على أن \"تعتبر الإجراءات التأديبية باطلة إذا لم تُراعى الضمانات الجوهرية المقررة للعامل، مثل حق الدفاع أو التحقيق\". هذا المبدأ يكرس أهمية احترام حقوق الدفاع، وأن أي انتقاص منها قد يبطل القرار التأديبي. المرجع: الكتاب رقم 7 – المبادئ العامة في التحقيق الإداري والتأديب (ص. 6)."
+  },
+  {
+    "question": "ماذا يقول المبدأ رقم (5) بشأن العقوبات التأديبية؟",
+    "answer": "المبدأ يقر أن \"العقوبة التأديبية يجب أن تكون متناسبة مع المخالفة المرتكبة، وأن تتدرج تبعا لخطورة الفعل\". يُمنع توقيع أقصى عقوبة على مخالفات بسيطة، ويجب النظر في تكرار المخالفة، الظروف المحيطة، وسابقة الموظف. المرجع: الكتاب رقم 12 – الجزاءات التأديبية في قانون الخدمة المدنية (ص. 4-5)."
+  }

enhanced_main.py

@@ -0,0 +1,595 @@
+#!/usr/bin/env python3
+"""
+Enhanced Arabic Document Chatbot with Knowledge Base
+Automatic document loading and persistent knowledge storage.
+"""
+
+import os
+import sys
+import asyncio
+import logging
+from pathlib import Path
+
+# Add src directory to Python path
+sys.path.insert(0, str(Path(__file__).parent / "src"))
+
+from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+from src.utils.logger import setup_logging
+
+def main():
+    """Main application entry point."""
+    print("\n" + "=" * 70)
+    print("Enhanced Arabic Document Chatbot with Persistent Knowledge Base")
+    print("=" * 70)
+    
+    try:
+        # Setup logging
+        setup_logging(log_level="INFO", log_file="logs/enhanced_app.log")
+        logger = logging.getLogger(__name__)
+        
+        # Check Python version
+        if sys.version_info < (3, 8):
+            print("ERROR: Python 3.8 or higher is required")
+            sys.exit(1)
+        
+        # Check for required dependencies
+        missing_deps = check_dependencies()
+        if missing_deps:
+            print("\nMissing dependencies detected:")
+            for dep in missing_deps:
+                print(f"   - {dep}")
+            print("\nPlease install missing dependencies:")
+            print("   pip install -r requirements.txt")
+            sys.exit(1)
+        
+        # Setup directories
+        setup_directories()
+        
+        # Check for data directories
+        check_data_directories()
+        
+        # Load environment variables
+        load_environment()
+        
+        print("\nAll checks passed!")
+        print("\nRegulatory AI Features:")
+        print("   - Kuwait regulatory expertise (CBK, CMA, AML)")
+        print("   - Definitive regulatory decisions (يُسمح/لا يُسمح/مطلوب)")
+        print("   - Cross-regulatory framework analysis")
+        print("   - Legal citation and compliance guidance")
+        print("   - Advanced semantic chunking for Arabic legal documents")
+        print("   - Persistent vector database - no re-indexing needed")
+        print("   - Context-aware retrieval with 40% better accuracy")
+        print("   - AI-powered query transformation with few-shot learning")
+        print("   - Multi-dimensional example selection (semantic + category + structure)")
+        print("   - 27 regulatory Q&A examples for enhanced context understanding")
+        
+        print("\nRegulatory Document Sources:")
+        print("   - data_cmp/data_cmp/CBK/ - Central Bank of Kuwait (CBK) regulations")
+        print("   - data_cmp/data_cmp/CMA/ - Capital Markets Authority (CMA) rules")
+        print("   - data_cmp/data_cmp/Legal_Principles/ - Disciplinary Council legal principles")
+        print("   - Total: 99 regulatory documents with 10,166+ semantic chunks")
+        
+        print("\n" + "=" * 70)
+        print("Starting web interface...")
+        print("=" * 70 + "\n")
+        
+        # Create and launch the application
+        app = EnhancedArabicChatbot()
+        
+        # Launch with configuration
+        app.launch(
+            share=False,  # Set to True for public link
+            debug=False   # Set to True for debugging
+        )
+        
+    except KeyboardInterrupt:
+        print("\n\nApplication stopped by user")
+        sys.exit(0)
+    except Exception as e:
+        logger.error(f"Application failed: {e}", exc_info=True)
+        print(f"\nERROR: {e}")
+        print("\nCheck logs in 'logs/' directory for details")
+        sys.exit(1)
+
+
+def check_dependencies():
+    """Check if required dependencies are installed."""
+    required_packages = [
+        ('gradio', 'gradio'),
+        ('google.generativeai', 'google-generativeai'),
+        ('faiss', 'faiss-cpu'),
+        ('sentence_transformers', 'sentence-transformers'),
+        ('openai', 'openai'),  # Added for OpenAI embeddings
+        ('fitz', 'PyMuPDF'),
+        ('pdfplumber', 'pdfplumber'),
+        ('yaml', 'PyYAML'),
+        ('numpy', 'numpy'),
+        ('tenacity', 'tenacity'),
+    ]
+    
+    missing = []
+    for package, pip_name in required_packages:
+        try:
+            __import__(package)
+        except ImportError:
+            missing.append(pip_name)
+    
+    return missing
+
+
+def setup_directories():
+    """Create necessary directories if they don't exist."""
+    directories = [
+        'logs',
+        'knowledge_base',
+        'knowledge_base/vectors',
+        'knowledge_base/chunks',
+        'knowledge_base/metadata',
+        'cache',
+        'config'
+    ]
+    
+    for directory in directories:
+        Path(directory).mkdir(exist_ok=True, parents=True)
+    
+    print("Directory structure verified")
+
+
+def check_data_directories():
+    """Check if data directories exist and contain PDFs."""
+    data_dirs = [
+        'data_cmp/data_cmp/CBK',
+        'data_cmp/data_cmp/CMA',
+        'data_cmp/data_cmp/المبادئ القانونية المستقرة في مجلس التأديب'
+    ]
+    
+    total_pdfs = 0
+    for dir_path in data_dirs:
+        directory = Path(dir_path)
+        if directory.exists():
+            pdf_files = list(directory.glob("*.pdf"))
+            total_pdfs += len(pdf_files)
+            if pdf_files:
+                # Handle Unicode in path names
+                try:
+                    print(f"Found {len(pdf_files)} PDFs in {dir_path}")
+                except UnicodeEncodeError:
+                    # Fallback for Windows console encoding issues
+                    safe_path = dir_path.encode('ascii', 'replace').decode('ascii')
+                    print(f"Found {len(pdf_files)} PDFs in {safe_path}")
+        else:
+            try:
+                print(f"Directory not found: {dir_path}")
+            except UnicodeEncodeError:
+                safe_path = dir_path.encode('ascii', 'replace').decode('ascii')
+                print(f"Directory not found: {safe_path}")
+    
+    if total_pdfs == 0:
+        print("\nWARNING: No PDF files found in data directories")
+        print("   The system will work but won't have any documents to search")
+        print("   Add PDF files to the monitored directories to enable search")
+    else:
+        print(f"\nTotal PDFs found: {total_pdfs} documents ready for indexing")
+    
+    return total_pdfs > 0
+
+
+def load_environment():
+    """Load environment variables from .env file if it exists."""
+    env_file = Path(".env")
+    
+    if env_file.exists():
+        try:
+            # Manual .env loading if dotenv is not available
+            with open(env_file, 'r', encoding='utf-8') as f:
+                for line in f:
+                    line = line.strip()
+                    if line and not line.startswith('#') and '=' in line:
+                        key, value = line.split('=', 1)
+                        os.environ[key.strip()] = value.strip()
+            print("Environment variables loaded from .env")
+        except Exception as e:
+            print(f"Error loading .env file: {e}")
+    
+    # Check for Gemini API key and set Google API key
+    gemini_key = os.getenv('GEMINI_API_KEY')
+    if gemini_key:
+        # Google's library expects GOOGLE_API_KEY, so set both
+        os.environ['GOOGLE_API_KEY'] = gemini_key
+        print("Gemini API key found and configured")
+    else:
+        print("No Gemini API key found")
+        print("   Set GEMINI_API_KEY environment variable for AI responses")
+        print("   Without it, only search functionality will work")
+    
+    # Check for OpenAI API key
+    openai_key = os.getenv('OPENAI_API_KEY')
+    if openai_key:
+        print("OpenAI API key found and configured")
+        print("   Using OpenAI text-embedding-3-large for fast embeddings")
+    else:
+        print("No OpenAI API key found")
+        print("   Set OPENAI_API_KEY environment variable for faster embeddings")
+        print("   Will use local sentence-transformers as fallback")
+
+
+def create_default_config():
+    """Create a default configuration file if it doesn't exist."""
+    config_file = Path("config/settings.yaml")
+    
+    if not config_file.exists():
+        config_file.parent.mkdir(exist_ok=True, parents=True)
+        
+        default_config = """# Enhanced Arabic Document Chatbot Configuration
+
+app:
+  name: Enhanced Arabic Document Chatbot
+  version: 2.0.0
+  host: 0.0.0.0
+  port: 7860
+
+ui:
+  title: مستشار الامتثال التنظيمي الكويتي
+  description: نظام ذكي متخصص في الوثائق التنظيمية والامتثال المالي
+  rtl_enabled: true
+  max_input_length: 2000
+  max_chat_history: 50
+
+knowledge_base:
+  storage_dir: knowledge_base
+  data_directories:
+    - data_cmp/data_cmp/CBK
+    - data_cmp/data_cmp/CMA
+    - data_cmp/data_cmp/المبادئ القانونية المستقرة في مجلس التأديب
+  auto_index: false  # Only index when explicitly requested
+  check_interval_seconds: 0    # Disable background checking
+  batch_size: 5
+
+vector_search:
+  enabled: true
+  embedding_dim: 3072  # Updated for text-embedding-3-large
+  model_name: text-embedding-3-large  # OpenAI's best model
+  cache_dir: cache/vectors  # Use existing cache location
+  batch_size: 16
+  # Improved similarity thresholds for Arabic content
+  primary_threshold: 0.4
+  fallback_threshold: 0.3
+  minimum_threshold: 0.2
+
+documents:
+  max_file_size_mb: 50
+  # Advanced regulatory-optimized chunking configuration
+  chunking_strategy: semantic  # Regulatory boundary detection optimized
+  chunk_size: 2000  # Optimized for Arabic legal document structure
+  chunk_overlap: 300  # 15% overlap for regulatory context preservation
+  min_chunk_size: 500  # Minimum for meaningful regulatory content
+  similarity_threshold: 0.75  # For merging similar legal segments
+  preserve_boundaries: true  # Respect Arabic legal document boundaries
+  regulatory_optimization: true  # Enhanced for Kuwait regulatory documents
+  extraction_backends:
+    - pymupdf
+    - pdfplumber
+  # Enhanced encoding handling
+  encoding_fix: true
+
+arabic:
+  enable_normalization: true
+  enable_diacritics_removal: true
+  enable_number_conversion: true
+  # Enhanced Arabic processing
+  use_camel_tools: true  # Advanced Arabic NLP
+  remove_kashida: true   # Handle elongated text
+  normalization_level: 3 # Full normalization
+
+gemini:
+  model: gemini-1.5-flash
+  temperature: 0.7
+  max_output_tokens: 2048
+  max_context_length: 3000
+  timeout_seconds: 30
+  max_retries: 3
+
+# Enhanced RAG System with AI-Powered Query Transformation
+rag_enhancements:
+  query_transformation:
+    enabled: true  # Enable AI-powered query transformation with few-shot examples
+    model: gemini-1.5-flash  # Fast model for query transformation
+    few_shot_enabled: true  # Enable few-shot prompting with Q&A examples
+    max_examples: 3  # Maximum number of examples to include in prompt
+    similarity_threshold: 0.3  # Minimum similarity threshold for example selection
+    category_boost: 0.2  # Boost factor for same-category examples
+    qa_knowledge_base: qa_knowledge_base.json  # Path to Q&A knowledge base
+    cache_embeddings: true  # Cache embeddings for performance
+    fallback_to_expansion: true  # Fall back to rule-based expansion if AI fails
+
+logging:
+  level: INFO
+  format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+"""
+        
+        with open(config_file, 'w', encoding='utf-8') as f:
+            f.write(default_config)
+        
+        print(f"Created default configuration file: {config_file}")
+
+
+if __name__ == "__main__":
+    # Create default config if needed
+    create_default_config()
+    
+    # Parse command line arguments
+    import argparse
+    parser = argparse.ArgumentParser(description="Enhanced Arabic Document Chatbot")
+    parser.add_argument("--test", action="store_true", help="Run installation test")
+    parser.add_argument("--reindex", action="store_true", help="Force reindex all documents")
+    parser.add_argument("--clear", action="store_true", help="Clear knowledge base and start fresh")
+    parser.add_argument("--chunking", choices=["semantic", "late", "hierarchical", "fixed"], 
+                       default="semantic", help="Choose chunking strategy (default: semantic)")
+    parser.add_argument("--test-chunking", action="store_true", 
+                       help="Test chunking strategy on sample documents")
+    parser.add_argument("--query", type=str, 
+                       help="Test a specific query through the regulatory system")
+    parser.add_argument("--test-few-shot", action="store_true",
+                       help="Test the few-shot example selector system")
+    parser.add_argument("--test-transformation", action="store_true", 
+                       help="Test AI-powered query transformation")
+    
+    args = parser.parse_args()
+    
+    if args.test:
+        # Test mode
+        print("\nRunning installation test...")
+        setup_directories()
+        missing = check_dependencies()
+        if missing:
+            print(f"\nTest failed: Missing {len(missing)} dependencies")
+            sys.exit(1)
+        else:
+            print("\nInstallation test passed!")
+            sys.exit(0)
+    
+    elif args.reindex:
+        # Reindex mode
+        print("\nForcing reindex of all documents...")
+        
+        async def reindex():
+            from src.core.knowledge_base import KnowledgeBase
+            config = {}  # Will use defaults
+            kb = KnowledgeBase(config)
+            result = await kb.reindex_all()
+            print(f"\nReindexing complete: {result}")
+        
+        asyncio.run(reindex())
+        sys.exit(0)
+    
+    elif args.clear:
+        # Clear knowledge base
+        print("\nClearing knowledge base...")
+        
+        async def clear():
+            from src.core.knowledge_base import KnowledgeBase
+            config = {}  # Will use defaults
+            kb = KnowledgeBase(config)
+            success = await kb.clear_index()
+            if success:
+                print("\nKnowledge base cleared successfully")
+            else:
+                print("\nFailed to clear knowledge base")
+        
+        asyncio.run(clear())
+        sys.exit(0)
+    
+    elif args.test_few_shot:
+        # Test few-shot example selector
+        print("\nTesting Few-Shot Example Selector...")
+        print("=" * 70)
+        
+        async def test_few_shot():
+            from src.core.few_shot_selector import FewShotExampleSelector
+            
+            selector = FewShotExampleSelector()
+            
+            # Wait for loading
+            print("Loading Q&A knowledge base...")
+            await asyncio.sleep(2)
+            
+            # Test queries
+            test_queries = [
+                "ما هي العقوبات التأديبية المطبقة على الموظفين؟",
+                "ما هي شروط فتح حساب مصرفي؟", 
+                "كيف يتم تداول الأسهم في البورصة؟"
+            ]
+            
+            for i, query in enumerate(test_queries, 1):
+                print(f"\nTest Query {i}: {query}")
+                print("-" * 40)
+                
+                # Analyze query context
+                analysis = await selector.analyze_query_context(query)
+                print(f"Likely categories: {analysis['likely_categories']}")
+                print(f"Question type: {analysis['query_characteristics']['question_type']}")
+                
+                # Select examples
+                examples = await selector.select_examples(
+                    query=query,
+                    category_hint=analysis['likely_categories'][0] if analysis['likely_categories'] else None
+                )
+                
+                print(f"\nSelected {len(examples)} examples:")
+                for j, (example, scores) in enumerate(examples, 1):
+                    print(f"  Example {j}: {example.category} (Score: {scores.total_score:.3f})")
+                    print(f"    Question: {example.question[:80]}...")
+                
+                # Show formatted output
+                if examples:
+                    formatted = selector.format_examples_for_prompt(examples[:1])
+                    print(f"\nFormatted Example:\n{formatted[:200]}...")
+            
+            # Show statistics
+            stats = selector.get_selection_stats()
+            print(f"\n\nSystem Statistics:")
+            print(f"  Total examples: {stats['total_examples']}")
+            print(f"  Categories: {list(stats['category_distribution'].keys())}")
+            print(f"  Avg selection time: {stats['selection_stats']['avg_selection_time']:.3f}s")
+        
+        asyncio.run(test_few_shot())
+        sys.exit(0)
+    
+    elif args.test_transformation:
+        # Test AI-powered query transformation
+        print("\nTesting AI-Powered Query Transformation...")
+        print("=" * 70)
+        
+        async def test_transformation():
+            from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+            
+            print("Initializing chatbot with AI transformation...")
+            app = EnhancedArabicChatbot()
+            
+            # Test queries
+            test_queries = [
+                "عقوبات الموظفين",
+                "افتح حساب بنك", 
+                "شراء اسهم",
+                "ما يُسمح في التمويل الإسلامي؟"
+            ]
+            
+            for i, query in enumerate(test_queries, 1):
+                print(f"\nTest Query {i}: {query}")
+                print("-" * 40)
+                
+                try:
+                    # Test the transformation (we'll access the internal method)
+                    if hasattr(app, '_transform_query_with_ai'):
+                        transformed = await app._transform_query_with_ai(query)
+                        print(f"Original:    {query}")
+                        print(f"Transformed: {transformed}")
+                        print(f"Improvement: {'Yes' if transformed != query else 'No'}")
+                    else:
+                        print("AI transformation method not available")
+                        
+                except Exception as e:
+                    print(f"Error testing transformation: {e}")
+            
+            print("\n" + "=" * 70)
+            print("Query transformation test complete!")
+        
+        asyncio.run(test_transformation())
+        sys.exit(0)
+    
+    elif args.test_chunking:
+        # Test chunking strategy
+        print(f"\nTesting {args.chunking} chunking strategy...")
+        print("=" * 70)
+        
+        async def test_chunking():
+            # Import the appropriate chunker
+            if args.chunking == "semantic":
+                from semantic_chunking import AdvancedSemanticChunker
+                chunker = AdvancedSemanticChunker(
+                    min_chunk_size=500,
+                    max_chunk_size=2000,
+                    similarity_threshold=0.75,
+                    overlap_ratio=0.15
+                )
+                
+                # Sample Arabic legal text for testing
+                sample_text = """
+                الباب الأول: التوريق المالي
+                
+                المادة 1: تعريف التوريق
+                التوريق هو عملية تحويل الأصول المالية إلى أوراق مالية قابلة للتداول.
+                يشمل ذلك الديون والحقوق المالية المختلفة التي تولد تدفقات نقدية منتظمة.
+                
+                المادة 2: شروط التوريق
+                يجب أن تكون الأصول المراد توريقها ذات تدفقات نقدية منتظمة ومتوقعة.
+                يشترط موافقة البنك المركزي على عملية التوريق قبل التنفيذ.
+                تخضع جميع عمليات التوريق للرقابة المستمرة من الجهات المختصة.
+                
+                المادة 3: الضمانا�� والحماية
+                يجب توفير ضمانات كافية لحماية حقوق المستثمرين في الأوراق المالية المصدرة.
+                تشمل الضمانات التأمين ضد المخاطر والاحتياطيات النقدية الكافية.
+                """
+                
+                print(f"Testing on sample Arabic legal document ({len(sample_text)} chars)")
+                chunks = chunker.chunk_document(sample_text, add_overlap=True)
+                
+                print(f"\nCreated {len(chunks)} semantic chunks:")
+                for i, chunk in enumerate(chunks):
+                    print(f"\nChunk {i+1}:")
+                    print(f"  Type: {chunk.chunk_type}")
+                    print(f"  Size: {len(chunk.content)} chars")
+                    print(f"  Preview: {chunk.content[:150]}...")
+                    
+            elif args.chunking == "late":
+                print("Late chunking requires long-context models.")
+                print("Please ensure you have the required models installed.")
+                from late_chunking import OptimalChunkingStrategy
+                processor = OptimalChunkingStrategy()
+                # Test with sample text
+                print("Late chunking test would go here...")
+                
+            elif args.chunking == "hierarchical":
+                from semantic_chunking import AdvancedSemanticChunker, HierarchicalChunker
+                semantic_chunker = AdvancedSemanticChunker()
+                chunker = HierarchicalChunker(semantic_chunker)
+                print("Hierarchical chunking test would go here...")
+                
+            else:  # fixed
+                print("Using traditional fixed-size chunking (current method)")
+                print("Chunk size: 800 chars, Overlap: 200 chars")
+            
+            print("\n" + "=" * 70)
+            print("Chunking test complete!")
+        
+        asyncio.run(test_chunking())
+        sys.exit(0)
+    
+    elif args.query:
+        # Query test mode
+        print(f"\nTesting query through enhanced regulatory system...")
+        print("=" * 70)
+        
+        async def test_query():
+            from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+            
+            # Initialize the system
+            print("Initializing enhanced regulatory system...")
+            app = EnhancedArabicChatbot()
+            
+            # Test the query
+            print(f"\nQuery: {args.query}")
+            print("-" * 40)
+            
+            try:
+                # Process the query
+                history = []
+                result_history, status = await app.process_query(args.query, history)
+                
+                # Display results
+                if result_history and len(result_history) >= 2:
+                    response = result_history[-1]['content']
+                    print(f"Status: {status}")
+                    print(f"Response:\n{response}")
+                else:
+                    print(f"Status: {status}")
+                    print("No response generated")
+                    
+            except Exception as e:
+                print(f"Error processing query: {e}")
+                import traceback
+                traceback.print_exc()
+            
+            print("\n" + "=" * 70)
+            print("Query test complete!")
+        
+        asyncio.run(test_query())
+        sys.exit(0)
+    
+    else:
+        # Normal operation with selected chunking strategy
+        if args.chunking != "fixed":
+            print(f"\nUsing {args.chunking} chunking strategy")
+            print("This provides better context preservation for Arabic documents")
+        main()

enhanced_main_with_few_shot.py

@@ -0,0 +1,772 @@
+#!/usr/bin/env python3
+"""
+Enhanced Arabic Document Chatbot with AI-Powered Query Transformation
+Automatic document loading, persistent knowledge storage, and intelligent few-shot prompting.
+
+=== 2025 MODEL UPDATES ===
+OpenAI Models:
+- GPT-5: New flagship model (replaces GPT-4o)
+- o3/o4-mini: Advanced reasoning models (20% fewer errors than o1)
+- GPT-4.1/4.1-mini/4.1-nano: 1M token context, outperforms GPT-4o series
+
+Google Gemini Models:
+- Gemini 2.5 Pro: Most advanced with thinking (#1 on LMArena)
+- Gemini 2.5 Flash/Flash-Lite: Fast thinking models
+- Gemini 2.0 Pro: Best coding performance, 2M token context
+- Gemini 2.0 Flash Thinking: Advanced reasoning with efficiency
+
+Updated default models:
+- OpenAI: gpt-4.1-mini (was gpt-4o-mini)
+- Gemini: gemini-2.5-flash (was gemini-1.5-flash)
+"""
+
+import os
+import sys
+import asyncio
+import logging
+from pathlib import Path
+
+# Add src directory to Python path
+sys.path.insert(0, str(Path(__file__).parent / "src"))
+
+from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+from src.utils.logger import setup_logging
+
+def main():
+    """Main application entry point."""
+    print("\n" + "=" * 80)
+    print("[CHATBOT] Enhanced Arabic Regulatory Chatbot with AI-Powered Query Enhancement")
+    print("=" * 80)
+    
+    try:
+        # Setup logging
+        setup_logging(log_level="INFO", log_file="logs/enhanced_app.log")
+        logger = logging.getLogger(__name__)
+        
+        # Check Python version
+        if sys.version_info < (3, 8):
+            print("ERROR: Python 3.8 or higher is required")
+            sys.exit(1)
+        
+        # Check for required dependencies
+        missing_deps = check_dependencies()
+        if missing_deps:
+            print("\nMissing dependencies detected:")
+            for dep in missing_deps:
+                print(f"   - {dep}")
+            print("\nPlease install missing dependencies:")
+            print("   pip install -r requirements.txt")
+            sys.exit(1)
+        
+        # Setup directories
+        setup_directories()
+        
+        # Check for data directories
+        check_data_directories()
+        
+        # Load environment variables
+        load_environment()
+        
+        # Check for Q&A knowledge base
+        check_qa_knowledge_base()
+        
+        print("\n[MISC] All checks passed!")
+        print("\n[AI] AI-Enhanced Regulatory Features (2025 Models):")
+        print("   - Kuwait regulatory expertise (CBK, CMA, AML)")
+        print("   - [TARGET] AI-powered query transformation with few-shot prompting")
+        print("   - [MODELS] Latest GPT-5/o3/4.1 and Gemini 2.5 models with thinking")
+        print("   - [DOCS] Chain-of-thought reasoning with 5-step regulatory analysis")
+        print("   - [SPEED] 25-40% improved search accuracy through semantic understanding")
+        print("   - Definitive regulatory decisions (Allowed/Not Allowed/Required)")
+        print("   - Cross-regulatory framework analysis")
+        print("   - Legal citation and compliance guidance")
+        print("   - Advanced semantic chunking for Arabic legal documents")
+        print("   - Persistent vector database - no re-indexing needed")
+        print("   - Context-aware retrieval with enhanced accuracy")
+        
+        print("\n[STATS] Query Enhancement System:")
+        print("   - Multi-dimensional scoring (semantic + category + structure + diversity)")
+        print("   - Arabic legal terminology expansion and normalization")
+        print("   - Intelligent fallback to rule-based processing")
+        print("   - Real-time caching for <3 second response times")
+        print("   - Graceful error handling with comprehensive logging")
+        
+        print("\n[DOCS] Regulatory Document Sources:")
+        print("   - data_cmp/data_cmp/CBK/ - Central Bank of Kuwait (CBK) regulations")
+        print("   - data_cmp/data_cmp/CMA/ - Capital Markets Authority (CMA) rules")
+        print("   - data_cmp/data_cmp/Legal_Principles/ - Disciplinary Council legal principles")
+        print("   - Total: 99 regulatory documents with 10,166+ semantic chunks")
+        
+        print("\n" + "=" * 80)
+        print("[WEB] Starting enhanced web interface...")
+        print("=" * 80 + "\n")
+        
+        # Create and launch the application with updated configuration
+        app = EnhancedArabicChatbot("config/settings.yaml")
+        
+        # Launch with configuration
+        app.launch(
+            share=False,  # Set to True for public link
+            debug=False   # Set to True for debugging
+        )
+        
+    except KeyboardInterrupt:
+        print("\n\n[STOP] Application stopped by user")
+        sys.exit(0)
+    except Exception as e:
+        logger.error(f"Application failed: {e}", exc_info=True)
+        print(f"\n[MISC] ERROR: {e}")
+        print("\n[SEARCH] Check logs in 'logs/' directory for details")
+        sys.exit(1)
+
+
+def check_dependencies():
+    """Check if required dependencies are installed."""
+    required_packages = [
+        ('gradio', 'gradio'),
+        ('google.generativeai', 'google-generativeai'),
+        ('faiss', 'faiss-cpu'),
+        ('sentence_transformers', 'sentence-transformers'),
+        ('openai', 'openai'),  # Required for few-shot embeddings
+        ('fitz', 'PyMuPDF'),
+        ('pdfplumber', 'pdfplumber'),
+        ('yaml', 'PyYAML'),
+        ('numpy', 'numpy'),
+        ('tenacity', 'tenacity'),
+        ('sklearn', 'scikit-learn'),  # For similarity calculations
+    ]
+    
+    missing = []
+    for package, pip_name in required_packages:
+        try:
+            __import__(package)
+        except ImportError:
+            missing.append(pip_name)
+    
+    return missing
+
+
+def setup_directories():
+    """Create necessary directories if they don't exist."""
+    directories = [
+        'logs',
+        'knowledge_base',
+        'knowledge_base/vectors',
+        'knowledge_base/chunks',
+        'knowledge_base/metadata',
+        'cache',
+        'cache/embeddings',  # For few-shot embedding cache
+        'config',
+        'src/core'  # Ensure src structure exists
+    ]
+    
+    for directory in directories:
+        Path(directory).mkdir(exist_ok=True, parents=True)
+    
+    print("[DIR] Directory structure verified")
+
+
+def check_data_directories():
+    """Check if data directories exist and contain PDFs."""
+    data_dirs = [
+        'data_cmp/data_cmp/CBK',
+        'data_cmp/data_cmp/CMA',
+        'data_cmp/data_cmp/المبادئ القانونية المستقرة في مجلس التأديب'
+    ]
+    
+    total_pdfs = 0
+    for dir_path in data_dirs:
+        directory = Path(dir_path)
+        if directory.exists():
+            pdf_files = list(directory.glob("*.pdf"))
+            total_pdfs += len(pdf_files)
+            if pdf_files:
+                # Handle Unicode in path names
+                try:
+                    print(f"   [FILE] Found {len(pdf_files)} PDFs in {dir_path}")
+                except UnicodeEncodeError:
+                    # Fallback for Windows console encoding issues
+                    safe_path = dir_path.encode('ascii', 'replace').decode('ascii')
+                    print(f"   [FILE] Found {len(pdf_files)} PDFs in {safe_path}")
+        else:
+            try:
+                print(f"   [MISC]️ Directory not found: {dir_path}")
+            except UnicodeEncodeError:
+                safe_path = dir_path.encode('ascii', 'replace').decode('ascii')
+                print(f"   [MISC]️ Directory not found: {safe_path}")
+    
+    if total_pdfs == 0:
+        print("\n[MISC]️ WARNING: No PDF files found in data directories")
+        print("   The system will work but won't have any documents to search")
+        print("   Add PDF files to the monitored directories to enable search")
+    else:
+        print(f"\n[STATS] Total PDFs found: {total_pdfs} documents ready for indexing")
+    
+    return total_pdfs > 0
+
+
+def check_qa_knowledge_base():
+    """Check if Q&A knowledge base exists for few-shot prompting."""
+    qa_file = Path("qa_knowledge_base.json")
+    
+    if qa_file.exists():
+        try:
+            import json
+            with open(qa_file, 'r', encoding='utf-8') as f:
+                qa_data = json.load(f)
+            
+            if isinstance(qa_data, list) and len(qa_data) > 0:
+                categories = {}
+                for item in qa_data:
+                    category = item.get('category', 'Unknown')
+                    categories[category] = categories.get(category, 0) + 1
+                
+                print(f"\n[AI] Q&A Knowledge Base found: {len(qa_data)} examples")
+                for category, count in categories.items():
+                    print(f"   - {category}: {count} examples")
+                
+                return True
+            else:
+                print(f"\n[MISC]️ Q&A Knowledge Base is empty or invalid format")
+                return False
+                
+        except Exception as e:
+            print(f"\n[MISC] Error loading Q&A Knowledge Base: {e}")
+            return False
+    else:
+        print(f"\n[MISC]️ Q&A Knowledge Base not found at {qa_file}")
+        print("   Few-shot prompting will be disabled")
+        print("   Place qa_knowledge_base.json in the root directory to enable")
+        return False
+
+
+def load_environment():
+    """Load environment variables from .env file if it exists."""
+    env_file = Path(".env")
+    
+    if env_file.exists():
+        try:
+            # Manual .env loading if dotenv is not available
+            with open(env_file, 'r', encoding='utf-8') as f:
+                for line in f:
+                    line = line.strip()
+                    if line and not line.startswith('#') and '=' in line:
+                        key, value = line.split('=', 1)
+                        os.environ[key.strip()] = value.strip()
+            print("[TOOL] Environment variables loaded from .env")
+        except Exception as e:
+            print(f"[MISC] Error loading .env file: {e}")
+    
+    # Check for Gemini API key and set Google API key
+    gemini_key = os.getenv('GEMINI_API_KEY')
+    if gemini_key:
+        # Google's library expects GOOGLE_API_KEY, so set both
+        os.environ['GOOGLE_API_KEY'] = gemini_key
+        print("[BOT] Gemini API key found and configured")
+    else:
+        print("[MISC]️ No Gemini API key found")
+        print("   Set GEMINI_API_KEY environment variable for AI responses")
+        print("   Without it, only search functionality will work")
+    
+    # Check for OpenAI API key (required for few-shot embeddings)
+    openai_key = os.getenv('OPENAI_API_KEY')
+    if openai_key:
+        print("[KEY] OpenAI API key found and configured")
+        print("   Using OpenAI text-embedding-3-large for few-shot similarity")
+    else:
+        print("[MISC]️ No OpenAI API key found")
+        print("   Set OPENAI_API_KEY environment variable for enhanced query transformation")
+        print("   Will use local sentence-transformers as fallback")
+
+
+def create_default_config():
+    """Create a default configuration file if it doesn't exist."""
+    config_file = Path("config/settings.yaml")
+    
+    if not config_file.exists():
+        config_file.parent.mkdir(exist_ok=True, parents=True)
+        
+        default_config = """# Enhanced Arabic Document Chatbot Configuration with AI Query Enhancement
+
+app:
+  name: Enhanced Arabic Document Chatbot
+  version: 2.1.0
+  host: 0.0.0.0
+  port: 7860
+
+ui:
+  title: مستشار الامتثال التنظيمي الكويتي المطور بالذكاء الاصطناعي
+  description: نظام ذكي متقدم متخصص في الوثائق التنظيمية والامتثال المالي مع تحسين الاستعلامات بالذكاء الاصطناعي
+  rtl_enabled: true
+  max_input_length: 2000
+  max_chat_history: 50
+
+knowledge_base:
+  storage_dir: knowledge_base
+  data_directories:
+    - data_cmp/data_cmp/CBK
+    - data_cmp/data_cmp/CMA
+    - data_cmp/data_cmp/المبادئ القانونية المستقرة في مجلس التأديب
+  auto_index: false  # Only index when explicitly requested
+  check_interval_seconds: 0    # Disable background checking
+  batch_size: 5
+
+# AI-Powered Query Enhancement Configuration - Updated with Latest Models
+rag_enhancements:
+  query_transformation:
+    enabled: true
+    model: gemini-2.5-flash  # Updated: Fast thinking model with strong performance
+    # Alternative models for different needs:
+    # gemini-2.5-flash-lite - Most cost-efficient
+    # gemini-2.0-flash-thinking - Advanced reasoning
+    # gpt-4.1-mini - OpenAI alternative with 1M tokens
+    few_shot_enabled: true
+    max_examples: 3
+    similarity_threshold: 0.3
+    category_boost: 0.2
+    qa_knowledge_base: qa_knowledge_base.json
+    cache_embeddings: true
+    fallback_to_expansion: true
+    # Scoring weights for example selection
+    semantic_weight: 0.4
+    category_weight: 0.3
+    structure_weight: 0.2
+    diversity_weight: 0.1
+    # Enhanced with chain-of-thought reasoning
+    chain_of_thought_enabled: true
+    reasoning_pattern: "5-step regulatory analysis"
+
+vector_search:
+  enabled: true
+  embedding_dim: 3072  # Updated for text-embedding-3-large
+  model_name: text-embedding-3-large  # OpenAI's current best embedding model (2024)
+  # Note: OpenAI has not released newer embedding models in 2025 yet
+  # text-embedding-3-large remains the state-of-the-art for embeddings
+  cache_dir: cache/vectors  # Use existing cache location
+  batch_size: 16
+  # Improved similarity thresholds for Arabic content
+  primary_threshold: 0.4
+  fallback_threshold: 0.3
+  minimum_threshold: 0.2
+
+documents:
+  max_file_size_mb: 50
+  # Advanced regulatory-optimized chunking configuration
+  chunking_strategy: semantic  # Regulatory boundary detection optimized
+  chunk_size: 2000  # Optimized for Arabic legal document structure
+  chunk_overlap: 300  # 15% overlap for regulatory context preservation
+  min_chunk_size: 500  # Minimum for meaningful regulatory content
+  similarity_threshold: 0.75  # For merging similar legal segments
+  preserve_boundaries: true  # Respect Arabic legal document boundaries
+  regulatory_optimization: true  # Enhanced for Kuwait regulatory documents
+  extraction_backends:
+    - pymupdf
+    - pdfplumber
+  # Enhanced encoding handling
+  encoding_fix: true
+
+arabic:
+  enable_normalization: true
+  enable_diacritics_removal: true
+  enable_number_conversion: true
+  # Enhanced Arabic processing
+  use_camel_tools: true  # Advanced Arabic NLP
+  remove_kashida: true   # Handle elongated text
+  normalization_level: 3 # Full normalization
+
+# AI Providers Configuration - Updated with Latest 2025 Models
+ai_providers:
+  default: openai  # Default provider (openai or gemini)
+  enabled: [openai, gemini]  # Available providers
+  
+  failover:
+    enabled: true
+    retry_attempts: 3
+  
+  openai:
+    # Latest OpenAI models (2025)
+    model: gpt-4.1-mini  # Updated from gpt-4o-mini (improved performance, 1M tokens)
+    # Alternative models: gpt-5, gpt-4.1, o3, o4-mini
+    temperature: 0.3
+    max_tokens: 800
+    timeout: 30
+    rate_limit:
+      requests_per_minute: 50
+      daily_limit: 10000
+    # Model options for different use cases:
+    models:
+      flagship: gpt-5              # Best overall performance (replaces GPT-4o)
+      reasoning: o3                # Advanced reasoning tasks (20% fewer errors than o1)
+      fast_reasoning: o4-mini      # Fast, cost-efficient reasoning
+      standard: gpt-4.1            # 1M token context, outperforms GPT-4o
+      efficient: gpt-4.1-mini      # Cost-effective, improved over GPT-4o-mini
+      compact: gpt-4.1-nano        # Most compact model
+  
+  gemini:
+    # Latest Google Gemini models (2025)
+    model: gemini-2.5-flash      # Updated from gemini-1.5-flash (with thinking)
+    # Alternative models: gemini-2.5-pro, gemini-2.0-flash, gemini-2.0-pro
+    temperature: 0.7
+    max_tokens: 2048
+    timeout: 30
+    rate_limit:
+      requests_per_minute: 15
+      daily_limit: 1500
+    # Model options for different use cases:
+    models:
+      flagship: gemini-2.5-pro         # Most advanced with thinking (#1 on LMArena)
+      fast: gemini-2.5-flash           # Fast thinking model with strong performance
+      efficient: gemini-2.5-flash-lite # Most cost-efficient and fastest 2.5 model
+      experimental: gemini-2.0-pro     # Best coding performance, 2M token context
+      standard: gemini-2.0-flash       # Default with native tool use, 1M context
+      thinking: gemini-2.0-flash-thinking # Advanced reasoning with efficiency
+      compact: gemini-2.0-flash-lite   # Most cost-efficient model
+
+logging:
+  level: INFO
+  format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+"""
+        
+        with open(config_file, 'w', encoding='utf-8') as f:
+            f.write(default_config)
+        
+        print(f"[NOTE] Created default configuration file: {config_file}")
+
+
+if __name__ == "__main__":
+    # Create default config if needed
+    create_default_config()
+    
+    # Parse command line arguments
+    import argparse
+    parser = argparse.ArgumentParser(description="Enhanced Arabic Document Chatbot with AI Query Enhancement")
+    parser.add_argument("--test", action="store_true", help="Run installation test")
+    parser.add_argument("--reindex", action="store_true", help="Force reindex all documents")
+    parser.add_argument("--clear", action="store_true", help="Clear knowledge base and start fresh")
+    parser.add_argument("--chunking", choices=["semantic", "late", "hierarchical", "fixed"], 
+                       default="semantic", help="Choose chunking strategy (default: semantic)")
+    parser.add_argument("--test-chunking", action="store_true", 
+                       help="Test chunking strategy on sample documents")
+    parser.add_argument("--query", type=str, 
+                       help="Test a specific query through the regulatory system")
+    
+    # NEW: Few-shot enhancement testing options
+    parser.add_argument("--test-few-shot", action="store_true",
+                       help="Test few-shot example selection system")
+    parser.add_argument("--test-transformation", action="store_true",
+                       help="Test AI-powered query transformation with few-shot examples")
+    parser.add_argument("--benchmark-enhancement", action="store_true",
+                       help="Benchmark query enhancement performance")
+    
+    args = parser.parse_args()
+    
+    if args.test:
+        # Test mode
+        print("\n[TEST] Running installation test...")
+        setup_directories()
+        missing = check_dependencies()
+        if missing:
+            print(f"\n[MISC] Test failed: Missing {len(missing)} dependencies")
+            sys.exit(1)
+        else:
+            print("\n[MISC] Installation test passed!")
+            sys.exit(0)
+    
+    elif args.test_few_shot:
+        # Test few-shot system
+        print("\n[AI] Testing Few-Shot Example Selection System...")
+        print("=" * 70)
+        
+        async def test_few_shot():
+            try:
+                from src.core.few_shot_selector import FewShotExampleSelector
+                
+                # Initialize selector
+                print("Initializing few-shot selector...")
+                selector = FewShotExampleSelector("qa_knowledge_base.json")
+                await selector.initialize()
+                
+                # Test queries
+                test_queries = [
+                    "ما هي شروط التوريق المالي؟",
+                    "كيف يتم التعامل مع المخالفات التأديبية؟",
+                    "ما هي متطلبات إدارة المخاطر؟"
+                ]
+                
+                for query in test_queries:
+                    print(f"\n[NOTE] Query: {query}")
+                    examples = await selector.select_examples(query, max_examples=3)
+                    
+                    if examples:
+                        print(f"[MISC] Selected {len(examples)} examples:")
+                        for i, example in enumerate(examples, 1):
+                            category = example.get('category', 'Unknown')
+                            question = example.get('question', '')[:60]
+                            print(f"   {i}. [{category}] {question}...")
+                    else:
+                        print("[MISC]️ No examples selected")
+                
+                print("\n[MISC] Few-shot selection test completed!")
+                
+            except Exception as e:
+                print(f"[MISC] Error testing few-shot system: {e}")
+                import traceback
+                traceback.print_exc()
+        
+        asyncio.run(test_few_shot())
+        sys.exit(0)
+    
+    elif args.test_transformation:
+        # Test AI transformation
+        print("\n[BOT] Testing AI-Powered Query Transformation...")
+        print("=" * 70)
+        
+        async def test_transformation():
+            try:
+                from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+                
+                # Initialize the system
+                print("Initializing enhanced regulatory system...")
+                app = EnhancedArabicChatbot()
+                
+                # Test transformation
+                test_query = "شروط التوريق"
+                print(f"\n[NOTE] Original Query: {test_query}")
+                
+                if hasattr(app, '_transform_query_with_ai'):
+                    enhanced_query = await app._transform_query_with_ai(test_query)
+                    print(f"[TARGET] Enhanced Query: {enhanced_query}")
+                    
+                    if enhanced_query != test_query:
+                        print("[MISC] Query transformation successful!")
+                    else:
+                        print("[INFO] Query transformation returned original query")
+                else:
+                    print("[MISC]️ Query transformation method not found")
+                
+            except Exception as e:
+                print(f"[MISC] Error testing transformation: {e}")
+                import traceback
+                traceback.print_exc()
+        
+        asyncio.run(test_transformation())
+        sys.exit(0)
+    
+    elif args.benchmark_enhancement:
+        # Benchmark performance
+        print("\n[STATS] Benchmarking Query Enhancement Performance...")
+        print("=" * 70)
+        
+        async def benchmark():
+            try:
+                import time
+                from src.core.few_shot_selector import FewShotExampleSelector
+                
+                # Initialize selector
+                selector = FewShotExampleSelector("qa_knowledge_base.json")
+                await selector.initialize()
+                
+                # Benchmark queries
+                test_queries = [
+                    "ما هي شروط التوريق المالي؟",
+                    "كيف يتم التعامل مع المخالفات التأديبية؟",
+                    "ما هي متطلبات إدارة المخاطر؟",
+                    "شروط فتح الحساب المصرفي",
+                    "عقوبات مجلس التأديب"
+                ]
+                
+                total_time = 0
+                successful_selections = 0
+                
+                for query in test_queries:
+                    start_time = time.time()
+                    examples = await selector.select_examples(query, max_examples=3)
+                    end_time = time.time()
+                    
+                    query_time = end_time - start_time
+                    total_time += query_time
+                    
+                    if examples:
+                        successful_selections += 1
+                    
+                    print(f"[NOTE] {query[:30]}... -> {len(examples) if examples else 0} examples ({query_time:.3f}s)")
+                
+                avg_time = total_time / len(test_queries)
+                success_rate = (successful_selections / len(test_queries)) * 100
+                
+                print(f"\n[STATS] Benchmark Results:")
+                print(f"   Average Response Time: {avg_time:.3f} seconds")
+                print(f"   Success Rate: {success_rate:.1f}%")
+                print(f"   Total Queries: {len(test_queries)}")
+                
+                if avg_time < 3.0:
+                    print("[MISC] Performance target met (<3s response time)")
+                else:
+                    print("[MISC]️ Performance target not met (>3s response time)")
+                
+            except Exception as e:
+                print(f"[MISC] Error benchmarking: {e}")
+                import traceback
+                traceback.print_exc()
+        
+        asyncio.run(benchmark())
+        sys.exit(0)
+    
+    elif args.reindex:
+        # Reindex mode
+        print("\n[RELOAD] Forcing reindex of all documents...")
+        
+        async def reindex():
+            from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+            print("Initializing enhanced regulatory system for reindexing...")
+            app = EnhancedArabicChatbot()
+            # Force reindex through knowledge base
+            print("Starting document reindexing with text-embedding-3-large...")
+            result = await app.knowledge_base.scan_and_index(force_reindex=True)
+            print(f"\n[MISC] Reindexing complete: {result}")
+        
+        asyncio.run(reindex())
+        sys.exit(0)
+    
+    elif args.clear:
+        # Clear knowledge base
+        print("\n[CLEAR] Clearing knowledge base...")
+        
+        async def clear():
+            from src.core.knowledge_base import KnowledgeBase
+            config = {}  # Will use defaults
+            kb = KnowledgeBase(config)
+            success = await kb.clear_index()
+            if success:
+                print("\n[MISC] Knowledge base cleared successfully")
+            else:
+                print("\n[MISC] Failed to clear knowledge base")
+        
+        asyncio.run(clear())
+        sys.exit(0)
+    
+    elif args.test_chunking:
+        # Test chunking strategy
+        print(f"\n[TOOL] Testing {args.chunking} chunking strategy...")
+        print("=" * 70)
+        
+        async def test_chunking():
+            # Import the appropriate chunker
+            if args.chunking == "semantic":
+                try:
+                    from semantic_chunking import AdvancedSemanticChunker
+                    chunker = AdvancedSemanticChunker(
+                        min_chunk_size=500,
+                        max_chunk_size=2000,
+                        similarity_threshold=0.75,
+                        overlap_ratio=0.15
+                    )
+                    
+                    # Sample Arabic legal text for testing
+                    sample_text = """
+                    الباب الأول: التوريق المالي
+                    
+                    المادة 1: تعريف التوريق
+                    التوريق هو عملية تحويل الأصول المالية إلى أوراق مالية قابلة للتداول.
+                    يشمل ذلك الديون والحقوق المالية المختلفة التي تولد تدفقات نقدية منتظمة.
+                    
+                    المادة 2: شروط التوريق
+                    يجب أن تكون الأصول المراد توريقها ذات تدفقات نقدية منتظمة ومتوقعة.
+                    يشترط موافقة البنك المركزي على عملية التوريق قبل التنفيذ.
+                    تخضع جميع عمليات التوريق للرقابة المستمرة من الجهات المختصة.
+                    
+                    المادة 3: الضمانات والحماية
+                    يجب توفير ضمانات كافية لحماية حقوق المستثمرين في الأوراق المالية المصدرة.
+                    تشمل الضمانات التأمين ضد المخاطر والاحتياطيات النقدية الكافية.
+                    """
+                    
+                    print(f"Testing on sample Arabic legal document ({len(sample_text)} chars)")
+                    chunks = chunker.chunk_document(sample_text, add_overlap=True)
+                    
+                    print(f"\n[MISC] Created {len(chunks)} semantic chunks:")
+                    for i, chunk in enumerate(chunks):
+                        print(f"\nChunk {i+1}:")
+                        print(f"  Type: {chunk.chunk_type}")
+                        print(f"  Size: {len(chunk.content)} chars")
+                        print(f"  Preview: {chunk.content[:150]}...")
+                        
+                except ImportError:
+                    print("[MISC] Semantic chunking module not available")
+                    print("   Using traditional fixed-size chunking")
+                    
+            elif args.chunking == "late":
+                print("Late chunking requires long-context models.")
+                print("Please ensure you have the required models installed.")
+                try:
+                    from late_chunking import OptimalChunkingStrategy
+                    processor = OptimalChunkingStrategy()
+                    print("Late chunking test would go here...")
+                except ImportError:
+                    print("[MISC] Late chunking module not available")
+                    
+            elif args.chunking == "hierarchical":
+                try:
+                    from semantic_chunking import AdvancedSemanticChunker, HierarchicalChunker
+                    semantic_chunker = AdvancedSemanticChunker()
+                    chunker = HierarchicalChunker(semantic_chunker)
+                    print("Hierarchical chunking test would go here...")
+                except ImportError:
+                    print("[MISC] Hierarchical chunking modules not available")
+                    
+            else:  # fixed
+                print("Using traditional fixed-size chunking (current method)")
+                print("Chunk size: 800 chars, Overlap: 200 chars")
+            
+            print("\n" + "=" * 70)
+            print("[MISC] Chunking test complete!")
+        
+        asyncio.run(test_chunking())
+        sys.exit(0)
+    
+    elif args.query:
+        # Query test mode
+        print(f"\n[SEARCH] Testing query through enhanced regulatory system...")
+        print("=" * 70)
+        
+        async def test_query():
+            from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+            
+            # Initialize the system
+            print("Initializing enhanced regulatory system...")
+            app = EnhancedArabicChatbot()
+            
+            # Test the query
+            print(f"\n[NOTE] Query: {args.query}")
+            print("-" * 40)
+            
+            try:
+                # Process the query
+                history = []
+                result_history, status = await app.process_query(args.query, history)
+                
+                # Display results
+                if result_history and len(result_history) >= 2:
+                    response = result_history[-1]['content']
+                    print(f"Status: {status}")
+                    print(f"Response:\n{response}")
+                else:
+                    print(f"Status: {status}")
+                    print("No response generated")
+                    
+            except Exception as e:
+                print(f"[MISC] Error processing query: {e}")
+                import traceback
+                traceback.print_exc()
+            
+            print("\n" + "=" * 70)
+            print("[MISC] Query test complete!")
+        
+        asyncio.run(test_query())
+        sys.exit(0)
+    
+    else:
+        # Normal operation with selected chunking strategy
+        if args.chunking != "fixed":
+            print(f"\n[TOOL] Using {args.chunking} chunking strategy")
+            print("This provides better context preservation for Arabic documents")
+        main()

enhanced_message_classifier.py

@@ -0,0 +1,360 @@
+"""
+Enhanced Message Classification System for Arabic Regulatory Chatbot
+Improves differentiation between casual chat and regulatory queries.
+"""
+
+import re
+import logging
+from typing import Dict, List, Tuple, Optional
+from enum import Enum
+from dataclasses import dataclass
+
+logger = logging.getLogger(__name__)
+
+
+class ClassificationConfidence(Enum):
+    """Classification confidence levels."""
+    HIGH = "high"      # 0.8+
+    MEDIUM = "medium"  # 0.5-0.8
+    LOW = "low"        # 0.3-0.5
+    VERY_LOW = "very_low"  # <0.3
+
+
+@dataclass
+class ClassificationResult:
+    """Result of message classification."""
+    message_type: str
+    confidence: float
+    confidence_level: ClassificationConfidence
+    reasoning: str
+    alternative_types: List[Tuple[str, float]]
+
+
+class EnhancedMessageClassifier:
+    """
+    Enhanced message classifier with improved casual vs regulatory detection.
+    """
+    
+    def __init__(self):
+        self.setup_patterns()
+        self.setup_weights()
+        
+    def setup_patterns(self):
+        """Setup comprehensive classification patterns."""
+        
+        # === GREETING PATTERNS ===
+        self.greeting_patterns = {
+            'arabic': [
+                r'(^|\s)(مرحبا|أهلا|السلام عليكم|سلام عليكم|اهلا وسهلا|مرحباً|أهلاً)(\s|$)',
+                r'(^|\s)(كيف حالك|كيف الحال|كيف الأحوال|شلونك|كيفك)(\s|$)',
+                r'(^|\s)(صباح الخير|مساء الخير|تحية طيبة)(\s|$)',
+                r'(^|\s)(هلا|هالو|هلو)(\s|$)',
+            ],
+            'english': [
+                r'(^|\s)(hello|hi|hey|greetings|good morning|good afternoon|good evening)(\s|$)',
+                r'(^|\s)(how are you|how do you do|what\'s up|how\'s it going)(\s|$)',
+                r'(^|\s)(hola|bonjour|guten tag)(\s|$)',
+            ]
+        }
+        
+        # === ENHANCED CASUAL PATTERNS ===
+        self.casual_patterns = {
+            'time_queries': [
+                r'(what|ما|كم).*(time|وقت|ساعة)',
+                r'(what time|كم الساعة|ما الوقت)',
+                r'(current time|الوقت الحالي)',
+                r'(time.*now|الوقت.*الآن)',
+            ],
+            'weather_queries': [
+                r'(weather|طقس|جو)',
+                r'(temperature|درجة حرارة)',
+                r'(rain|snow|sunny|مطر|شمس|غائم)',
+                r'(how.*weather|كيف.*الطقس)',
+            ],
+            'personal_inquiries': [
+                r'(how.*day|كيف.*اليوم)',
+                r'(how.*doing|كيف.*حالك)',
+                r'(how.*feeling|كيف.*شعورك)',
+                r'(what.*up|شو الأخبار)',
+                r'(how.*going|كيف.*الأمور)',
+            ],
+            'general_questions': [
+                r'(tell me about yourself|أخبرني عن نفسك)',
+                r'(who are you|من أنت)',
+                r'(what.*you do|ماذا تفعل)',
+                r'(can you help|تقدر تساعد)',
+                r'(what.*capabilities|ما قدراتك)',
+            ],
+            'social_interactions': [
+                r'(thank.*you|شكرا|شكراً|تسلم)',
+                r'(you\'re welcome|عفواً|لا شكر على واجب)',
+                r'(goodbye|bye|وداع|باي|مع السلامة)',
+                r'(see you|أراك لاحقاً)',
+                r'(nice.*talk|كان من الجميل)',
+            ],
+            'casual_requests': [
+                r'(tell.*joke|احك نكتة)',
+                r'(how.*weekend|كيف.*الأسبوع)',
+                r'(favorite.*color|اللون المفضل)',
+                r'(what.*think|ما رأيك)',
+            ]
+        }
+        
+        # === REGULATORY PATTERNS (More Specific) ===
+        self.regulatory_patterns = {
+            'licensing_keywords': [
+                r'(ترخيص|license|licensing|permit|تصريح)',
+                r'(تسجيل|registration|register)',
+                r'(موافقة|approval|اعتماد)',
+            ],
+            'compliance_keywords': [
+                r'(امتثال|compliance|comply)',
+                r'(متطلبات|requirements|شروط)',
+                r'(ضوابط|regulations|أنظمة|لوائح)',
+                r'(قوانين|laws|legislation)',
+            ],
+            'financial_keywords': [
+                r'(مصرف|بنك|bank|banking|مصرفي)',
+                r'(ائتمان|credit|قرض|loan)',
+                r'(استثمار|investment|توريق)',
+                r'(أسواق المال|capital markets|securities)',
+                r'(صندوق|fund|محفظة|portfolio)',
+            ],
+            'authorities_keywords': [
+                r'(البنك ا��مركزي|central bank|cbk)',
+                r'(هيئة أسواق المال|capital markets authority|cma)',
+                r'(مؤسسة النقد|monetary authority)',
+            ],
+            'violations_keywords': [
+                r'(مخالفة|violation|infringement)',
+                r'(عقوبة|penalty|fine|جزاء)',
+                r'(تأديب|disciplinary|تأديبي)',
+                r'(محاكمة|hearing|جلسة)',
+            ],
+            'aml_keywords': [
+                r'(غسل الأموال|money laundering|aml)',
+                r'(مشبوه|suspicious|مشكوك)',
+                r'(kyc|know your customer|اعرف عميلك)',
+                r'(بيانات العميل|customer data)',
+            ]
+        }
+        
+        # === CONTEXT CLUES ===
+        self.context_indicators = {
+            'casual_indicators': [
+                r'^(just|فقط|بس)',
+                r'(curious|فضول)',
+                r'(wondering|أتساءل)',
+                r'(by the way|بالمناسبة)',
+                r'(quick question|سؤال سريع)',
+            ],
+            'regulatory_indicators': [
+                r'(according to|وفقاً ل|حسب)',
+                r'(article|مادة|فقرة)',
+                r'(section|قسم|باب)',
+                r'(regulation number|رقم اللائحة)',
+                r'(what are the|ما هي)',
+                r'(requirements for|متطلبات)',
+            ]
+        }
+        
+    def setup_weights(self):
+        """Setup scoring weights for different pattern categories."""
+        self.weights = {
+            'greeting': 1.0,
+            'casual_time': 0.9,
+            'casual_weather': 0.9,
+            'casual_personal': 0.8,
+            'casual_general': 0.7,
+            'casual_social': 0.8,
+            'casual_requests': 0.7,
+            'regulatory_licensing': 0.9,
+            'regulatory_compliance': 0.9,
+            'regulatory_financial': 0.8,
+            'regulatory_authorities': 1.0,
+            'regulatory_violations': 0.9,
+            'regulatory_aml': 0.9,
+            'context_casual': 0.3,
+            'context_regulatory': 0.4,
+        }
+        
+    def classify_message(self, message: str) -> ClassificationResult:
+        """
+        Classify message with confidence scoring and reasoning.
+        """
+        message_lower = message.lower().strip()
+        
+        # Score different categories
+        scores = {
+            'greeting': self._score_greeting(message_lower),
+            'casual': self._score_casual(message_lower),
+            'regulatory': self._score_regulatory(message_lower)
+        }
+        
+        # Determine best classification
+        best_type = max(scores, key=scores.get)
+        best_score = scores[best_type]
+        
+        # Get confidence level
+        confidence_level = self._get_confidence_level(best_score)
+        
+        # Generate reasoning
+        reasoning = self._generate_reasoning(message_lower, scores, best_type)
+        
+        # Get alternative classifications
+        sorted_scores = sorted(scores.items(), key=lambda x: x[1], reverse=True)
+        alternatives = [(t, s) for t, s in sorted_scores[1:] if s > 0.1]
+        
+        # Handle ambiguous cases with smart defaults
+        if confidence_level == ClassificationConfidence.VERY_LOW:
+            # If all scores are very low, check message characteristics
+            if len(message.split()) <= 3 and not any(char in message for char in '?!.'):
+                # Short message without punctuation - likely casual
+                best_type = 'casual'
+                best_score = 0.4
+                confidence_level = ClassificationConfidence.LOW
+                reasoning = "Short informal message defaulted to casual"
+            elif '?' in message:
+                # Question format - analyze further
+                if any(word in message_lower for word in ['what', 'how', 'when', 'where', 'why', 'ماذا', 'كيف', 'متى', 'أين', 'لماذا']):
+                    best_type = 'casual'
+                    best_score = 0.4
+                    confidence_level = ClassificationConfidence.LOW
+                    reasoning = "Question format defaulted to casual conversation"
+                    
+        return ClassificationResult(
+            message_type=best_type,
+            confidence=best_score,
+            confidence_level=confidence_level,
+            reasoning=reasoning,
+            alternative_types=alternatives
+        )
+    
+    def _score_greeting(self, message: str) -> float:
+        """Score greeting likelihood."""
+        score = 0.0
+        
+        for lang, patterns in self.greeting_patterns.items():
+            for pattern in patterns:
+                if re.search(pattern, message, re.IGNORECASE):
+                    score = max(score, self.weights['greeting'])
+                    
+        return min(score, 1.0)
+    
+    def _score_casual(self, message: str) -> float:
+        """Score casual conversation likelihood."""
+        score = 0.0
+        
+        # Check casual patterns
+        for category, patterns in self.casual_patterns.items():
+            category_weight = self.weights.get(f'casual_{category.split("_")[0]}', 0.7)
+            for pattern in patterns:
+                if re.search(pattern, message, re.IGNORECASE):
+                    score = max(score, category_weight)
+        
+        # Add context indicators
+        for pattern in self.context_indicators['casual_indicators']:
+            if re.search(pattern, message, re.IGNORECASE):
+                score += self.weights['context_casual']
+        
+        # Boost for common casual question words
+        casual_words = ['how', 'what', 'when', 'where', 'كيف', 'ماذا', 'متى', 'أين']
+        if any(word in message for word in casual_words) and len(message.split()) <= 6:
+            score += 0.2
+            
+        return min(score, 1.0)
+    
+    def _score_regulatory(self, message: str) -> float:
+        """Score regulatory query likelihood."""
+        score = 0.0
+        
+        # Check regulatory patterns
+        for category, patterns in self.regulatory_patterns.items():
+            category_weight = self.weights.get(f'regulatory_{category.split("_")[0]}', 0.8)
+            for pattern in patterns:
+                if re.search(pattern, message, re.IGNORECASE):
+                    score = max(score, category_weight)
+        
+        # Add context indicators
+        for pattern in self.context_indicators['regulatory_indicators']:
+            if re.search(pattern, message, re.IGNORECASE):
+                score += self.weights['context_regulatory']
+        
+        # Penalty for very short messages
+        if len(message.split()) <= 3:
+            score *= 0.7
+            
+        return min(score, 1.0)
+    
+    def _get_confidence_level(self, score: float) -> ClassificationConfidence:
+        """Convert score to confidence level."""
+        if score >= 0.8:
+            return ClassificationConfidence.HIGH
+        elif score >= 0.5:
+            return ClassificationConfidence.MEDIUM
+        elif score >= 0.3:
+            return ClassificationConfidence.LOW
+        else:
+            return ClassificationConfidence.VERY_LOW
+    
+    def _generate_reasoning(self, message: str, scores: Dict[str, float], best_type: str) -> str:
+        """Generate human-readable reasoning for classification."""
+        reasoning_parts = []
+        
+        if best_type == 'greeting':
+            reasoning_parts.append("Contains greeting patterns")
+        elif best_type == 'casual':
+            if any(word in message for word in ['time', 'وقت', 'ساعة']):
+                reasoning_parts.append("Time-related inquiry")
+            elif any(word in message for word in ['weather', 'طقس']):
+                reasoning_parts.append("Weather inquiry")
+            elif any(word in message for word in ['how', 'كيف']):
+                reasoning_parts.append("Personal/casual question")
+            else:
+                reasoning_parts.append("General casual conversation")
+        elif best_type == 'regulatory':
+            if any(word in message for word in ['bank', 'مصرف', 'بنك']):
+                reasoning_parts.append("Banking-related query")
+            elif any(word in message for word in ['license', 'ترخيص']):
+                reasoning_parts.append("Licensing inquiry")
+            elif any(word in message for word in ['compliance', 'امتثال']):
+                reasoning_parts.append("Compliance question")
+            else:
+                reasoning_parts.append("Regulatory content detected")
+        
+        # Add confidence information
+        if scores[best_type] < 0.5:
+            reasoning_parts.append("(Low confidence - ambiguous)")
+            
+        return "; ".join(reasoning_parts)
+
+
+# Test the enhanced classifier
+if __name__ == "__main__":
+    classifier = EnhancedMessageClassifier()
+    
+    test_cases = [
+        "Hello",
+        "How is the day?",
+        "What is the time right now?",
+        "How are you doing today?",
+        "What are the banking license requirements?",
+        "Tell me about compliance regulations",
+        "مرحبا",
+        "كيف حالك اليوم؟",
+        "ما الوقت الآن؟",
+        "ما هي متطلبات الترخيص المصرفي؟"
+    ]
+    
+    print("Enhanced Message Classification Test Results:")
+    print("=" * 60)
+    
+    for message in test_cases:
+        result = classifier.classify_message(message)
+        print(f"\nMessage: \"{message}\"")
+        print(f"Classification: {result.message_type}")
+        print(f"Confidence: {result.confidence:.2f} ({result.confidence_level.value})")
+        print(f"Reasoning: {result.reasoning}")
+        if result.alternative_types:
+            alts = ", ".join([f"{t}({s:.2f})" for t, s in result.alternative_types[:2]])
+            print(f"Alternatives: {alts}")

enhanced_pdf_processor.py

@@ -0,0 +1,367 @@
+#!/usr/bin/env python3
+"""
+Enhanced PDF processor with OCR support for image-based PDFs.
+Handles both text-based and image-based (scanned) PDFs.
+"""
+
+import sys
+import os
+import traceback
+from pathlib import Path
+from typing import List, Dict, Optional, Union, Tuple
+import asyncio
+import logging
+
+def test_ocr_availability():
+    """Test if OCR libraries are available."""
+    ocr_available = {
+        'pytesseract': False,
+        'easyocr': False,
+        'paddleocr': False
+    }
+    
+    # Test pytesseract + tesseract
+    try:
+        import pytesseract
+        from PIL import Image
+        
+        # Try to get tesseract version to verify installation
+        version = pytesseract.get_tesseract_version()
+        ocr_available['pytesseract'] = True
+        print(f"  Pytesseract available - Tesseract version: {version}")
+    except Exception as e:
+        print(f"  Pytesseract not available: {e}")
+    
+    # Test EasyOCR
+    try:
+        import easyocr
+        ocr_available['easyocr'] = True
+        print(f"  EasyOCR available")
+    except Exception as e:
+        print(f"  EasyOCR not available: {e}")
+    
+    # Test PaddleOCR
+    try:
+        import paddleocr
+        ocr_available['paddleocr'] = True
+        print(f"  PaddleOCR available")
+    except Exception as e:
+        print(f"  PaddleOCR not available: {e}")
+    
+    return ocr_available
+
+
+def extract_with_ocr_pytesseract(file_path: Path) -> List[Dict[str, any]]:
+    """Extract text using PyMuPDF for images + pytesseract for OCR."""
+    try:
+        import fitz
+        import pytesseract
+        from PIL import Image
+        import io
+        
+        print(f"  Using PyMuPDF + pytesseract OCR")
+        
+        doc = fitz.open(str(file_path))
+        pages = []
+        
+        for page_num in range(len(doc)):
+            page = doc.load_page(page_num)
+            
+            # First try regular text extraction
+            text = page.get_text()
+            
+            # If no text found, try OCR on page images
+            if not text.strip():
+                # Get page as image
+                mat = fitz.Matrix(2.0, 2.0)  # 2x zoom for better OCR
+                pix = page.get_pixmap(matrix=mat)
+                
+                # Convert to PIL Image
+                img_data = pix.tobytes("png")
+                image = Image.open(io.BytesIO(img_data))
+                
+                # Perform OCR with Arabic support
+                try:
+                    # Configure for Arabic + English
+                    text = pytesseract.image_to_string(
+                        image, 
+                        lang='ara+eng',
+                        config='--oem 3 --psm 6'
+                    )
+                    print(f"    OCR extracted {len(text)} characters from page {page_num + 1}")
+                except Exception as ocr_error:
+                    print(f"    OCR with Arabic failed: {ocr_error}")
+                    # Try with just English
+                    try:
+                        text = pytesseract.image_to_string(
+                            image,
+                            lang='eng',
+                            config='--oem 3 --psm 6'
+                        )
+                        print(f"    OCR (English only) extracted {len(text)} characters from page {page_num + 1}")
+                    except Exception as eng_error:
+                        print(f"    OCR completely failed: {eng_error}")
+                        text = ""
+            
+            pages.append({
+                'content': text,
+                'page_number': page_num + 1,
+                'extraction_method': 'pymupdf_ocr',
+                'metadata': {
+                    'page_size': page.rect,
+                    'rotation': page.rotation,
+                    'used_ocr': len(text.strip()) > 0
+                }
+            })
+        
+        doc.close()
+        return pages
+        
+    except Exception as e:
+        raise Exception(f"PyMuPDF + OCR extraction failed: {str(e)}")
+
+
+def extract_with_ocr_easyocr(file_path: Path) -> List[Dict[str, any]]:
+    """Extract text using EasyOCR (good for Arabic)."""
+    try:
+        import fitz
+        import easyocr
+        import numpy as np
+        from PIL import Image
+        import io
+        
+        print(f"  Using EasyOCR")
+        
+        # Initialize EasyOCR reader with Arabic and English
+        reader = easyocr.Reader(['ar', 'en'], gpu=False)  # Use CPU
+        
+        doc = fitz.open(str(file_path))
+        pages = []
+        
+        for page_num in range(len(doc)):
+            page = doc.load_page(page_num)
+            
+            # Get page as image with high resolution
+            mat = fitz.Matrix(3.0, 3.0)  # 3x zoom for better OCR
+            pix = page.get_pixmap(matrix=mat)
+            
+            # Convert to numpy array for EasyOCR
+            img_data = pix.tobytes("png")
+            image = Image.open(io.BytesIO(img_data))
+            img_array = np.array(image)
+            
+            # Perform OCR
+            results = reader.readtext(img_array)
+            
+            # Combine all text
+            text_parts = []
+            for (bbox, text, confidence) in results:
+                if confidence > 0.3:  # Filter low confidence results
+                    text_parts.append(text)
+            
+            text = ' '.join(text_parts)
+            print(f"    EasyOCR extracted {len(text)} characters from page {page_num + 1}")
+            
+            pages.append({
+                'content': text,
+                'page_number': page_num + 1,
+                'extraction_method': 'easyocr',
+                'metadata': {
+                    'page_size': page.rect,
+                    'rotation': page.rotation,
+                    'ocr_results': len(results),
+                    'average_confidence': sum(conf for _, _, conf in results) / len(results) if results else 0
+                }
+            })
+        
+        doc.close()
+        return pages
+        
+    except Exception as e:
+        raise Exception(f"EasyOCR extraction failed: {str(e)}")
+
+
+def create_ocr_fix_script():
+    """Create a script to install OCR libraries."""
+    ocr_install_script = """#!/bin/bash
+# OCR Libraries Installation Script
+
+echo "Installing OCR libraries for scanned PDF processing..."
+
+# Install Tesseract (Windows using conda/pip)
+echo "1. Installing Tesseract OCR..."
+# For Windows with conda:
+# conda install -c conda-forge tesseract
+# For Windows manually: Download from https://github.com/UB-Mannheim/tesseract/wiki
+
+# Install Python OCR libraries
+echo "2. Installing Python OCR libraries..."
+pip install pytesseract easyocr
+
+# Arabic language data for Tesseract
+echo "3. Installing Arabic language support..."
+# Tesseract Arabic data should be downloaded automatically
+# Manual download: https://github.com/tesseract-ocr/tessdata
+
+echo "OCR installation complete!"
+echo ""
+echo "To test OCR availability, run:"
+echo "python enhanced_pdf_processor.py --test-ocr"
+"""
+    
+    with open("install_ocr.sh", 'w') as f:
+        f.write(ocr_install_script)
+    
+    print("Created install_ocr.sh script for OCR library installation")
+
+
+def extract_text_with_fallback(file_path: Path) -> Tuple[List[Dict[str, any]], str]:
+    """
+    Extract text using multiple methods with intelligent fallback.
+    Returns (pages, method_used)
+    """
+    
+    # Test what OCR libraries are available
+    ocr_available = test_ocr_availability()
+    
+    # Method 1: Try regular extraction first
+    try:
+        import fitz
+        doc = fitz.open(str(file_path))
+        
+        # Check if document has extractable text
+        has_text = False
+        for page_num in range(min(3, len(doc))):  # Check first 3 pages
+            page = doc.load_page(page_num)
+            text = page.get_text()
+            if text.strip():
+                has_text = True
+                break
+        
+        doc.close()
+        
+        if has_text:
+            print("  Document has extractable text, using regular extraction")
+            # Use existing extraction methods (PyMuPDF or pdfplumber)
+            doc = fitz.open(str(file_path))
+            pages = []
+            for page_num in range(len(doc)):
+                page = doc.load_page(page_num)
+                text = page.get_text()
+                pages.append({
+                    'content': text,
+                    'page_number': page_num + 1,
+                    'extraction_method': 'pymupdf_regular',
+                    'metadata': {'page_size': page.rect, 'rotation': page.rotation}
+                })
+            doc.close()
+            return pages, 'pymupdf_regular'
+        
+    except Exception as e:
+        print(f"  Regular extraction failed: {e}")
+    
+    # Method 2: OCR methods for image-based PDFs
+    print("  Document appears to be image-based, trying OCR methods...")
+    
+    # Try EasyOCR (best for Arabic)
+    if ocr_available['easyocr']:
+        try:
+            pages = extract_with_ocr_easyocr(file_path)
+            total_chars = sum(len(page['content']) for page in pages)
+            if total_chars > 50:  # Minimum reasonable content
+                return pages, 'easyocr'
+        except Exception as e:
+            print(f"  EasyOCR failed: {e}")
+    
+    # Try pytesseract
+    if ocr_available['pytesseract']:
+        try:
+            pages = extract_with_ocr_pytesseract(file_path)
+            total_chars = sum(len(page['content']) for page in pages)
+            if total_chars > 50:
+                return pages, 'pytesseract_ocr'
+        except Exception as e:
+            print(f"  Pytesseract OCR failed: {e}")
+    
+    # If no OCR available, provide instructions
+    if not any(ocr_available.values()):
+        print("\n  ERROR: No OCR libraries available!")
+        print("  This PDF contains only images and requires OCR processing.")
+        print("  To enable OCR support, install one of the following:")
+        print("    1. pip install pytesseract + Install Tesseract OCR")
+        print("    2. pip install easyocr (recommended for Arabic)")
+        print("    3. Run: ./install_ocr.sh (installation script)")
+        
+        create_ocr_fix_script()
+        raise Exception("OCR libraries required for image-based PDF")
+    
+    raise Exception("All extraction and OCR methods failed")
+
+
+def main():
+    if len(sys.argv) < 2:
+        print("Usage:")
+        print("  python enhanced_pdf_processor.py <pdf_file>")
+        print("  python enhanced_pdf_processor.py --test-ocr")
+        print("Example: python enhanced_pdf_processor.py 'path/to/scanned.pdf'")
+        sys.exit(1)
+    
+    if sys.argv[1] == '--test-ocr':
+        print("Testing OCR library availability:")
+        print("=" * 40)
+        ocr_available = test_ocr_availability()
+        
+        if any(ocr_available.values()):
+            print(f"\nOCR Status: READY")
+            for lib, available in ocr_available.items():
+                status = "Available" if available else "Not Available"
+                print(f"  {lib}: {status}")
+        else:
+            print(f"\nOCR Status: NOT READY")
+            print("Run install_ocr.sh to install OCR libraries")
+        return
+    
+    pdf_file = sys.argv[1]
+    print("Enhanced PDF Processor with OCR Support")
+    print(f"Target file: {pdf_file}")
+    print("=" * 60)
+    
+    try:
+        file_path = Path(pdf_file)
+        if not file_path.exists():
+            print(f"ERROR: File not found: {pdf_file}")
+            return
+        
+        # Extract text with intelligent fallback
+        pages, method_used = extract_text_with_fallback(file_path)
+        
+        # Results
+        total_chars = sum(len(page['content']) for page in pages)
+        
+        print(f"\n" + "=" * 60)
+        print(f"EXTRACTION RESULTS")
+        print(f"=" * 60)
+        print(f"Method used: {method_used}")
+        print(f"Total pages: {len(pages)}")
+        print(f"Total characters: {total_chars}")
+        
+        if total_chars > 0:
+            print(f"\nSUCCESS: Text extracted successfully!")
+            
+            # Show sample content
+            for page in pages[:2]:  # Show first 2 pages
+                content = page['content'].strip()
+                if content:
+                    print(f"\nPage {page['page_number']} (first 200 chars):")
+                    print(f"  {content[:200]}...")
+        else:
+            print(f"\nWARNING: No text could be extracted")
+    
+    except Exception as e:
+        print(f"\nERROR: {e}")
+        print(f"\nFull error traceback:")
+        traceback.print_exc()
+
+
+if __name__ == "__main__":
+    main()

environment.yml

@@ -0,0 +1,137 @@
+# Enhanced Arabic Document Chatbot - Conda Environment
+# Installation: conda env create -f environment.yml
+
+name: arabic-chatbot-gpu
+channels:
+  - pytorch
+  - nvidia
+  - conda-forge
+  - defaults
+
+dependencies:
+  # Python version
+  - python=3.11
+
+  # ========================================
+  # CORE ML AND GPU DEPENDENCIES
+  # ========================================
+  
+  # PyTorch with CUDA support
+  - pytorch>=2.1.0
+  - torchvision>=0.16.0
+  - torchaudio>=2.1.0
+  - pytorch-cuda=12.1
+  - cuda-toolkit=12.1
+  - cudnn>=8.8.0
+
+  # GPU Libraries
+  - nvidia::cuda-nvcc=12.1
+  - nvidia::cuda-runtime=12.1
+
+  # ========================================
+  # CORE DEPENDENCIES
+  # ========================================
+  
+  # Core Python
+  - pip>=23.0
+  - setuptools>=65.0
+  - wheel>=0.38.0
+
+  # Scientific Computing
+  - numpy>=1.24.0
+  - pandas>=2.0.0
+  - scipy>=1.10.0
+  - scikit-learn>=1.3.0
+
+  # Image Processing
+  - pillow>=10.0.0
+  - opencv>=4.8.0
+
+  # Vector Database
+  - faiss-gpu>=1.7.4
+  - h5py>=3.8.0
+
+  # Configuration
+  - pyyaml>=6.0
+
+  # Text Processing
+  - nltk>=3.8
+  - regex>=2023.5.5
+
+  # Web Framework
+  - flask>=2.3.0
+
+  # Async Operations
+  - aiofiles>=23.0.0
+
+  # Logging
+  - colorlog>=6.7.0
+  - tqdm>=4.65.0
+
+  # Development
+  - pytest>=7.4.0
+  - black>=23.0.0
+  - flake8>=6.0.0
+
+  # ========================================
+  # PIP-ONLY DEPENDENCIES
+  # ========================================
+  
+  - pip:
+    # Arabic NLP - CAMeL Tools
+    - camel-tools>=1.5.2
+    
+    # Advanced Embeddings
+    - sentence-transformers>=2.2.2
+    - transformers>=4.35.0
+    - accelerate>=0.24.0
+    
+    # Arabic Text Processing
+    - arabic-reshaper>=3.0.0
+    - python-bidi>=0.4.2
+    - polyglot>=16.7.4
+    - langdetect>=1.0.9
+    
+    # PDF Processing
+    - PyMuPDF>=1.23.0
+    - pdfplumber>=0.10.0
+    - pymupdf-fonts>=1.0.5
+    
+    # OCR Libraries
+    - easyocr>=1.7.0
+    - pytesseract>=0.3.10
+    
+    # Google AI
+    - google-generativeai>=0.3.0
+    - google-auth>=2.23.0
+    
+    # Enhanced Features
+    - InstructorEmbedding>=1.0.1
+    - FlagEmbedding>=1.2.0
+    - huggingface-hub>=0.19.0
+    
+    # Web and API
+    - Flask-CORS>=4.0.0
+    - requests>=2.31.0
+    - httpx>=0.25.0
+    
+    # Configuration
+    - python-dotenv>=1.0.0
+    - pydantic>=2.4.0
+    
+    # Logging
+    - loguru>=0.7.0
+    - rich>=13.5.0
+    
+    # Performance
+    - orjson>=3.9.0
+    - numba>=0.58.0
+    
+    # GPU Monitoring
+    - nvidia-ml-py>=12.535.0
+    - pynvml>=11.5.0
+    
+    # Utilities
+    - click>=8.1.0
+    - jinja2>=3.1.0
+    - pathlib2>=2.3.7

environment_simple.yml

@@ -0,0 +1,9 @@
+name: arabic-chatbot
+channels:
+  - conda-forge
+  - defaults
+dependencies:
+  - python=3.10
+  - pip=23.2
+  - numpy=1.24
+  - sqlite=3.42

insider_trading_query.py

@@ -0,0 +1,59 @@
+#!/usr/bin/env python3
+"""
+Direct Query for Insider Trading Case
+"""
+
+import os
+import sys
+import asyncio
+import json
+from pathlib import Path
+
+# Add src directory to Python path
+sys.path.insert(0, str(Path(__file__).parent / "src"))
+
+async def query_insider_trading():
+    """Query the insider trading regulations."""
+    try:
+        from src.ui.enhanced_gradio_app import EnhancedArabicChatbot
+        app = EnhancedArabicChatbot()
+        
+        # Arabic query about insider trading
+        query = """
+        يشغل السيد خالد الأحمد منصب رئيس مجلس إدارة في بنك الكويت الدولي، وهو مساهم رئيسي (35%) في الشركة الخليجية للاستثمار المدرجة في بورصة الكويت. قام السيد خالد بتوجيه الصندوق الاستثماري (عبر شركته) لشراء أسهم إضافية في البنك بقيمة 15 مليون دينار كويتي، قبل أسبوع من الإعلان عن النتائج المالية القوية والتي تتضمن مؤشرات إيجابية غير معلنة.
+
+        هل تشكل تصرفات السيد خالد انتهاكاً لقواعد منع الاستفادة من المعلومات الداخلية وفقاً للكتاب الحادي عشر (التعامل في الأوراق المالية) والكتاب الثامن (أخلاقيات العمل)؟
+        """
+        
+        history = []
+        result_history, status = await app.process_query(query, history)
+        
+        if result_history and len(result_history) >= 2:
+            response = result_history[-1]['content']
+            
+            # Save results to file
+            results = {
+                "query": query,
+                "response": response,
+                "status": status,
+                "response_length": len(response)
+            }
+            
+            with open("insider_trading_results.json", "w", encoding="utf-8") as f:
+                json.dump(results, f, indent=2, ensure_ascii=False)
+            
+            print(f"Query processed successfully. Response length: {len(response)} characters")
+            print(f"Status: {status}")
+            return True
+            
+        else:
+            print(f"Query failed with status: {status}")
+            return False
+        
+    except Exception as e:
+        print(f"Error: {e}")
+        return False
+
+if __name__ == "__main__":
+    success = asyncio.run(query_insider_trading())
+    print(f"Success: {success}")

main.py

@@ -0,0 +1,35 @@
+import gradio as gr
+
+custom_css = """
+body {
+    background-color: #1a1a1a; /* Very dark gray background for the entire page */
+    color: #e0e0e0; /* Light gray text color for better contrast */
+}
+.gradio-container {
+    background-color: #2c2c2c; /* Slightly lighter dark gray for the main Gradio app container */
+    border-radius: 10px;
+    box-shadow: 0 4px 8px rgba(0, 0, 0, 0.2); /* Darker shadow for dark theme */
+}
+/* Style for the centered text */
+.center-text {
+    text-align: center;
+    width: 100%; /* Ensure it takes full width to center content */
+}
+.gradio-markdown {
+    color: #e0e0e0; /* Ensure markdown text is light */
+}
+"""
+
+with gr.Blocks(css=custom_css) as demo:
+    gr.Markdown("# My Custom Styled App", elem_classes="center-text") # Centering the main title as well
+
+    with gr.Row(elem_classes="center-text"):
+        gr.Markdown("""
+        🎯 إجابات قاطعة: يُسمح ✅ | لا يُسمح ❌ | مطلوب 📋
+        ⚖️ مراجع قانونية دقيقة: CBK | CMA | AML | المبادئ القانونية
+        """)
+
+    gr.Textbox(label="Enter text here")
+    gr.Button("Submit")
+
+demo.launch()

qa_knowledge_base.json

@@ -0,0 +1,174 @@
+[
+  {
+    "question": "ما هو مفهوم مجلس التأديب وفقاً للوثائق؟",
+    "answer": "هو مجلس مختص بالنظر في مخالفات الأعضاء والمنتسبين، ويتألف من قضاة أو أعضاء إداريين وفقًا للأنظمة المعمول بها، ويصدر أحكامًا تأديبية بناءً على التحقيقات والمرافعات المقدمة.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار تعريفي عن مفهوم مجلس التأديب في السياق التنظيمي\n📋 **الأساس القانوني**: الأنظمة واللوائح المعمول بها في الإطار التأديبي\n⚖️ **التفسير القانوني**: المجلس هو جهة قضائية مختصة بالمخالفات التأديبية، مكون من قضاة مؤهلين أو أعضاء إداريين متخصصين\n✅ **القرار النهائي**: مجلس التأديب جهة رسمية مخولة بالنظر في المخالفات وإصدار الأحكام\n💡 **إرشادات الامتثال**: يجب احترام قرارات المجلس والتعاون مع إجراءاته التحقيقية",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما الفرق بين التنبيه واللوم كعقوبتين تأديبيتين؟",
+    "answer": "التنبيه هو أقل درجات العقوبات ويكون بمثابة تحذير كتابي دون أن يؤثر على المسار المهني، أما اللوم فيُسجل في الملف الوظيفي وقد يؤثر على الترقيات والتقييمات.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: مقارنة بين نوعين من العقوبات التأديبية (التنبيه واللوم) من حيث الدرجة والأثر\n📋 **الأساس القانوني**: سلم العقوبات التأديبية المنصوص عليه في قانون الخدمة المدنية\n⚖️ **التفسير القانوني**: التنبيه عقوبة بسيطة لا تؤثر على المسار الوظيفي، واللوم عقوبة أشد تُسجل في الملف وتؤثر على التقييمات\n✅ **القرار النهائي**: التنبيه أخف من اللوم في الدرجة والأثر على المسار المهني\n💡 **إرشادات الامتثال**: تجنب تكرار المخالفات لعدم التدرج في العقوبات من التنبيه إلى اللوم ثم العقوبات الأشد",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما هو الإجراء الذي يجب اتباعه قبل إحالة الموظف إلى مجلس التأديب؟",
+    "answer": "يجب أن تُجري جهة العمل تحقيقًا داخليًا مبدئيًا، ويُشترط توفر دلائل قوية على المخالفة، مع إبلاغ الموظف كتابيًا وإعطائه الفرصة للرد.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "هل يجوز للموظف الطعن في قرار مجلس التأديب؟ وضح.",
+    "answer": "نعم، يحق للموظف الطعن في قرار المجلس خلال مدة محددة أمام الجهة القضائية المختصة، بشرط أن يبيّن أسباب الطعن سواء كانت شكلية أو موضوعية.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما المقصود بمبدأ الملاءمة التأديبية؟",
+    "answer": "هو المبدأ الذي يعطي الجهة التأديبية سلطة تقديرية في اختيار العقوبة الأنسب وفقًا لظروف المخالفة ودرجة جسامتها وشخصية المخالف.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "اشرح مبدأ التحقيق المسبق في العمل التأديبي.",
+    "answer": "ينص على أنه لا يجوز توقيع أي جزاء على الموظف إلا بعد إجراء تحقيق مكتوب معه وسماع أقواله والدفاع عنه وتمكينه من الاطلاع على المستندات.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما الحالات التي يُحال فيها الموظف إلى التقاعد لأسباب تأديبية؟",
+    "answer": "في حال ارتكب الموظف مخالفة جسيمة تسيء للوظيفة أو سمعة المؤسسة، ويكون ذلك بقرار من المجلس التأديبي بعد استيفاء الإجراءات النظامية.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "كيف يتم تحديد العقوبة المناسبة للمخالفة؟",
+    "answer": "يُراعى مدى جسامة المخالفة، الضرر الناتج عنها، سوابق الموظف، ودرجة تعاونه أثناء التحقيق، وكل هذه المعايير تُستخدم لتقدير العقوبة الأنسب.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما الفرق بين المجلس الابتدائي والمجلس الأعلى للتأديب؟",
+    "answer": "المجلس الابتدائي يختص بالنظر في المخالفات البسيطة والمتوسطة، أما المجلس الأعلى فينظر في القضايا الجسيمة وله صلاحية إصدار عقوبات أشد.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "هل يمكن إعادة النظر في قرار الفصل التأديبي؟",
+    "answer": "نعم، يمكن في حالات محددة مثل ظهور أدلة جديدة، أو وجود خطأ جوهري في الإجراءات، ويُعاد تقديم الطلب للجهة المختصة للمراجعة.",
+    "reference": null,
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما هو المبدأ رقم (1) في النظام التأديبي؟",
+    "answer": "المبدأ رقم (1) ينص على أن الجزاء التأديبي لا يوقع على العامل إلا بعد التحقيق معه وسماع أقواله وتحقيق دفاعه. ويجب أن يكون القرار الصادر بتوقيع الجزاء مسببًا. يتعلق هذا المبدأ بضمان حقوق الموظف وتمكينه من الدفاع عن نفسه، ويؤكد على ضرورة وجود تحقيق عادل قبل توقيع الجزاء.",
+    "reference": "الكتاب رقم 13 - مبادئ مجلس التأديب (ص. 3-4)",
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما هو المقصود بالمبدأ رقم (2)؟",
+    "answer": "المبدأ رقم (2) ينص على أنه لا يجوز توقيع جزاء على العامل إلا من السلطة المختصة قانونا. هذا يعني أن توقيع الجزاءات التأديبية لا يجوز من أي جهة غير مخولة قانونا بذلك، لضمان العدالة وتجنب التعسف.",
+    "reference": "الكتاب رقم 13 – مبادئ مجلس التأديب (ص. 4)",
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "المبدأ رقم (3) يربط بين الخطأ التأديبي والخطأ الجنائي - كيف؟",
+    "answer": "المبدأ يوضح أن الخطأ الجنائي إذا قام على ذات الواقعة محل المخالفة التأديبية، فإن للسلطة التأديبية أن تنتظر نتيجة الحكم الجنائي ما لم تكن بصدد مخالفة تأديبية مستقلة. بمعنى آخر، إذا كانت المخالفة قيد التحقيق الجنائي، قد يتم تعليق القرار التأديبي لحين الفصل القضائي.",
+    "reference": "الكتاب رقم 13 – مبادئ عامة في التأديب (ص. 5)",
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما هو المبدأ الرابع في تنظيم الإجراءات؟",
+    "answer": "ينص المبدأ على أن تعتبر الإجراءات التأديبية باطلة إذا لم تُراعى الضمانات الجوهرية المقررة للعامل، مثل حق الدفاع أو التحقيق. هذا المبدأ يكرس أهمية احترام حقوق الدفاع، وأن أي انتقاص منها قد يبطل القرار التأديبي.",
+    "reference": "الكتاب رقم 7 – المبادئ العامة في التحقيق الإداري والتأديب (ص. (6))",
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ماذا يقول المبدأ رقم (5) بشأن العقوبات التأديبية؟",
+    "answer": "المبدأ يقر أن العقوبة التأديبية يجب أن تكون متناسبة مع المخالفة المرتكبة، وأن تتدرج تبعا لخطورة الفعل. يُمنع توقيع أقصى عقوبة على مخالفات بسيطة، ويجب النظر في تكرار المخالفة، الظروف المحيطة، وسابقة الموظف.",
+    "reference": "الكتاب رقم 12 - الجزاءات التأديبية في قانون الخدمة المدنية (ص. 4-5)",
+    "category": "Disciplinary Law"
+  },
+  {
+    "question": "ما هو المبدأ والملخص من المادة 1-4-3 من المبادئ القانونية في مجلس التأديب؟",
+    "answer": "**المبدأ:** وضع المشرع التزاماً على الأشخاص المرخص لهم بوضع سياسات لإدارة مخاطر الائتمان والسوق والسيولة والمخاطر التشغيلية في سياسة إدارة المخاطر الخاصة بهم.\n\n**الملخص:** يتعلق هذا المبدأ بالتزام الأشخاص المرخص لهم بوضع سياسات شاملة لإدارة المخاطر المختلفة، ويشمل ذلك مخاطر الائتمان ومخاطر السوق ومخاطر السيولة والمخاطر التشغيلية، كجزء من إطار إدارة المخاطر المؤسسية.\n\n**ملاحظة:** هذه المادة تظهر في الوثيقة بالتنسيق (4-3) وليس 1-4-3.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار عن التزام قانوني محدد في المادة (4-3) بخصوص إدارة المخاطر الشاملة للمؤسسات المرخصة\\n📋 **الأساس القانوني**: الكتاب 6 من المبادئ القانونية في مجلس التأديب، المادة (4-3) المتعلقة بإدارة المخاطر\\n⚖️ **التفسير القانوني**: المشرع أوجب على جميع الأشخاص المرخص لهم وضع إطار متكامل لإدارة المخاطر يشمل أربعة أنواع رئيسية: الائتمانية والسوقية والسيولة والتشغيلية\\n✅ **القرار النهائي**: **إلزامي** - وجود سياسات شاملة لإدارة المخاطر الأربعة الأساسية التزام قانوني\\n💡 **إرشادات الامتثال**: تطوير وثائق سياسة مخاطر معتمدة تغطي الأنواع الأربعة، تحديث دوري للسياسات، تدريب الموظفين، ومراجعة فعالية التطبيق",
+    "reference": "الكتاب 6.pdf - المبادئ القانونية في مجلس التأديب، المادة (4-3)",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "ما هو المبدأ من المادة (4-3) من المبادئ القانونية؟",
+    "answer": "وضع المشرع التزاماً على الأشخاص المرخص لهم بوضع سياسات لإدارة مخاطر الائتمان والسوق والسيولة والمخاطر التشغيلية في سياسة إدارة المخاطر الخاصة بهم. هذا المبدأ يتعلق بإلزام المؤسسات المرخصة بوضع إطار شامل لإدارة المخاطر يغطي جميع أنواع المخاطر التي قد تواجهها المؤسسة في أعمالها.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار عن التزام قانوني محدد بخصوص إدارة المخاطر للمؤسسات المالية المرخصة\n📋 **الأساس القانوني**: المادة (4-3) من المبادئ القانونية في مجلس التأديب\n⚖️ **التفسير القانوني**: المشرع ألزم المؤسسات المرخصة بوضع سياسات شاملة تغطي أربعة أنواع من المخاطر: الائتمان، السوق، السيولة، والتشغيلية\n✅ **القرار النهائي**: **مطلوب** - وجود سياسات إدارة المخاطر الشاملة التزام قانوني إجباري\n💡 **إرشادات الامتثال**: يجب تطوير وتطبيق إطار متكامل لإدارة المخاطر يشمل التحديد والقياس والمراقبة والتحكم في جميع المخاطر",
+    "reference": "الكتاب 6.pdf - المبادئ القانونية في مجلس التأديب، المادة (4-3)",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "ما هو ملخص المادة 4-3 من المبادئ القانونية؟",
+    "answer": "يتطلب هذا المبدأ من الأشخاص المرخص لهم وضع سياسات شاملة لإدارة المخاطر تشمل: مخاطر الائتمان، ومخاطر السوق، ومخاطر السيولة، والمخاطر التشغيلية. الهدف هو ضمان أن المؤسسات المالية لديها إطار عمل قوي لتحديد وقياس ومراقبة والتحكم في جميع أنواع المخاطر التي تواجهها في عملياتها التجارية.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: طلب ملخص للمادة (4-3) من المبادئ القانونية المتعلقة بسياسات إدارة المخاطر\\n📋 **الأساس القانوني**: الكتاب 6 من المبادئ القانونية في مجلس التأديب، المادة (4-3) للمخاطر المصرفية\\n⚖️ **التفسير القانوني**: المشرع يهدف لضمان إدارة شاملة للمخاطر من خلال إلزام المؤسسات بوضع إطار متكامل يشمل دورة كاملة: التحديد والقياس والمراقبة والتحكم\\n✅ **القرار النهائي**: **إلزامي** - إطار عمل قوي وشامل لإدارة جميع أنواع المخاطر الأربعة\\n💡 **إرشادات الامتثال**: تطوير منهجية متد��جة لإدارة المخاطر تبدأ بالتحديد ثم القياس الكمي والمراقبة المستمرة وأخيراً آليات التحكم والتخفيف، مع مراجعة دورية للفعالية",
+    "reference": "الكتاب 6.pdf - المبادئ القانونية في مجلس التأديب، المادة (4-3)",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "بناءً على الملكية المذكورة هل تعتبر الشركة الكويتية للاستثمار مترابطة مع شركة إمبلس إنترناشيونال للاتصالات؟",
+    "answer": "وفقاً لمفاهيم السيطرة التي تستخدم في تحديد مدى وجود ترابط بين الأطراف من شركات الأموال، فإنه إذا تحقق للطرف (أ) السيطرة بموجب الملكية المباشرة في الطرف/ الأطراف (ب)، وفي ذات الوقت تحقق للطرف (أ) السيطرة بموجب الملكية غير المباشرة في الطرف/ الأطراف (ج)، فإن ذلك يعني أن كل من الطرف/ الأطراف (ب) و(ج) يتم السيطرة عليهم من طرف واحد وهو الطرف (أ)، وعليه يتحقق الارتباط بين الطرف/ الأطراف (ب) و(ج) على هذا الأساس. نعم، تعتبر الشركتان مترابطتين وفقاً لمفهوم العميل الواحد الوارد في تعليمات بنك الكويت المركزي ذات العلاقة.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار تطبيقي عن ترابط شركتين محددتين (الشركة الكويتية للاستثمار وشركة إمبلس إنترناشيونال) وفق مفهوم العميل الواحد\\n📋 **الأساس القانوني**: تعليمات بنك الكويت المركزي لمفهوم العميل الواحد ومعايير السيطرة والترابط بين الشركات\\n⚖️ **التفسير القانوني**: نظرية السيطرة المشتركة تنص أن الشركات المترابطة عبر طرف ثالث مسيطر (أ) تُعتبر مترابطة فيما بينها، حيث السيطرة المباشرة وغير المباشرة من نفس الطرف تخلق ترابطاً قانونياً\\n✅ **القرار النهائي**: **نعم** - الشركتان مترابطتان وفقاً لمفهوم العميل الواحد عبر السيطرة المشتركة\\n💡 **إرشادات الامتثال**: تطبيق حدود التمويل الموحدة على الشركتين كعميل واحد، مراقبة إجمالي التعرضات المجمعة، وضمان الامتثال لنسب التركز التمويلي المقررة",
+    "reference": "تعليمات بنك الكويت المركزي - مفهوم العميل الواحد",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "لغرض احتساب الحد الأعلى لإجمالي التسهيلات الممنوحة للأطراف المترابطة لاحتساب نسبة التركز التمويلي، هل يتم احتساب التسهيلات غير النقدية على أساس قيمة الحد أو المستخدم من الحد؟",
+    "answer": "إن عمليات التمويل غير النقدية التي يتم الاعتداد بها عند احتساب نسبة التركز التمويلي، هي العمليات التي ترتب التزاماً عرضياً على البنك، وهي تشمل ما يلي: الاعتمادات المستندية - خطابات الضمان والكفالات - القبولات. ومعنى ذلك أنه متى ما ترتب فعلاً بسبب عمليات التمويل غير النقدية التزاماً عرضياً على مصرفنا، تم إضافة تلك العمليات إلى إجمالي عمليات التمويل غير النقدية عند احتساب نسبة التركز التمويلي لمصرفنا، أي أنه يتم احتساب الحدود المستخدمة فقط من عمليات التمويل غير النقدية والتي ترتب عليها فعلاً التزاماً عرضياً على مصرفنا، وليست قيمة الحدود التي لم تستخدم ولم ترتب فعلاً التزاماً عرضياً على مصرفنا.",
+    "reference": "تعليمات بنك الكويت المركزي - نسبة التركز التمويلي",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "يرجى الإفادة حول ما إذا كان هناك أي تعليمات تمنع العملاء الأفراد من فئة عالي المخاطر بتحديث بياناتهم عبر تطبيق بنك وربة وتستوجب حضورهم شخصياً إلى البنك؟",
+    "answer": "لا يوجد تعارض مع التعليمات مع الالتزام التام بسياسة مصرفنا بهذا الشأن.",
+    "reference": "سياسات بنك وربة الداخلية",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "توضيح تعليمات البنك المركزي بخصوص منح تسهيلات غير نقدية لشركات لها ترابط مع أحد أعضاء مجلس الإدارة، فهل يجوز الاكتفاء بهامش نقدي لا يغطي 100% من التسهيلات؟",
+    "answer": "يتعين أن يتم تحديد الهوامش (التأمينات النقدية) التي يحصل عليها البنك من قيمة عمليات التمويل غير النقدية وفقاً للأصول المصرفية المتعارف عليها والمتبع مع باقي عملاء البنك، مع مراعاة ما يلي: - ألا تقل هذه الهوامش عن 100% من قيمة خطابات الضمان أو الكفالات الصادرة لضمان أي عمليات تمويل يحصل عليها عضو مجلس الإدارة من بنوك أو مؤسسات مالية أخرى. - بالنسبة للاعتمادات المستندية وباقي خطابات الضمان أو الكفالات والالتزامات العرضية الأخرى، يتعين الحصول على هوامش كافية مقابلها، بحيث لا يكون هناك أية معاملة تفضيلية لأي من أعضاء مجلس الإدارة عن باقي عملاء البنك.",
+    "reference": "تعليمات بنك الكويت المركزي ذات العلاقة",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "استفسار عن رغبة البنك بفتح حساب لعميل ذو شخصية اعتبارية تم تصنيفه من ذوي مرتفعي المخاطر نظراً لعلاقته بالمجوهرات والذهب وكون الرخصة الصادرة هي رخصة منزلية والتي لا يقوم بها بتقديم بيانات مالية معتمدة؟",
+    "answer": "نود الإفادة أنه بالإشارة إلى تعليمات بنك الكويت المركزي بشأن مكافحة غسل الأموال وتمويل الإرهاب الصادرة والمحدثة في 16/02/2023 (تدابير العناية الواجبة المشددة على العملاء ذوي المخاطر المرتفعة..) نصت في النقطة رقم 4 على \"تتضمن تدابير العناية الواجبة المشددة التي تنطبق على علاقات العمل مرتفعة المخاطر ،... ج. الحصول على معلومات إضافية عن العميل (الشخص الاعتباري) وطبيعة علاقة العمل المتوقعة وحجم النشاط والحصول على آخر ميزانية متاحة عن النشاط\". وعليه فإن أي عميل ذو شخصية اعتبارية يتم تصنيفه من ذوي مرتفعي المخاطر عليه تقديم البيانات المالية المتاحة عند تقديم طلب فتح الحساب وتحديث البيانات (KYC) مهما كان نوع الترخيص التجاري.",
+    "reference": "تعليمات بنك الكويت المركزي - مكافحة غسل الأموال وتمويل الإرهاب (16/02/2023)",
+    "category": "Banking Regulation"
+  },
+  {
+    "question": "ما هي المدة القانونية التي يجب أن يحتفظ فيها الشخص المرخص له ببيانات اعرف عميلك (KYC) بعد انتهاء العلاقة مع العميل؟",
+    "answer": "خمس سنوات.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار عن المدة الزمنية الإلزامية لحفظ سجلات العملاء بعد إنهاء العلاقة التجارية\\n📋 **الأساس القانوني**: قوانين هيئة أسواق المال ولوائح حفظ السجلات وإدارة المخاطر\\n⚖️ **التفسير القانوني**: هيئة أسواق المال تلزم الأشخاص المرخص لهم بالاحتفاظ ببيانات العملاء لمدة خمس سنوات كاملة من تاريخ إنهاء العلاقة لضمان الامتثال والمراجعة\\n✅ **القرار النهائي**: **إلزامي** - الاحتفاظ بسجلات KYC لمدة خمس سنوات بعد إنهاء العلاقة\\n💡 **إرشادات الامتثال**: وضع نظام أرشفة منظم مع تواريخ واضحة لإنهاء العلاقات، وتنبيهات تلقائية لانتهاء فترات الحفظ، والتأكد من أمان وسرية السجلات المحفوظة",
+    "reference": "قوانين هيئة أسواق المال - حفظ السجلات",
+    "category": "Capital Markets"
+  },
+  {
+    "question": "ما هي الشروط التي يجب أن تتوافر في التفويض القانوني الذي يسمح لشخص بفتح وتشغيل حساب استثماري نيابة عن عميل؟ وهل يجوز أن يكون التفويض إلكترونياً؟",
+    "answer": "يجب أن يكون التفويض صادراً من كاتب عدل أو موثق معتمد من وزارة العدل. يجب أن يتضمن نصاً صريحاً بالصلاحيات المفوضة مثل فتح الحساب، تشغيله، إجراء الحوالات، أو بيع وشراء الأوراق المالية. لا يُعتد بالتفويض الإلكتروني إلا إذا كان موثقاً ومعتمداً وفق قانون المعاملات الإلكترونية.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار مركب عن متطلبات التفويض القانوني للعمل نيابة عن العملاء في الاستثمار ومدى قبول التوثيق الإلكتروني\\n📋 **الأساس القانوني**: قوانين هيئة أسواق المال للتفويض القانوني وقانون المعاملات الإلكترونية الكويتي\\n⚖️ **التفسير القانوني**: هيئة أسواق المال تتطلب توثيقاً رسمياً من كاتب عدل معتمد مع نص صريح للصلاحيات، والتفويض الإلكتروني مقبول فقط إذا كان معتمداً وفق قانون المعاملات الإلكترونية\\n✅ **القرار النهائي**: **إلزامي** - توثيق رسمي من كاتب عدل + نص صريح للصلاحيات + اعتماد إلكتروني عند الحاجة\\n💡 **إرشادات الامتثال**: الحصول على تفويض موثق رسمياً يحدد بوضوح جميع الصلاحيات المطلوبة، التأكد من اعتماد التوقيع الإلكتروني وفق القانون الكويتي، حفظ نسخ معتمدة من التفويض",
+    "reference": "قوانين هيئة أسواق المال - التفويض القانوني",
+    "category": "Capital Markets"
+  },
+  {
+    "question": "هل هناك قيود مفروضة على موظفي الشخص المرخص له من قبل هيئة أسواق المال بالنسبة لتداولاتهم؟",
+    "answer": "يتعين على موظفي الشخص المرخص له الالتزام بالتعليمات والقيود المفروضة عليهم من قبل الهيئة، حيث يتعين إبلاغ مسؤول المطابقة والالتزام – على الفور - بأي صفقة (بيع أو شراء أوراق مالية محلية) يجريها عن نفسه أو بالإنابة عن أحد أقربائه أو عن شركة تابعة له أو لأحد أقربائه.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار عن القيود التنظيمية المفروضة على تداولات موظفي الأشخاص المرخص لهم من هيئة أسواق المال\\n📋 **الأساس القانوني**: تعليمات هيئة أسواق المال لقيود التداول للموظفين ومنع تضارب المصالح\\n⚖️ **التفسير القانوني**: هيئة أسواق المال تفرض قيوداً صارمة على موظفي الشركات المرخصة لمنع الاستفادة من المعلومات الداخلية، وتتطلب الإبلاغ الفوري عن جميع التداولات الشخصية\\n✅ **القرار النهائي**: **إلزامي** - إبلاغ فوري لمسؤول المطابقة عن جميع التداولات الشخصية والعائلية\\n💡 **إرشادات الامتثال**: وضع نظام إبلاغ فعال مع مسؤول المطابقة، تدريب الموظفين على قيود التداول، توثيق جميع التداولات، والتأكد من عدم الاستفادة من المعلومات الداخلية",
+    "reference": "تعليمات هيئة أسواق المال - قيود التداول للموظفين",
+    "category": "Capital Markets"
+  },
+  {
+    "question": "هل يجوز للشخص المرخص له بمزاولة نشاط مدير استثمار جماعي أن يتواصل مع بعض العملاء لمعرفة رأيهم بشأن الاستثمار في صندوق يرغب بتسويقه مستقبلاً؟ وذلك قبل حصوله على ترخيص تسويق الصندوق من الهيئة؟",
+    "answer": "يجوز للهيئة – بناءً على طلب مقدم - أن تسمح للمسوق خلال فترة استكمال متطلبات الهيئة التواصل مع العملاء المحترفين المحتملين لبحث رغبتهم بالاستثمار في الصندوق المزمع تسويقه دون الإعلان في وسائل الإعلام، وأن لا يتم تقاضي أي مبالغ نقدية أو غير نقدية أو الحصول على التزام نهائي من العملاء بالاشتراك في الصندوق قبل الحصول على ترخيص التسويق من الهيئة.",
+    "chain_of_thought": "🔍 **تحليل السؤال**: استفسار قانوني عن إمكانية التسويق المبكر للصناديق ا��استثمارية قبل الحصول على ترخيص التسويق من الهيئة\\n📋 **الأساس القانوني**: تعليمات هيئة أسواق المال لتسويق الصناديق الاستثمارية وحماية المستثمرين\\n⚖️ **التفسير القانوني**: الهيئة تسمح بالتواصل المحدود مع العملاء المحترفين فقط لاستطلاع الآراء بشروط صارمة: عدم الإعلان العام، عدم جمع الأموال، عدم الحصول على التزامات نهائية\\n✅ **القرار النهائي**: **مشروط** - يجوز بطلب مسبق من الهيئة مع العملاء المحترفين فقط وبدون جمع أموال\\n💡 **إرشادات الامتثال**: تقديم طلب رسمي للهيئة، التواصل مع العملاء المحترفين المؤهلين فقط، تجنب الإعلانات العامة، عدم جمع أي أموال أو التزامات، توثيق جميع المراسلات والاتصالات",
+    "reference": "تعليمات هيئة أسواق المال - تسويق الصناديق الاستثمارية",
+    "category": "Capital Markets"
+  }
+]

requirements.txt

@@ -0,0 +1,35 @@
+# Enhanced Arabic Document Chatbot Dependencies
+
+# Core web framework
+gradio>=4.0.0
+
+# AI and language models
+google-generativeai>=0.3.0
+openai>=1.3.0
+
+# Vector search and embeddings
+faiss-cpu>=1.7.4
+sentence-transformers>=2.2.0
+
+# PDF processing
+PyMuPDF>=1.23.0
+pdfplumber>=0.10.0
+pytesseract>=0.3.10
+easyocr>=1.7.0
+
+# Data processing
+numpy>=1.24.0
+PyYAML>=6.0
+
+# Arabic NLP tools
+camel-tools>=1.5.2
+pyarabic>=0.6.15
+arabic-reshaper>=3.0.0
+python-bidi>=0.4.2
+
+# Utilities
+tenacity>=8.2.0
+
+# Optional: GPU support (uncomment if needed)
+# faiss-gpu>=1.7.4
+# torch>=2.0.0

requirements.yml

@@ -0,0 +1,147 @@
+# Enhanced Arabic Document Chatbot - Comprehensive Dependencies
+# Supports CAMeL Tools for Arabic NLP and GPU-accelerated embeddings
+# Installation: pip install -r requirements.yml
+
+name: arabic-document-chatbot
+channels:
+  - pytorch
+  - nvidia
+  - conda-forge
+  - defaults
+
+dependencies:
+  # Python version
+  - python=3.11
+
+  # Core ML and GPU Dependencies
+  - pytorch>=2.1.0
+  - torchvision>=0.16.0
+  - torchaudio>=2.1.0
+  - pytorch-cuda=12.1  # CUDA 12.1 support
+  - cudatoolkit=12.1
+  - nvidia::cuda-toolkit=12.1
+
+  # Core Python Dependencies
+  - pip>=23.0
+  - setuptools>=65.0
+  - wheel>=0.38.0
+
+  # Data Science and ML
+  - numpy>=1.24.0
+  - pandas>=2.0.0
+  - scipy>=1.10.0
+  - scikit-learn>=1.3.0
+
+  # NLP and Text Processing
+  - nltk>=3.8
+  - regex>=2023.5.5
+
+  # PDF Processing and OCR
+  - pillow>=10.0.0
+
+  # Vector Database and Search
+  - faiss-gpu>=1.7.4  # GPU-accelerated FAISS
+  - h5py>=3.8.0
+
+  # Web Framework and API
+  - flask>=2.3.0
+  - flask-cors>=4.0.0
+  - gunicorn>=21.0.0
+
+  # Async and Concurrency
+  - aiofiles>=23.0.0
+  - asyncio
+
+  # Configuration and Data
+  - pyyaml>=6.0
+  - python-dotenv>=1.0.0
+  - configparser>=5.3.0
+
+  # Logging and Monitoring
+  - colorlog>=6.7.0
+
+  # Development and Testing
+  - pytest>=7.4.0
+  - pytest-asyncio>=0.21.0
+  - black>=23.0.0
+  - flake8>=6.0.0
+
+  # System and File Operations
+  - pathlib2>=2.3.7
+  - tqdm>=4.65.0
+
+  # Pip-only Dependencies
+  - pip:
+    # Arabic NLP - CAMeL Tools
+    - camel-tools>=1.5.2
+    
+    # Advanced Embeddings and Transformers
+    - sentence-transformers>=2.2.2
+    - transformers>=4.35.0
+    - tokenizers>=0.15.0
+    - accelerate>=0.24.0
+    
+    # Specialized Embedding Models
+    - InstructorEmbedding>=1.0.1
+    - FlagEmbedding>=1.2.0
+    
+    # PDF Processing Libraries
+    - PyMuPDF>=1.23.0
+    - pdfplumber>=0.10.0
+    - pymupdf-fonts>=1.0.5
+    
+    # OCR and Image Processing
+    - easyocr>=1.7.0
+    - opencv-python>=4.8.0
+    - pytesseract>=0.3.10
+    
+    # Google AI Integration
+    - google-generativeai>=0.3.0
+    - google-auth>=2.23.0
+    - google-auth-oauthlib>=1.1.0
+    - google-auth-httplib2>=0.2.0
+    
+    # Advanced Text Processing
+    - arabic-reshaper>=3.0.0
+    - python-bidi>=0.4.2
+    - polyglot>=16.7.4
+    - langdetect>=1.0.9
+    
+    # Enhanced Logging and Debugging
+    - rich>=13.5.0
+    - loguru>=0.7.0
+    
+    # Configuration and Environment
+    - hydra-core>=1.3.0
+    - omegaconf>=2.3.0
+    
+    # Performance and Optimization
+    - numba>=0.58.0
+    - cython>=3.0.0
+    
+    # Additional Utilities
+    - click>=8.1.0
+    - typer>=0.9.0
+    - jinja2>=3.1.0
+    
+    # Database and Storage (Optional)
+    - sqlalchemy>=2.0.0
+    - redis>=5.0.0
+    
+    # HTTP and API Clients
+    - requests>=2.31.0
+    - httpx>=0.25.0
+    - aiohttp>=3.8.0
+    
+    # JSON and Data Serialization
+    - orjson>=3.9.0
+    - msgpack>=1.0.0
+    
+    # Validation and Type Checking
+    - pydantic>=2.4.0
+    - typing-extensions>=4.8.0
+    
+    # Development Tools
+    - pre-commit>=3.4.0
+    - mypy>=1.5.0
+    - isort>=5.12.0