عن المشروع

يُعد ChatRWKV تطبيقًا مفتوح المصدر للدردشة مصممًا للتفاعل مع نماذج لغة RWKV (R W K V). يتميز RWKV بأنه نموذج شبكة عصبية متكررة (RNN) بنسبة 100% يهدف إلى مطابقة أداء وقدرات توسعة نماذج Transformer مع تقديم مزايا في السرعة وكفاءة الذاكرة (VRAM). يوفر هذا المستودع الأدوات والرمز اللازم لتشغيل هذه النماذج محليًا أو عبر واجهة برمجة تطبيقات. تشمل الميزات والـمكونات الأساسية: - **التكنولوجيا الأساسية**: يستخدم نماذج RWKV، التي تحتفظ بالحالة عبر الرموز مثل RNN لكنها تحقق جودة مقارنة بـ Transformers. يُبرز README إصدار RWKV-7 كأحدث إصدار. - **الاستنتاج والنشر**: يوفر نصوص Python لتفاعلات الدردشة، بما في ذلك دعم الردود المتدفقة. يتضمن تعليمات لبناء نوى CUDA لتحسين الأداء على GPUs من NVIDIA، بالإضافة إلى استراتيجيات لتحميل فعال وتوفير ذاكرة RAM الخاصة بالـ CPU. - **إدارة النموذج**: يقدم أدوات لتحويل النماذج لاستراتيجيات استنتاج مختلفة ويدعم تنسيقات دقة مختلفة (INT8، FP16، إلخ). يتم توفير روابط إلى مستودعات Hugging Face لتحميل الأوزان المُدرَّبة مسبقًا، بما في ذلك نماذج سلسلة "Raven" المحددة والمُدرَّبة للمحادثات متعددة الأدوار. - **المجتمع والنظام البيئي**: يربط المستخدمين بمشاريع RWKV الأوسع مثل `rwkv.cpp` للاستنتاج السريع على CPU/GPU بدون Python، وتطبيقات الهاتف المحمول لـ Android/iOS، وأدوات ضبط دقة LoRA. كما يشير إلى عروض تجريبية خارجية لـ Gradio مُستضافة على Hugging Face Spaces. - **إرشادات الاستخدام**: يوضح تنسيق الدردشة المتوقع (مثل علامات Bob/Alice أو User/Assistant) لضمان التعامل الصحيح مع السياق وإدارة الحالة أثناء التوليد. ويحذر من استدعاء وظائف forward الخام مباشرةً بدون تتبع الحالة. - **الموارد**: يتضمن روابط إلى أوراق بحثية أكاديمية، ومدونات تقنية، ومجتمعات Discord، وحسابات Twitter للمزيد من التعلم والدعم. تتناول أقسام محددة نماذج اللغة الصينية والمجموعات المجتمعية. يستهدف المشروع المطورين والمتحمسين المهتمين بتشغيل نماذج لغة كبيرة محليًا مع متطلبات أجهزة أقل مقارنةً بالحلول القياسية القائمة على Transformer.