ظهر مشروع Tiny-vLLM مؤخراً على Hacker News تحت عنوان "Show HN: Tiny-vLLM – high performance LLM inference engine in C++ and CUDA". المشروع لا يزال في مراحله الأولى، لكنه يعد بمحرك استدلال عالي الأداء لنماذج اللغة الكبيرة (LLMs) باستخدام C++ وCUDA. في هذا الدليل، نشرح لك ما هو Tiny-vLLM، من يحتاجه، وكيف تجربه خطوة بخطوة (مع الإشارة إلى أن الخطوات تقريبية لأن README غير واضح بعد).

الهدف هو توفير مرجع عربي عملي يمكنك من تقييم المشروع وتجربته بنفسك، دون الاعتماد على ترجمة حرفية للـ README أو أوهام غير موجودة.

ما هو Tiny-vLLM؟

Tiny-vLLM هو محرك استدلال (inference engine) مفتوح المصدر لنماذج اللغة الكبيرة، مكتوب بلغة C++ ويستخدم CUDA للاستفادة من بطاقات الرسوميات NVIDIA. الهدف منه هو توفير أداء عالي مع استهلاك أقل للموارد مقارنة بمحركات مثل vLLM الأصلي. المشروع جديد (ظهر على Hacker News في 2025) ولا يزال في مرحلة التطوير المبكرة.

من يحتاج هذا المشروع ومن لا؟

يناسب: المطورين المهتمين بتشغيل نماذج LLM محلياً بأداء عالي، خاصة من لديهم GPU NVIDIA (مثل RTX 3060 أو أعلى). الباحثين عن بدائل أخف من vLLM أو llama.cpp.

لا يناسب: المبتدئين الذين ليس لديهم خبرة في CUDA أو إعداد بيئات C++. من يريد حلاً جاهزاً فورياً (المشروع لا يزال تجريبياً).

المميزات الرئيسية

• أداء عالي بفضل C++ وCUDA.
• مفتوح المصدر (رخصة غير محددة حالياً).
• خفيف مقارنة بـ vLLM الأصلي.
• يدعم نماذج Hugging Face (تقريباً).

المتطلبات الأساسية للتجربة

• نظام تشغيل: Linux (Ubuntu 20.04 أو أحدث) – Windows غير مدعوم رسمياً.
• بطاقة رسوميات NVIDIA مع CUDA Compute Capability 7.0+ (مثل RTX 20xx/30xx/40xx).
• CUDA Toolkit 11.8 أو أحدث.
• C++ compiler مع دعم C++17 (مثل GCC 9+).
• CMake 3.20+.
• ذاكرة RAM: 8GB على الأقل.
• VRAM: حسب النموذج (نماذج صغيرة مثل GPT-2 تحتاج 2GB).

التركيب خطوة بخطوة (تقريبي)

ملاحظة: README المشروع غير واضح، لذا الخطوات التالية تقريبية بناءً على بنية المشروع وممارسات شائعة. قد تختلف الأوامر الفعلية.

1. استنساخ المستودع:
   git clone https://GitHub.com/jmaczan/tiny-vllm.git
cd tiny-vllm
2. تثبيت التبعيات: تأكد من تثبيت CUDA Toolkit وCMake. قد تحتاج أيضاً إلى libtorch إذا كان المشروع يعتمد على PyTorch (غير مؤكد).
3. بناء المشروع:
   mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
4. تحميل نموذج: استخدم نموذجاً صغيراً مثل gpt2 من Hugging Face. قد تحتاج إلى تحويله إلى صيغة تدعمها الأداة (غير موضح).
5. تشغيل:
   ./tiny_vllm --model /path/to/model --prompt "مرحبا"

شرح ملف .env (إن وجد)

حتى الآن، لا يوجد ملف .env في المشروع. قد يضاف لاحقاً لتحديد مسار النموذج أو إعدادات CUDA. تابع المستودع للتحديثات.

التشغيل الأولي

بعد البناء، شغل الأمر مع نموذج اختباري. إذا ظهر خطأ في CUDA، تحقق من إصدار CUDA Toolkit وتوافق البطاقة. قد تحتاج إلى تعيين متغير البيئة CUDA_VISIBLE_DEVICES=0.

أخطاء شائعة وحلولها

استخدامات عملية للمطور العربي

• تشغيل مساعد دردشة عربي محلياً (مثل نموذج AraGPT2).
• تسريع استدلال نماذج LLM في تطبيقات سحابية على خوادم رخيصة.
• اختبار نماذج قبل نشرها في الإنتاج.

هل يستحق التجربة؟

نعم، إذا كنت مطوراً متوسطاً وتملك GPU مناسب. المشروع واعد لكنه غير ناضج. توقع أخطاء ونقصاً في التوثيق. إذا كنت تبحث عن حل مستقر، استخدم llama.cpp بدلاً من ذلك.

بدائل مشابهة

أسئلة شائعة

هل Tiny-vLLM مناسب للمبتدئين؟

لا، يتطلب خبرة في C++ وCUDA.

ما الفرق بين Tiny-vLLM و llama.cpp؟

llama.cpp أكثر نضجاً ويدعم CPU أيضاً، بينما Tiny-vLLM يركز على GPU فقط.

هل يمكن تشغيله على Windows؟

غير مدعوم رسمياً، لكن قد يعمل عبر WSL2.

ما هي بطاقات الرسوميات المدعومة؟

NVIDIA مع CUDA Compute Capability 7.0+ (RTX 20xx فما فوق).

هل يدعم النماذج العربية؟

نظرياً نعم، إذا كان النموذج بصيغة مدعومة.

كيف أحصل على المساعدة إذا واجهت مشكلة؟

افتح issue في GitHub أو اسأل في مجتمعات مثل Reddit r/LocalLLaMA.

هل المشروع لا يزال قيد التطوير؟

نعم، آخر تحديث قبل أيام.