ظهر مشروع Tiny-vLLM مؤخراً على Hacker News تحت عنوان "Show HN: Tiny-vLLM – high performance LLM inference engine in C++ and CUDA". الفكرة: محرك استدلال لنماذج اللغة الكبيرة مكتوب بلغة C++ وCUDA، يعد بأداء عالٍ مع استهلاك منخفض للموارد. لكن README الخاص بالمشروع غير واضح، والخطوات المذكورة تقريبية. في هذا الدليل، سنشرح لك ما هو Tiny-vLLM، لمن هو مناسب، وكيف يمكنك تركيبه وتشغيله على جهازك بخطوات عملية، مع ذكر القيود والأخطاء الشائعة.

الهدف: تحويل هذا المشروع الناشئ إلى دليل عربي عملي يمكنك من تجربة استدلال LLM محلياً دون الحاجة لخدمات سحابية باهظة. سنكون صادقين: بعض الخطوات تقديرية، وننصحك بالرجوع إلى المصدر الرسمي للتحديثات.

ما هو Tiny-vLLM؟ شرح مبسط لمحرك الاستدلال

Tiny-vLLM هو محرك استدلال (inference engine) لنماذج اللغة الكبيرة (LLM) مكتوب بلغة C++ وCUDA. يعني هذا أنه مصمم لتشغيل نماذج مثل Llama-2 أو Mistral على جهازك المحلي، مستفيداً من قوة معالجة GPU من NVIDIA. الهدف: تقديم أداء عالٍ مع استهلاك منخفض للموارد مقارنة بأطر عمل أخرى مثل vLLM أو llama.cpp.

من يحتاج Tiny-vLLM؟ ومن لا يحتاجه؟

من يحتاجه: مطور برمجيات عربي يريد تشغيل LLM محلياً على خادم أو حاسوب شخصي، خاصة في السعودية والخليج حيث الخدمات السحابية قد تكون مكلفة. مناسب لتطبيقات المحادثة، التلخيص، أو الترجمة.

من لا يحتاجه: مبتدئ لا يملك GPU من NVIDIA أو لا يعرف أساسيات C++ وCUDA. أيضاً، إذا كنت تريد حلاً جاهزاً فورياً، فكر في Ollama أو llama.cpp.

المميزات الرئيسية: سرعة، كفاءة، مفتوح المصدر

• مكتوب بلغة C++ وCUDA لأداء عالٍ.
• يدعم نماذج متعددة (Hugging Face format).
• مفتوح المصدر بالكامل.
• يعد باستهلاك ذاكرة أقل مقارنة بـ vLLM.

المتطلبات الأساسية: الأجهزة، CUDA، C++ compiler

• GPU من NVIDIA مع دعم CUDA (حساب القدرة 7.0 فأعلى).
• CUDA Toolkit 11.8 أو أحدث.
• مترجم C++ يدعم C++17 (مثل GCC 9+).
• CMake 3.20+.
• نظام تشغيل Linux (اختبار على Ubuntu 22.04).

تركيب Tiny-vLLM خطوة بخطوة (ملاحظة: README غير واضح، الخطوات تقريبية)

لاحظ أن README الحالي لا يقدم تعليمات تركيب واضحة. بناءً على بنية المشروع، إليك الخطوات التقريبية:

1. استنساخ المستودع: git clone https://GitHub.com/jmaczan/tiny-vllm.git
2. إنشاء مجلد build: mkdir build && cd build
3. تشغيل CMake: cmake .. -DCMAKE_BUILD_TYPE=Release
4. بناء المشروع: make -j$(nproc)
5. تأكد من وجود ملف نموذج بصيغة Hugging Face في مجلد النماذج.

شرح ملف .env (إن وجد) وإعدادات API

المشروع لا يتضمن ملف .env حالياً. قد تحتاج لتعيين متغيرات بيئة مثل CUDA_VISIBLE_DEVICES لتحديد GPU.

تشغيل Tiny-vLLM وتجربة استدلال نموذج

بعد البناء، شغل الأمر التالي (تقريبي):

./tiny_vllm --model_path /path/to/model --prompt "ما هو الذكاء الاصطناعي؟"

استبدل المسار بنموذج مثل Llama-2-7B المحمل محلياً.

أخطاء شائعة وحلولها

استخدامات عملية: أمثلة تطبيقية للمطور العربي

مثال: تشغيل Tiny-vLLM على خادم صغير في السعودية لخدمة تطبيق محادثة بالعربية. يمكن استخدام نموذج مثل Jais (نموذج عربي) إذا كان متوافقاً.

هل يستحق Tiny-vLLM التجربة؟ تقييم صادق

المشروع واعد لكنه في مراحله الأولى. README غير واضح، وقد تواجه صعوبات في التركيب. إذا كنت مطوراً متمرساً وتبحث عن أداء عالٍ، جربه. للمبتدئين، ابدأ بـ llama.cpp.

بدائل مشابهة: vLLM, llama.cpp, Ollama

أسئلة شائعة (FAQ)

هل Tiny-vLLM يدعم اللغة العربية؟

يدعم أي نموذج مدعوم، لذا إذا كان النموذج يدعم العربية، فسيعمل.

ما الفرق بين Tiny-vLLM و vLLM؟

Tiny-vLLM مكتوب بلغة C++ وCUDA بشكل أساسي، بينما vLLM يعتمد على Python مع نوى C++. Tiny-vLLM يعد باستهلاك أقل للذاكرة.

هل يمكن تشغيل Tiny-vLLM بدون GPU؟

لا، يتطلب GPU من NVIDIA مع CUDA.

ما هي متطلبات الذاكرة العشوائية؟

تعتمد على النموذج. نموذج 7B يحتاج حوالي 14GB VRAM للـ FP16.

هل يدعم Tiny-vLLM نماذج Hugging Face؟

نعم، يدعم تنسيق Hugging Face.

كيف أحصل على نموذج متوافق؟

حمل نموذجاً مثل Llama-2-7B من Hugging Face بصيغة safetensors.

هل المشروع مستقر للإنتاج؟

لا، لا يزال في مرحلة مبكرة، غير موصى به للإنتاج.

أين أبلغ عن مشكلة أو خطأ؟

عبر GitHub Issues في المستودع الرسمي.