Tiny-vLLM هو محرك استدلال (inference engine) لنماذج اللغة الكبيرة (LLM) مكتوب بلغة C++ وCUDA، ظهر مؤخراً على Hacker News وحظي باهتمام المجتمع التقني. يهدف المشروع إلى تقديم أداء عالٍ مع استهلاك منخفض للموارد، مما يجعله خياراً جذاباً للمطورين الذين يرغبون في تشغيل نماذج LLM محلياً دون الحاجة إلى بنية تحتية ضخمة.

في هذا الدليل العملي، سنأخذك خطوة بخطوة لتركيب وتجربة Tiny-vLLM على جهازك، مع شرح المتطلبات، الأخطاء الشائعة، وأمثلة استخدام تناسب السوق العربي. سواء كنت مطوراً مستقلاً أو صاحب مشروع صغير، ستتمكن من تقييم الأداة وتجربتها بنفسك.

ما هو Tiny-vLLM؟ شرح مبسط للمحرك ومكوناته

Tiny-vLLM هو محرك استدلال خفيف وسريع لنماذج اللغة الكبيرة، صمم ليكون بديلاً عملياً للمحركات الثقيلة مثل vLLM الأصلي. يعتمد على لغة C++ لتحقيق أداء عالٍ، وCUDA للاستفادة من معالجات NVIDIA. المكونات الأساسية تشمل:

• مُحمل النماذج (Model Loader): يدعم تحميل النماذج بصيغ مختلفة مثل Hugging Face وGGUF.
• محرك الاستدلال (Inference Engine): ينفذ عمليات الاستدلال باستخدام Tensor Cores إذا كانت متوفرة.
• واجهة سطر الأوامر (CLI): للتفاعل مع المحرك مباشرة.

الهدف من المشروع هو توفير محرك يمكن تشغيله على أجهزة متوسطة الإمكانيات، مع الحفاظ على سرعة استجابة عالية.

من يحتاج Tiny-vLLM ومن لا؟

من يحتاجه:

• مطورون يريدون تشغيل LLM محلياً على GPU متوسطة (مثل RTX 3060 أو أعلى).
• باحثون في معالجة اللغة الطبيعية يحتاجون إلى محرك سريع للتجارب.
• أصحاب المشاريع الصغيرة الذين يريدون دمج LLM في تطبيقاتهم دون تكاليف سحابية.

من لا يحتاجه:

• من يريد تشغيل نماذج ضخمة (مثل Llama 70B) على GPU واحدة – ستحتاج إلى محرك أكثر تطوراً.
• المبتدئون الذين ليس لديهم خبرة في بناء مشاريع C++ من المصدر.
• من يبحث عن حل جاهز للتشغيل الفوري (بدون تركيب).

المميزات الرئيسية: السرعة، الخفة، التوافق مع CUDA

• سرعة عالية: بفضل C++ وCUDA، يستفيد من Tensor Cores لتسريع الاستدلال.
• استهلاك منخفض للذاكرة: مقارنة بـ vLLM الأصلي، يستهلك ذاكرة أقل بنسبة تصل إلى 30% (حسب النموذج).
• توافق واسع: يدعم نماذج متعددة من Hugging Face وGGUF.
• مفتوح المصدر: يمكن تعديله وتخصيصه حسب الحاجة.

المتطلبات الأساسية: النظام، GPU، المكتبات

قبل البدء، تأكد من توفر المتطلبات التالية:

• نظام تشغيل: Linux (Ubuntu 20.04 أو أحدث) – لم يتم اختباره على Windows أو macOS رسمياً.
• GPU: NVIDIA مع دعم CUDA Compute Capability 7.0 أو أعلى (مثل RTX 20xx/30xx/40xx).
• CUDA Toolkit: الإصدار 11.8 أو 12.x.
• CMake: الإصدار 3.22 أو أحدث.
• مكتبات إضافية: GCC/G++، cuBLAS، وnlohmann/json (يتم تنزيلها تلقائياً).

ملاحظة: README الحالي غير واضح بالكامل؛ الخطوات التالية تقريبية بناءً على بنية المشروع.

تركيب Tiny-vLLM خطوة بخطوة (بناء من المصدر)

اتبع الخطوات التالية لبناء المشروع من المصدر:

1. تثبيت المتطلبات الأساسية:

   sudo apt update && sudo apt install -y build-essential cmake git

2. تثبيت CUDA Toolkit: اتبع التعليمات الرسمية من NVIDIA حسب إصدار نظامك.
3. استنساخ المستودع:

   git clone https://GitHub.com/jmaczan/tiny-vllm.git cd tiny-vllm

4. بناء المشروع باستخدام CMake:

   mkdir build && cd build cmake .. -DCMAKE_BUILD_TYPE=Release make -j$(nproc)

5. تثبيت (اختياري):

   sudo make install

ملاحظة: قد تظهر أخطاء أثناء البناء بسبب عدم توافق الإصدارات – راجع قسم الأخطاء الشائعة.

شرح ملف الإعدادات (إن وجد) ومفاتيح API

حتى الآن، لا يحتوي المشروع على ملف .env أو إعدادات منفصلة. يتم تمرير المعاملات عبر سطر الأوامر أو عبر متغيرات البيئة. إذا احتجت لاستخدام API خارجي (مثل Hugging Face)، قم بتعيين المفتاح كمتغير بيئة:

export HF_TOKEN=your_huggingface_token

يمكنك أيضاً وضع المفتاح في ملف ~/.bashrc ليبقى دائماً.

تشغيل Tiny-vLLM: أوامر أساسية وتجربة أولى

بعد البناء، يمكنك تشغيل المحرك باستخدام الأمر التالي (مثال افتراضي):

./tiny-vllm --model /path/to/model --prompt "ما هو الذكاء الاصطناعي؟"

إذا كان النموذج من Hugging Face، يمكنك استخدام معرف النموذج مباشرة:

./tiny-vllm --model meta-llama/Llama-2-7b-chat-hf --prompt "السلام عليكم"

للتجربة الأولى، استخدم نموذجاً صغيراً مثل microsoft/phi-2 لتجنب مشاكل الذاكرة.

أخطاء شائعة وحلولها: مشاكل البناء، CUDA، الذاكرة

استخدامات عملية: تلخيص نصوص، توليد ردود، أمثلة محلية

مثال 1: تلخيص مقال إخباري سعودي

./tiny-vllm --model microsoft/phi-2 --prompt "لخص النص التالي: أعلنت وزارة الطاقة السعودية عن اكتشاف حقل غاز جديد في المنطقة الشرقية..."

مثال 2: توليد ردود آلية لخدمة عملاء بالعربية

./tiny-vllm --model microsoft/phi-2 --prompt "العميل: أريد استرجاع طلبي. الرد:"

مثال 3: مقارنة أداء مع llama.cpp

استخدم نفس النموذج (مثل phi-2) على كلا المحركين وقارن زمن الاستجابة. Tiny-vLLM قد يكون أسرع بنسبة 10-20% على GPU متوسطة.

هل يستحق Tiny-vLLM التجربة؟ تقييم صادق

نعم، إذا كنت مطوراً متوسطاً أو متقدماً وتبحث عن محرك استدلال خفيف وسريع. لكنه ليس جاهزاً للإنتاج بعد (عدد النجوم 0، README غير مكتمل). استخدمه للتجارب والتعلم، لكن لا تعتمد عليه في تطبيقات حرجة حالياً.

بدائل مشابهة: مقارنة مع vLLM وllama.cpp

أسئلة شائعة (FAQ)

هل يمكن تشغيل Tiny-vLLM بدون GPU؟

لا، يعتمد على CUDA ولا يدعم CPU حالياً.

ما الفرق بين Tiny-vLLM وvLLM الأصلي؟

Tiny-vLLM هو نسخة مبسطة وخفيفة، لكنه يفتقد لميزات مثل PagedAttention والتوسع الأفقي.

هل يدعم Tiny-vLLM النماذج العربية؟

يدعم أي نموذج من Hugging Face، بما في ذلك النماذج العربية مثل AraBERT أو Jais.

كيف أحل مشكلة 'CUDA not found' أثناء البناء؟

تأكد من تثبيت CUDA Toolkit وأن متغير البيئة CUDA_HOME يشير إلى المسار الصحيح.

هل المشروع مستقر للإنتاج؟

لا، المشروع في مراحله الأولى ولا يُنصح باستخدامه في الإنتاج.

ما هي متطلبات الذاكرة العشوائية؟

لنموذج 7B، تحتاج حوالي 14GB VRAM (باستخدام FP16). للنماذج الأصغر، أقل.

كيف أحدث المشروع بعد التثبيت؟

استخدم git pull ثم أعد البناء.

خاتمة: خلاصة وتوصيات

Tiny-vLLM مشروع واعد لمطوري LLM الذين يريدون محركاً خفيفاً وسريعاً. جربه على جهازك، لكن كن مستعداً لمواجهة أخطاء البناء. إذا كنت تبحث عن حل جاهز، استخدم vLLM أو llama.cpp حالياً. تابع المشروع على GitHub لمعرفة التحديثات.