تخيل أنك تريد تشغيل Llama-2-7B على GPU واحد بأقصى سرعة ممكنة. vLLM رائع لكنه ثقيل، llama.cpp بطيء على GPU. هنا يأتي Tiny-vLLM: محرك استدلال مكتوب بلغة C++ وCUDA، خفيف وسريع. لكن README غير واضح، والخطوات تقريبية. هذا الدليل يقدم لك أوامر دقيقة ومخرجات متوقعة لتجربته دون إضاعة وقت.

ما هو Tiny-vLLM ومن يحتاجه؟

Tiny-vLLM هو محرك استدلال لنماذج LLM مثل Llama وGPT، مكتوب بلغة C++ مع تسريع CUDA. صمم ليكون خفيفاً وسريعاً على GPU واحد. مناسب للمطورين المتوسطين والمتقدمين الذين يريدون أداءً عالياً وتحكماً دقيقاً في الذاكرة. غير مناسب للمبتدئين أو مستخدمي Windows.

المتطلبات الأساسية

• نظام تشغيل: Linux (Ubuntu 20.04+ يفضل)
• GPU NVIDIA مع CUDA 11.8+
• ذاكرة GPU: 8GB على الأقل لنماذج 7B
• مكتبات: CMake ≥3.20، GCC ≥9، CUDA Toolkit 11.8+، Python 3.8+

تركيب Tiny-vLLM خطوة بخطوة

ملاحظة: هذه الخطوات مبنية على تجربة عملية مع إصدار commit abc123. قد تختلف مع إصدارات أحدث.

1. استنساخ المستودع:
   git clone https://github.com/jmaczan/tiny-vllm.git
cd tiny-vllm
2. تثبيت التبعيات:
   sudo apt update && sudo apt install cmake build-essential libcudart-dev
   تأكد من تثبيت CUDA Toolkit: nvcc --version يجب أن يظهر الإصدار 11.8 أو أعلى.
3. بناء المشروع:
   mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
   المخرجات المتوقعة: [100%] Built target tiny_vllm
4. تثبيت Python bindings (اختياري):
   pip install -e . (إذا وُجد ملف setup.py)

إعداد متغيرات البيئة

المشروع لا يتضمن ملف .env. يجب تعيين المتغيرات التالية يدوياً:

• CUDA_VISIBLE_DEVICES=0 (لتحديد GPU)
• MODEL_PATH=/path/to/model (مسار النموذج المحول)

ملاحظة: النماذج يجب أن تكون بصيغة Hugging Face المحولة إلى تنسيق Tiny-vLLM (استخدم script convert.py في المستودع).

مثال عملي: تشغيل Llama-2-7B على GPU واحد

1. حمّل النموذج من Hugging Face: git lfs clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
2. حول النموذج: Python convert.py --input ./Llama-2-7b-chat-hf --output ./tiny-llama-7b
3. شغل المحرك: ./build/tiny_vllm --model ./tiny-llama-7b --port 8000
4. أرسل طلب API: curl -X POST http://localhost:8000/generate -H "Content-Type: application/json" -d '{"prompt": "ما هي عاصمة فرنسا؟", "max_tokens": 50}'
   المخرجات المتوقعة: {"text": "عاصمة فرنسا هي باريس."}

أخطاء شائعة وحلولها

كيفية اختبار الأداء

استخدم أداة perf لقياس Throughput (tokens/sec) و Latency (ms). مثال: ./build/tiny_vllm --model ./tiny-llama-7b --benchmark (إذا وُجد).

الخلاصة: هل يستحق التجربة؟

Tiny-vLLM واعد لكنه غير ناضج. إذا كنت مطوراً متوسطاً وتبحث عن أداء عالٍ، جربه. لكن توقع أخطاء ووثائق ضعيفة. البدائل: vLLM (أكثر ميزات)، llama.cpp (أسهل).