ظهر مشروع Tiny-vLLM على Hacker News تحت عنوان "Show HN: Tiny-vLLM – high performance LLM inference engine in C++ and CUDA"، مما أثار فضول المطورين. لكن README الحالي لا يحتوي على تعليمات واضحة للتركيب أو التشغيل. هذا الدليل يقدم خطوات عملية مبنية على بنية المشروع النموذجية لمشاريع C++/CUDA، مع أمثلة حقيقية وتنبيهات للأخطاء الشائعة. سنغطي المتطلبات، التركيب، التشغيل الأول، وكيفية التحقق من تثبيت CUDA بشكل صحيح.

ما هو Tiny-vLLM؟

Tiny-vLLM هو محرك استدلال (inference engine) لنماذج اللغة الكبيرة، مكتوب بلغة C++ وCUDA. يهدف إلى توفير أداء عالٍ مع استهلاك منخفض للموارد، مما يجعله مناسباً للتطبيقات التي تحتاج إلى سرعة استجابة عالية. المشروع جديد جداً (ظهر على Hacker News في [تاريخ]) و README غير واضح حالياً. رابط المستودع: https://github.com/jmaczan/tiny-vllm.

لمن هذا المشروع؟

مطوري LLM الذين يريدون تجربة محرك استدلال خفيف وسريع. أصحاب المشاريع الصغيرة الذين يحتاجون إلى تشغيل نماذج LLM محلياً بتكلفة منخفضة. المطورون المهتمون بتعلم C++ وCUDA في سياق LLM. لا يناسب المبتدئين الذين ليس لديهم خبرة في C++ أو CUDA أو سطر الأوامر.

المتطلبات الأساسية

• نظام تشغيل: Linux (مفضل) أو Windows مع WSL.
• GPU من NVIDIA مع دعم CUDA (إصدار 11.0 أو أحدث).
• ذاكرة GPU: 4GB على الأقل للنماذج الصغيرة (مثل GPT-2).
• C++ compiler: g++ أو clang مع دعم C++17.
• CUDA Toolkit: مثبت ومضبوط في PATH.
• CMake: إصدار 3.18 أو أحدث.
• git: لاستنساخ المستودع.

كيف تتحقق من تثبيت CUDA بشكل صحيح؟

قبل البدء، تأكد من تثبيت CUDA Toolkit. استخدم الأوامر التالية:

nvcc --version
nvidia-smi

إذا ظهر إصدار CUDA، فالتثبيت صحيح. إذا لم يظهر، قم بتثبيت CUDA Toolkit من موقع NVIDIA الرسمي.

التركيب خطوة بخطوة (تنبيه: README غير واضح)

تنبيه: README الحالي لا يحتوي على تعليمات تركيب واضحة. الخطوات التالية تقريبية بناءً على بنية مشاريع C++/CUDA النموذجية. قد تحتاج إلى تعديلها حسب تطور المشروع. تحقق من Issues على GitHub للحصول على تحديثات.

1. استنساخ المستودع:

   git clone https://GitHub.com/jmaczan/tiny-vllm.git
   cd tiny-vllm

2. إنشاء مجلد البناء:

   mkdir build && cd build

3. تشغيل CMake:

   cmake .. -DCMAKE_BUILD_TYPE=Release

   إذا واجهت أخطاء، تأكد من تثبيت CUDA بشكل صحيح. قد تحتاج إلى تحديد مسار CUDA يدوياً باستخدام -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda.

4. بناء المشروع:

   make -j$(nproc)

5. تشغيل الاختبار (إن وجد):

   ./test/tiny_vllm_test

التشغيل الأول (مثال حقيقي)

بعد البناء، ابحث عن الملف التنفيذي (قد يكون باسم tiny_vllm أو run). لتحميل نموذج صغير مثل GPT-2 من Hugging Face، استخدم الأمر التالي (إذا كان المشروع يدعم Hugging Face، وإلا فاستخدم نموذجاً محلياً بصيغة مدعومة):

./tiny_vllm --model /path/to/gpt2 --prompt "مرحبا"

إذا لم يعمل، تحقق من وجود أخطاء في الإخراج. قد تحتاج إلى تحديد دقة الحساب أو حجم الدفعة. مثال لملف config.json:

{
  "model_path": "/path/to/model",
  "gpu_id": 0,
  "precision": "fp16"
}

أخطاء شائعة وحلولها

البدائل

• llama.cpp: محرك استدلال مشهور يدعم نماذج GGUF، سهل الاستخدام وموثق جيداً.
• vLLM: محرك استدلال عالي الأداء من جامعة كاليفورنيا، لكنه أكثر تعقيداً.
• Ollama: أداة سهلة لتشغيل النماذج محلياً بواجهة سطر أوامر.