ظهر في Hacker News نموذج Needle من Cactus Compute، وهو نموذج استدعاء أدوات (tool calling) بحجم 26 مليون معامل فقط. الفكرة: استدعاء الأدوات لا يحتاج إلى نماذج ضخمة؛ يكفي نموذج صغير متخصص يعمل على أي جهاز. هذا الدليل يشرح لك كيفية تجربته محلياً، خطوة بخطوة، مع أمثلة عملية وأخطاء شائعة.

ملاحظة: README المشروع غير واضح بالكامل، لذا الخطوات تقريبية بناءً على بنية المشروع. لا تتردد في الرجوع إلى المستودع الرسمي لأي تحديثات.

ما هو Needle؟ شرح مبسط

Needle هو نموذج لغة صغير (26M معامل) متخصص في مهمة واحدة: استدعاء الأدوات. يعني إذا قلت له "حول 100 دولار إلى ريال سعودي"، يرجع JSON مثل: {'tool': 'convert_currency', 'args': {'amount': 100, 'from': 'USD', 'to': 'SAR'}}. الفكرة أن النماذج الكبيرة تهدر مواردها في التفكير العام، بينما استدعاء الأدوات مجرد مطابقة واستخراج.

من يحتاج Needle ومن لا؟

يحتاجه: مطور يريد بناء وكيل ذكي (agent) يعمل محلياً، صاحب مشروع صغير يريد أتمتة مهام دون اشتراكات سحابية، باحث في النماذج الصغيرة.

لا يحتاجه: من يريد نموذج دردشة عام، أو يحتاج دقة عالية في مهام معقدة، أو يفضل حلولاً جاهزة مثل OpenAI.

المميزات الرئيسية

• حجم صغير جداً (26M معامل) يعمل على CPU.
• سرعة عالية: 6000 tok/s prefill، 1200 tok/s decode.
• مفتوح المصدر (رخصة Apache 2.0 حسب README).
• مصمم خصيصاً لاستدعاء الأدوات، ليس دردشة.

المتطلبات قبل البدء

• Python 3.8+
• مكتبة PyTorch (يفضل مع دعم CUDA إن وجد)
• مكتبة transformers من Hugging Face
• ذاكرة RAM: 2GB على الأقل
• اتصال إنترنت لتحميل النموذج (مرة واحدة)

تركيب Needle خطوة بخطوة (تحذير: README غير واضح)

الخطوات التالية تقريبية بناءً على بنية المشروع. قد تختلف بعد تحديث README.

1. استنساخ المستودع: git clone https://github.com/cactus-compute/needle.git
2. الدخول إلى المجلد: cd needle
3. تثبيت المتطلبات: pip install -r requirements.txt (إذا لم يوجد، جرب pip install torch transformers)
4. تحميل النموذج: استخدم from transformers import AutoModelForCausalLM, AutoTokenizer مع اسم النموذج cactus-compute/needle.

تشغيل Needle وتجربة استدعاء أداة

مثال عملي: استدعاء أداة تحويل العملات.

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'cactus-compute/needle'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# تعريف الأداة
tools = [
    {
        'name': 'convert_currency',
        'description': 'تحويل عملة إلى أخرى',
        'parameters': {
            'type': 'object',
            'properties': {
                'amount': {'type': 'number'},
                'from': {'type': 'string'},
                'to': {'type': 'string'}
            },
            'required': ['amount', 'from', 'to']
        }
    }
]

prompt = 'حول 100 دولار إلى ريال سعودي'
inputs = tokenizer(prompt, return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=100)
result = tokenizer.decode(outputs[0])
print(result)
# يتوقع أن يخرج JSON مشابه لـ: {"tool": "convert_currency", "args": {"amount": 100, "from": "USD", "to": "SAR"}}

الأخطاء الشائعة وحلولها

استخدامات عملية في السوق السعودي/الخليجي

• روبوت تحويل العملات في تطبيق مصرفي محلي.
• أداة حجز مواعيد في عيادة: استدعاء أداة reservation مع تاريخ وطبيب.
• مساعد طلب طعام: استدعاء أداة order مع اسم الوجبة والعنوان.

هل يستحق Needle التجربة؟ تقييم موضوعي

نعم، إذا كنت تبحث عن نموذج خفيف وسريع لمهمة محددة. لكنه ليس جاهزاً للإنتاج بعد؛ قد يحتاج ضبطاً دقيقاً على أدواتك. الأداء جيد في المهام البسيطة، لكنه يخطئ في الأدوات المعقدة.

بدائل Needle المشابهة

• Gorilla (7B): نموذج أكبر لكنه أقوى في استدعاء APIs.
• Toolformer: من Meta، لكنه غير متاح للجميع.
• OpenAI Function Calling: دقيق لكنه سحابي ومدفوع.

الأسئلة الشائعة (FAQ)

ما هو Needle بالضبط؟

نموذج لغة صغير متخصص في استدعاء الأدوات، مبني على Simple Attention Networks.

هل Needle مجاني تماماً؟

نعم، مفتوح المصدر برخصة Apache 2.0.

ما هي متطلبات تشغيل Needle؟

Python 3.8+، PyTorch، transformers، و2GB RAM.

هل يمكن استخدام Needle بدون اتصال بالإنترنت؟

بعد تحميل النموذج، نعم.

ما الفرق بين Needle والنماذج الكبيرة مثل GPT-4؟

Needle أصغر بكثير وأسرع، لكنه أقل دقة ومرونة.

هل يدعم Needle اللغة العربية؟

النموذج مدرب على بيانات إنجليزية بشكل أساسي، لكنه قد يفهم العربية البسيطة.

كيف يمكنني تجربة Needle على نظام Windows؟

نفس الخطوات، تأكد من تثبيت Python وPyTorch بشكل صحيح.

ما هي أفضل البدائل لـ Needle؟

Gorilla (7B) أو OpenAI Function Calling.

خاتمة

Needle مشروع واعد في مجال استدعاء الأدوات بنماذج صغيرة. جربه على جهازك، وشارك ملاحظاتك مع المجتمع. تذكر أن المشروع جديد، لذا توقع بعض النواقص.