تُظهر Apple مدى سرعة تشغيل M5 لبرامج LLM المحلية على MLX

يُظهر منشور جديد على مدونة Apple‘s Machine Learning Research مدى تحسن M5 Apple silicon مقارنة بـ M4 عندما يتعلق الأمر بتشغيل LLM محلي. وهنا التفاصيل.

قليلا من السياق

قبل عامين، أصدرت شركة أبل MLX، والذي تصفه الشركة بأنه “إطار مصفوفة للتعلم الآلي الفعال والمرن على Apple silicon”.

في الممارسة العملية، MLX هو إطار عمل مفتوح المصدر يساعد المطورين على بناء نماذج التعلم الآلي وتشغيلها محليًا على أجهزة Apple silicon Mac، مدعومة بواجهات برمجة التطبيقات (APIs) والواجهات المألوفة في عالم الذكاء الاصطناعي.

ها هي Apple مرة أخرى على MLX:

MLX عبارة عن إطار عمل مفتوح المصدر يتسم بالكفاءة والمرونة وضبطه بدرجة عالية ليناسب Apple silicon. يمكنك استخدام MLX لمجموعة واسعة من التطبيقات التي تتراوح من المحاكاة العددية والحوسبة العلمية إلى التعلم الآلي. يأتي MLX مزودًا بدعم مدمج للتدريب والاستدلال على الشبكة العصبية، بما في ذلك إنشاء النصوص والصور. يسهّل MLX إنشاء نص باستخدام نماذج اللغات الكبيرة أو ضبطها بشكل دقيق على أجهزة Apple silicon.

يستفيد MLX من بنية الذاكرة الموحدة من Apple silicon. يمكن تشغيل العمليات في MLX إما على وحدة المعالجة المركزية (CPU) أو وحدة معالجة الرسومات (GPU) دون الحاجة إلى تحريك الذاكرة. تتبع واجهة برمجة التطبيقات NumPy عن كثب وهي مألوفة ومرنة. يحتوي MLX أيضًا على شبكة عصبية عالية المستوى وحزم محسّنة جنبًا إلى جنب مع تحويلات الوظائف للتمايز التلقائي وتحسين الرسم البياني.

إحدى حزم MLX المتوفرة اليوم هي MLX LM، المخصصة لإنشاء النصوص ولضبط نماذج اللغة على أجهزة Mac من Apple.

باستخدام MLX LM، يمكن للمطورين والمستخدمين تنزيل معظم النماذج المتوفرة على تعانق الوجه، وتشغيلها محليا.

يدعم هذا الإطار أيضًا التكميم، وهو أسلوب ضغط يمكّن النماذج الكبيرة من العمل مع استخدام ذاكرة أقل. يؤدي هذا إلى استنتاج أسرع، وهو في الأساس الخطوة التي ينتج النموذج خلالها إجابة لمدخل أو مطالبة.

M5 مقابل M4

فيه مشاركة مدونة، تعرض Apple مكاسب أداء الاستدلال لشريحة M5 الجديدة، وذلك بفضل المسرعات العصبية GPU الجديدة للرقاقة، والتي تقول Apple إنها “توفر عمليات مخصصة لضرب المصفوفات، والتي تعتبر ضرورية للعديد من أعباء عمل التعلم الآلي.”

لتوضيح مكاسب الأداء، قارنت Apple الوقت الذي استغرقته العديد من النماذج المفتوحة لإنشاء الرمز المميز الأول بعد تلقي مطالبة على M4 وM5 MacBook Pro، باستخدام MLX LM.

أو كما قالت أبل:

نقوم بتقييم Qwen 1.7B و8B، بدقة BF16 الأصلية، ونماذج Qwen 8B وQwen 14B ذات 4 بتات. بالإضافة إلى ذلك، نقوم بقياس اثنين من مزيج الخبراء (MoE): Qwen 30B (معلمات نشطة 3B، مُكممة 4 بت) وGPT OSS 20B (بدقة MXFP4 الأصلية). يتم إجراء التقييم باستخدام mlx_lm.generate، ويتم الإبلاغ عنه من حيث الوقت اللازم لإنشاء الرمز المميز الأول (بالثواني)، وسرعة الإنشاء (من حيث الرمز/الرموز المميزة). في كل هذه المعايير، يبلغ حجم المطالبة 4096. وتم تقييم سرعة الإنشاء عند إنشاء 128 رمزًا مميزًا إضافيًا.

وكانت هذه النتائج:

إحدى التفاصيل المهمة هنا هي أن استدلال LLM يتخذ أساليب مختلفة لإنشاء الرمز المميز الأول، مقارنة بكيفية عمله تحت الغطاء لإنشاء الرموز المميزة اللاحقة. باختصار، يكون استنتاج الرمز المميز الأول مرتبطًا بالحوسبة، في حين يكون إنشاء الرمز المميز اللاحق مرتبطًا بالذاكرة.

ولهذا السبب قامت Apple أيضًا بتقييم سرعة إنشاء 128 رمزًا مميزًا إضافيًا، كما هو موضح أعلاه. وبشكل عام، أظهر M5 زيادة في الأداء بنسبة 19-27٪ مقارنة بـ M4.

وهنا أبل على هذه النتائج:

في البنى التي اختبرناها في هذا المنشور، يوفر M5 تعزيزًا للأداء بنسبة 19-27% مقارنةً بـ M4، وذلك بفضل عرض النطاق الترددي الأكبر للذاكرة (120 جيجابايت/ثانية لـ M4، و153 جيجابايت/ثانية لـ M5، وهو أعلى بنسبة 28٪). فيما يتعلق ببصمة الذاكرة، يمكن لجهاز MacBook Pro 24GB أن يحمل بسهولة دقة 8B في BF16 أو 30B MoE 4 بت، مما يحافظ على عبء عمل الاستدلال أقل من 18 جيجابايت لكلا هاتين البنيتين.

قامت Apple أيضًا بمقارنة اختلاف الأداء في توليد الصور، وقالت إن M5 قام بالمهمة بشكل أسرع بمقدار 3.8 مرة من M4.

يمكنك قراءة مشاركة مدونة Apple الكاملة هناويمكنك معرفة المزيد عن MLX هنا.

عروض الإكسسوارات على أمازون