يشرح Cloudflare كيف قام بحذف أجزاء كبيرة من الإنترنت

وكانت قطع ضخمة من الإنترنت غير متوفر تماما أمس، حيث تعاني العديد من مواقع الويب والخدمات الأخرى من بطء الأداء. كان من الواضح على الفور أن المشكلة كانت مع شبكة Cloudflare، لكن الأمر استغرق بعض الوقت حتى تتمكن الشركة من تحديد السبب الحقيقي.

تقول Cloudflare إنها اعتقدت في البداية أنها كانت تعاني من أزمة هائلة الهجوم السيبراني، ولكن أدركت لاحقًا أن سبب المشكلات هو خطأ “مؤلم” أثناء تحديث البرنامج…

وكما أبلغنا بالأمس، كان الانقطاع هائلا.

يوجد حاليًا عدد كبير من التطبيقات ومواقع الويب غير متصلة بالإنترنت تمامًا، أو تواجه انقطاعات كبيرة في الخدمة، بسبب مشكلة في موفر شبكة البنية التحتية الشهير Cloudflare. تعمل شبكة Cloudflare CDN على تشغيل مواقع الويب التي تقف وراء العديد من التطبيقات رفيعة المستوى، لذا فإن أي انقطاع في Cloudflare له آثار واسعة النطاق. يتضمن ذلك موقع الوسائط الاجتماعية X (Twitter سابقًا)، حيث لا يتمكن المستخدمون حاليًا من نشر منشورات جديدة أو تحديث الجداول الزمنية الخاصة بهم. يبدو أن المشكلة تؤثر على مستخدمي الويب في جميع أنحاء العالم.

لماذا اعتقدت Cloudflare أنها تتعرض للهجوم؟

قالت Cloudflare إن النمط الذي شاهدته هو قطع الاتصالات دون اتصال لمدة خمس دقائق تقريبًا في كل مرة قبل استعادتها ثم قطعها دون اتصال مرة أخرى. أدى هذا النمط إلى اعتقاد الشركة بأنها كانت تواجه ما وصفته بهجوم DDoS واسع النطاق، نظرًا لأن الخطأ الفني لا يصلح نفسه عادةً.

يحدث هجوم رفض الخدمة الموزع عندما يقوم أحد العناصر الضارة بتوجيه حجم كبير جدًا من الطلبات إلى الخادم من أجل استخدام كل سعته المتاحة، مما يعني أن المستخدمين الحقيقيين غير قادرين على الوصول إلى الخدمة.

ما بدا أنه دليل إضافي على هجوم سيبراني تبين أنه مجرد محض صدفة.

كان طردنا وجعلنا نعتقد أن هذا ربما كان هجومًا من الأعراض الواضحة الأخرى التي لاحظناها: تعطلت صفحة حالة Cloudflare. تتم استضافة صفحة الحالة بالكامل خارج البنية التحتية لـ Cloudflare دون أي تبعيات على Cloudflare. وعلى الرغم من أنه تبين أنها محض صدفة، إلا أنها دفعت بعض أعضاء الفريق الذين قاموا بتشخيص المشكلة إلى الاعتقاد بأن أحد المهاجمين ربما يستهدف أنظمتنا وكذلك صفحة الحالة الخاصة بنا.

السبب الحقيقي كان خطأ Cloudflare

ومع ذلك، فقد اكتشف لاحقًا أن المشكلة تكمن في إفساد تحديث لملف يستخدمه نظام إدارة الروبوتات الخاص به.

هناك قاعدة غير مكتوبة في تكنولوجيا المعلومات مفادها أنه إذا كنت تواجه مشكلة مع أعراض غريبة، فستكون مشكلة في الأذونات – وكان هذا هو الحال هنا.

لقد تم تشغيله عن طريق تغيير في أحد أذونات أنظمة قواعد البيانات لدينا مما تسبب في قيام قاعدة البيانات بإخراج إدخالات متعددة في “ملف الميزة” الذي يستخدمه نظام إدارة الروبوتات الخاص بنا. وهذا الملف المميز بدوره تضاعف حجمه. تم بعد ذلك نشر ملف الميزة الأكبر من المتوقع على جميع الأجهزة التي تشكل شبكتنا.

يقوم البرنامج الذي يعمل على هذه الأجهزة لتوجيه حركة المرور عبر شبكتنا بقراءة ملف الميزة هذا لإبقاء نظام إدارة الروبوتات لدينا محدثًا مع التهديدات المتغيرة باستمرار. كان للبرنامج حدًا لحجم ملف الميزة الذي كان أقل من حجمه المضاعف. مما أدى إلى فشل البرنامج.

وكان هناك أيضًا تفسير بسيط لدورة الخمس دقائق الفردية.

تم إنشاء الملف كل خمس دقائق من خلال استعلام يتم تشغيله على مجموعة قاعدة بيانات ClickHouse، والتي تم تحديثها تدريجيًا لتحسين إدارة الأذونات. تم إنشاء بيانات سيئة فقط في حالة تشغيل الاستعلام على جزء من المجموعة الذي تم تحديثه. ونتيجة لذلك، كانت هناك فرصة كل خمس دقائق لإنشاء مجموعة جيدة أو سيئة من ملفات التكوين ونشرها بسرعة عبر الشبكة.

وأصدرت الشركة اعتذارا واصفة خطأها بأنه “مؤلم للغاية”.

نأسف لتأثير ذلك على عملائنا وعلى الإنترنت بشكل عام. نظرًا لأهمية Cloudflare في النظام البيئي للإنترنت، فإن أي انقطاع في أي من أنظمتنا أمر غير مقبول. إن وجود فترة من الوقت لم تتمكن فيها شبكتنا من توجيه حركة المرور أمر مؤلم للغاية لكل عضو في فريقنا. نحن نعلم أننا خذلناكم اليوم.

يمكنك قراءة شرح أكثر تفصيلا في مشاركة مدونة Cloudflare.

الملحقات المميزة

الصورة بواسطة ديفيد بوبازا على أونسبلاش