الحدود الحسابية للتعلم العميق

الحدود الحسابية للتعلم العميق أقرب مما تعتقد

يقول علماء الكمبيوتر إن التعلم العميق يستهلك قدرًا كبيرًا من الطاقة لدرجة أنه حتى التطورات الصغيرة لن تكون مجدية ، مما يؤدي إلى الضرر البيئي الهائل الذي سيحدثه.

Credit: Zapp2Photo/Shutterstock

في أعماق متحف سميثسونيان الوطني للتاريخ الأمريكي في واشنطن العاصمة ، توجد خزانة معدنية كبيرة بحجم خزانة ملابس كبيرة. تحتوي الخزانة على جهاز كمبيوتر رائع - الجزء الأمامي مغطى بأقراص ومفاتيح ومقاييس ، وفي الداخل ، تمتلئ بمقاييس الجهد potentiometers التي يتم التحكم فيها بواسطة محركات كهربائية صغيرة. خلف أحد أبواب الخزانة توجد مجموعة 20 × 20 من الخلايا الحساسة للضوء ، وهي نوع من العين الاصطناعية.

هذا هو Perceptron Mark I ، نسخة إلكترونية مبسطة من الخلايا العصبية البيولوجية. تم تصميمه من قبل عالم النفس الأمريكي فرانك روزنبلات Frank Rosenblatt في جامعة كورنيل Cornell في أواخر الخمسينيات من القرن الماضي والذي علمه التعرف على الأشكال البسيطة مثل المثلثات.

يُعرف عمل روزنبلات الآن على نطاق واسع على أنه أساس الذكاء الاصطناعي الحديث ، لكنه كان مثيرًا للجدل في ذلك الوقت. على الرغم من النجاح الأصلي ، لم يتمكن الباحثون من البناء عليه ، لأسباب ليس أقلها أن التعرف على الأنماط الأكثر تعقيدًا يتطلب قوة حسابية أكبر بكثير مما كان متاحًا في ذلك الوقت. حالت هذه الشهية النهمة دون إجراء مزيد من الدراسة للخلايا العصبية الاصطناعية والشبكات التي تنشئها.

تستهلك آلات التعلم العميق deep learning اليوم أيضًا الكثير من الطاقة. وهذا يثير سؤالًا مثيرًا للاهتمام حول مقدار ما سيحتاجون إليه في المستقبل. هل هذه الشهية مستدامة لأن أهداف الذكاء الاصطناعي تصبح أكثر طموحًا؟

اليوم نحصل على إجابة بفضل عمل نيل طومسون Neil Thompson في معهد ماساتشوستس للتكنولوجيا في كامبريدج والعديد من الزملاء. قام هذا الفريق بقياس الأداء المحسن لأنظمة التعلم العميق في السنوات الأخيرة ، وأظهر أنه يعتمد على الزيادات في قوة الحوسبة.

غير مستدام بيئيا

من خلال استقراء هذا الاتجاه ، يقولون إن التطورات المستقبلية ستصبح قريبًا غير ممكنة. يقول طومسون وزملاؤه ، مرددًا المشكلات التي ظهرت لروزنبلات في الستينيات ، "إن التقدم على طول الخطوط الحالية أصبح سريعًا غير مستدام اقتصاديًا وتقنيًا وبيئيًا".

نهج الفريق مباشرٌ نسبيًا. قاموا بتحليل أكثر من 1000 ورقة حول التعلم العميق لفهم كيفية قياس أداء التعلم مع القوة الحسابية. الجواب أن العلاقة واضحة ودرامية.

في عام 2009 ، على سبيل المثال ، كان التعلم العميق متطلبًا للغاية بالنسبة لمعالجات الكمبيوتر في ذلك الوقت. "يبدو أن نقطة التحول كانت عندما تم توجيه التعلم العميق إلى وحدات معالجة الرسومات GPU ، مما أدى في البداية إلى تسريع 5-15x ،" كما يقولون.

قدم هذا القوة الحصانية لشبكة عصبية تسمى AlexNet ، والتي انتصرت بشكل مشهور في تحدي التعرف على الصور عام 2012 حيث قضت على الخصم. خلق الانتصار اهتمامًا كبيرًا ومستدامًا بالشبكات العصبية العميقة التي استمرت حتى يومنا هذا.

ولكن بينما زاد أداء التعلم العميق بمقدار 35 ضعفًا بين عامي 2012 و 2019 ، زادت القوة الحسابية الكامنة وراءه بمعدل من حيث الحجم كل عام. في الواقع ، يقول طومسون وزملاؤه إن هذا وغيره من الأدلة تشير إلى أن القوة الحسابية للتعلم العميق زادت 9 أوامر من حيث الحجم أسرع من الأداء.

ولكن بينما زاد أداء التعلم العميق بمقدار 35 ضعفًا بين عامي 2012 و 2019 ، زادت القوة الحسابية الكامنة وراءه بمعدل من حيث القدرة كل عام. في الواقع ، يقول طومسون وزملاؤه إن هذا وغيره من الأدلة تشير إلى أن القوة الحسابية للتعلم العميق زادت 9 مرات من حيث القدرة أسرع من الأداء.

إذن ما مقدار القوة الحسابية المطلوبة في المستقبل؟ يقول طومسون وزملاؤه إن معدل الخطأ في التعرف على الصور يبلغ حاليًا 11.5 بالمائة باستخدام 10 ^ 14 جيجا فلوب من القوة الحسابية بتكلفة ملايين الدولارات (أي 10 ^ 6 دولارات).

يقولون إن تحقيق معدل خطأ بنسبة 1 في المائة فقط سيتطلب 10 ^ 28 جيجا فلوب. واستقراءًا بالمعدل الحالي ، سيكلف هذا 10 ^ 20 دولارًا. وبالمقارنة ، يُقاس المبلغ الإجمالي للمال في العالم حاليًا بالتريليونات ، أي 10 ^ 12 دولارًا.

علاوة على ذلك ، فإن التكلفة البيئية لمثل هذا الحساب ستكون هائلة ، أي زيادة في كمية الكربون المنتجة بمقدار 14 أمرًا من حيث الحجم.

لكن المستقبل ليس قاتمًا تمامًا. يفترض استقراء طومسون وزملاؤه أن أنظمة التعلم العميق المستقبلية ستستخدم نفس أنواع أجهزة الكمبيوتر المتوفرة اليوم.

التقدم العصبي

لكن العديد من الأساليب الجديدة تقدم حسابًا أكثر كفاءة. على سبيل المثال ، في بعض المهام يمكن للدماغ البشري أن يتفوق على أفضل أجهزة الكمبيوتر العملاقة بينما يعمل على ما يزيد قليلاً عن وعاء من العصيدة. تحاول الحوسبة العصبية نسخ هذا. وتَعِد الحوسبة الكمومية بقدرات حوسبة أكبر مع زيادة قليلة نسبيًا في استهلاك الطاقة.

خيار آخر هو التخلي عن التعلم العميق تمامًا والتركيز على الأشكال الأخرى للتعلم الآلي التي تكون أقل شهية للطاقة.

بالطبع ، ليس هناك ما يضمن نجاح هذه التقنيات والتكنولوجيا. ولكن إذا لم يفعلوا ذلك ، فمن الصعب أن نرى كيف سيصبح الذكاء الاصطناعي أفضل بكثير مما هو عليه الآن.

من الغريب أن شيئًا كهذا حدث بعد ظهور Perceptron Mark الأول لأول مرة ، وهي فترة استمرت لعقود وتعرف الآن باسم شتاء الذكاء الاصطناعي AI winter. لا يعرضه معهد سميثسونيان حاليًا ، ولكنه بالتأكيد يمثل درسًا يستحق التذكر.

ترجمة : الحجوي محمد عالي

مصدر القصة:

المواد المقدمة من مجلة Discover Magazine بقلم The Physics arXiv Blog

الحدود الحسابية للتعلم العميق. arxiv.org/abs/2007.05558.