Java والبيانات الضخمة: لماذا لا تستطيع مشاريع البيانات الضخمة الاستغناء عن Java

في مقالاتنا عن JavaRush، لا نتعب أبدًا من القول إن Java، التي سيبلغ عمرها 25 عامًا قريبًا، تشهد الآن شبابها الثاني ولها آفاق مشرقة في المستقبل القريب. هناك عدد من الأسباب لذلك، وأحدها هو أن Java هي لغة البرمجة الرئيسية في عدد من المجالات الرائجة والمتنامية بسرعة في سوق تكنولوجيا المعلومات. في أغلب الأحيان، في سياق المودة العميقة والمشاعر الرقيقة تجاه Java، يتم ذكر إنترنت الأشياء (IoT) والبيانات الضخمة، بالإضافة إلى ذكاء الأعمال (ذكاء الأعمال، BI) والتحليلات في الوقت الفعلي (التحليلات في الوقت الفعلي). لقد ناقشنا مؤخرًا العلاقة بين Java وإنترنت الأشياء وتحدثنا عن كيف يمكن لمطور Java "تخصيص" نفسه ومهاراته بما يتناسب مع هذا المجال. حان الوقت الآن للانتباه إلى المجال الثاني الأكثر رواجًا، والذي - هذا صحيح - يحب جافا أيضًا ولا يمكنه تخيل الحياة بدونها. لذلك، نقوم اليوم بتحليل البيانات الضخمة: لماذا هناك طلب كبير على Java، وبالتالي المبرمجين المخلصين لها، في هذا المجال أيضًا، وكيف يتم استخدام هذه اللغة بالضبط في المشاريع التي تحتوي على "بيانات ضخمة"، وما الذي يجب تعلمه من أجل الحصول على المهارات اللازمة مهارات التوظيف والعمل في هذا المجال وما هي الاتجاهات ذات الصلة بالبيانات الضخمة في الوقت الحالي، عشية عام 2020. وبين كل هذا، إليك آراء خبراء عالميين حول البيانات الضخمة، وبعد ذلك سيرغب هومر سيمبسون في تعلم كيفية التعامل مع "البيانات الضخمة".

"أظل أقول إنه في السنوات العشر المقبلة، لن تطارد الفتيات الرياضيين وسماسرة الأوراق المالية، بل الرجال الذين يعملون مع البيانات والإحصاءات. وأنا لا أمزح."

البيانات الضخمة تغزو الكوكب

لكن أولاً، لنتحدث قليلاً عن البيانات الضخمة ولماذا يعد هذا التخصص واعدًا للغاية لبناء مستقبل مهني فيه. باختصار، البيانات الضخمة تخترق العمليات التجارية للشركات في جميع أنحاء العالم بشكل حتمي وثابت، والأهم من ذلك بسرعة كبيرة، وتضطر بدورها إلى البحث عن محترفين للعمل مع البيانات (هؤلاء ليسوا مبرمجين فقط، بالطبع ) واستدراجهم برواتب عالية وأشياء أخرى. وفقًا لمجلة فوربس، ارتفع استخدام البيانات الضخمة في المؤسسات من 17% في عام 2015 إلى 59% في عام 2018. تنتشر البيانات الضخمة بسرعة إلى قطاعات مختلفة من الاقتصاد، بما في ذلك المبيعات والتسويق والبحث والتطوير والخدمات اللوجستية وكل شيء. ووفقا لدراسة أجرتها شركة IBM، فإن عدد الوظائف للمهنيين في هذا المجال في الولايات المتحدة وحدها سوف يتجاوز 2.7 مليون وظيفة بحلول عام 2020. واعدة؟ لا يزال.

البيانات الضخمة وجافا

والآن حول سبب وجود الكثير من القواسم المشتركة بين البيانات الضخمة وجافا. الحقيقة هي أن العديد من الأدوات الأساسية للبيانات الضخمة مكتوبة بلغة Java. علاوة على ذلك، فإن جميع هذه الأدوات تقريبًا هي مشاريع مفتوحة المصدر. وهذا يعني أنها متاحة للجميع ولنفس السبب يتم استخدامها بنشاط من قبل أكبر شركات تكنولوجيا المعلومات حول العالم. "إلى حد كبير، البيانات الضخمة هي جافا. Hadoop، وجزء كبير جدًا من نظام Hadoop البيئي، مكتوب بلغة Java. واجهة MapReduce لـ Hadoop هي أيضًا Java. لذلك سيكون من السهل جدًا على مطور Java الانتقال إلى البيانات الضخمة بمجرد إنشاء حلول Java التي سيتم تشغيلها فوق Hadoop. هناك أيضًا مكتبات Java مثل Cascading التي تسهل المهمة. قال مارسين مجران، عالم البيانات ونائب رئيس هندسة البيانات في شركة Eight، إن Java أيضًا مفيدة جدًا لتصحيح الأخطاء، حتى إذا كنت تستخدم شيئًا مثل Hive [Apache Hive هو نظام إدارة قاعدة بيانات قائم على Hadoop]". "إلى جانب Hadoop، تمت كتابة Storm بلغة Java، كما تمت كتابة Spark (أي المستقبل المحتمل لـ Hadoop) بلغة Scala (والتي بدورها تعمل على JVM، ولدى Spark واجهة Java). كما ترون، تلعب Java دورًا كبيرًا في البيانات الضخمة. هذه كلها أدوات مفتوحة المصدر، مما يعني أن المطورين داخل الشركات يمكنهم إنشاء ملحقات لها أو إضافة وظائف. وأضاف الخبير أن هذا العمل يتضمن في كثير من الأحيان تطوير جافا. كما نرى، في البيانات الضخمة، وكذلك في إنترنت الأشياء، والتعلم الآلي وعدد من المجالات الأخرى التي تستمر في اكتساب شعبية، فإن معرفة Java لن تكون قابلة للاستبدال.

"كل شركة لديها الآن خطط بيانات كبيرة. وكل هذه الشركات سوف تنتهي في نهاية المطاف في مجال البيانات الضخمة.

والآن المزيد عن أدوات البيانات الضخمة المذكورة أعلاه والتي يستخدمها مطورو Java على نطاق واسع.

أباتشي هادوب

يعد Apache Hadoop أحد التقنيات الأساسية للبيانات الضخمة، وهو مكتوب بلغة Java. Hadoop عبارة عن مجموعة مجانية ومفتوحة المصدر من الأدوات المساعدة والمكتبات والأطر التي تديرها مؤسسة Apache Software Foundation. تم تصميم Hadoop في الأصل للحوسبة القابلة للتطوير والموزعة والموثوقة وتخزين كميات هائلة من المعلومات المختلفة، ومن الطبيعي أن يصبح Hadoop مركز البنية التحتية "للبيانات الضخمة" للعديد من الشركات. تبحث الشركات في جميع أنحاء العالم بنشاط عن مواهب Hadoop، وتعد Java مهارة أساسية مطلوبة لإتقان هذه التكنولوجيا. وفقًا للمطورين Slashdot، في عام 2019، كانت العديد من الشركات الكبيرة، بما في ذلك JPMorgan Chase مع رواتبها القياسية للمبرمجين، تبحث بنشاط عن متخصصين في Hadoop في مؤتمر Hadoop World، ولكن حتى هناك لم يتمكنوا من العثور على عدد كافٍ من الخبراء ذوي المهارات التي يحتاجون إليها (في على وجه الخصوص، هذه المعرفة بنموذج البرمجة وإطار العمل لكتابة تطبيقات Hadoop MapReduce). وهذا يعني أن الرواتب في هذا المجال سوف ترتفع أكثر. وهم بالفعل كبيرون جدًا. على وجه الخصوص، يقدر Business Insider متوسط ​​تكلفة متخصص Hadoop بمبلغ 103 آلاف دولار سنويًا، بينما بالنسبة لمتخصصي البيانات الضخمة بشكل عام فإن هذا الرقم هو 106 آلاف دولار سنويًا. يسلط مديرو التوظيف الذين يبحثون عن خبراء Hadoop الضوء على Java باعتبارها واحدة من أهم المهارات للتوظيف الناجح. تم استخدام Hadoop لفترة طويلة أو تم تنفيذه مؤخرًا نسبيًا من قبل العديد من الشركات الكبيرة، بما في ذلك IBM وMicrosoft وOracle. حاليًا، تمتلك شركات Amazon وeBay وApple وFacebook وجنرال ديناميك وغيرها العديد من الوظائف لمتخصصي Hadoop.

"تمامًا كما لا توجد نار بدون دخان، لا يوجد عمل بدون بيانات ضخمة."

أباتشي سبارك

Apache Spark هي منصة رئيسية أخرى للبيانات الضخمة تتنافس بجدية مع Hadoop. بفضل سرعته ومرونته وسهولة تطويره، أصبح Apache Spark إطار العمل الرائد لـ SQL واسعة النطاق والبيانات المجمعة والمتدفقة والتعلم الآلي. نظرًا لكونه إطارًا للمعالجة الموزعة للبيانات الضخمة، يعمل Apache Spark على مبدأ مماثل لإطار عمل Hadoop MapReduce ويزيل راحة يده تدريجيًا من حيث الاستخدام في مجال البيانات الضخمة. يمكن استخدام Spark بعدة طرق مختلفة ولها روابط إلى Java، بالإضافة إلى عدد من لغات البرمجة الأخرى مثل Scala وPython وR. واليوم، يتم استخدام Spark على نطاق واسع من قبل البنوك وشركات الاتصالات ومطوري ألعاب الفيديو وحتى الحكومات. بالطبع، عمالقة تكنولوجيا المعلومات مثل Apple وFacebook وIBM وMicrosoft يحبون Apache Spark.

أباتشي ماهوت

Apache Mahout هي مكتبة Java مفتوحة المصدر لتعلم الآلة من Apache. Mahout هي على وجه التحديد أداة تعلم آلي قابلة للتطوير مع القدرة على معالجة البيانات على جهاز واحد أو أكثر. تتم كتابة تطبيقات هذا التعلم الآلي بلغة Java، وبعض الأجزاء مبنية على Apache Hadoop.

عاصفة أباتشي

Apache Storm هو إطار عمل للحوسبة المتدفقة الموزعة في الوقت الفعلي. تعمل Storm على تسهيل معالجة تدفقات غير محدودة من البيانات بشكل موثوق، والقيام في الوقت الفعلي بما يفعله Hadoop لدفعات من البيانات. يتكامل Storm مع أي نظام انتظار وأي نظام قاعدة بيانات.

جافا جي فريشارت

Java JFreechart هي مكتبة مفتوحة المصدر تم تطويرها في Java لاستخدامها في التطبيقات المستندة إلى Java لإنشاء مجموعة واسعة من المخططات. الحقيقة هي أن تصور البيانات يعد مهمة مهمة إلى حد ما لتحليل البيانات الضخمة بنجاح. نظرًا لأن البيانات الضخمة تتضمن العمل مع كميات كبيرة من البيانات، فقد يكون من الصعب تحديد أي اتجاه والتوصل ببساطة إلى استنتاجات معينة من خلال النظر في البيانات الأولية. ومع ذلك، إذا تم عرض نفس البيانات في الرسم البياني، يصبح الأمر أكثر قابلية للفهم ويكون من الأسهل العثور على الأنماط وتحديد الارتباطات. يساعد Java JFreechart بالفعل في إنشاء الرسوم البيانية والمخططات لتحليل البيانات الضخمة.

التعلم العميق4j

Deeplearning4j هي ​​مكتبة Java تُستخدم لبناء أنواع مختلفة من الشبكات العصبية. يتم تنفيذ Deeplearning4j في Java ويعمل في بيئة متوافقة مع Clojure وتتضمن واجهة برمجة تطبيقات للغة Scala. تتضمن تقنيات Deeplearning4j تطبيقات آلة بولتزمان المقيدة، وشبكة المعتقدات العميقة، ووحدة التشفير التلقائي العميقة، ووحدة التشفير التلقائي المكدسة مع تصفية الضوضاء، والشبكة العصبية الموترة العودية، وword2vec، وdoc2vec، وGloVe.

"أصبحت البيانات الضخمة المادة الخام الجديدة للأعمال."

البيانات الضخمة على أعتاب عام 2020: أحدث الاتجاهات

يجب أن يكون عام 2020 عامًا آخر من النمو السريع وتطور البيانات الضخمة، مع اعتماد واسع النطاق للبيانات الضخمة من قبل الشركات والمؤسسات في مختلف المجالات. لذلك، سنسلط الضوء بإيجاز على اتجاهات البيانات الضخمة التي يجب أن تلعب دورًا مهمًا في العام المقبل.

إنترنت الأشياء - البيانات الضخمة أصبحت أكبر

قد يبدو أن إنترنت الأشياء (IoT) قصة مختلفة قليلاً، ولكنها ليست كذلك. تستمر إنترنت الأشياء في "الاتجاه" وتكتسب زخماً وتنتشر في جميع أنحاء العالم. ونتيجة لذلك، فإن عدد الأجهزة "الذكية" المثبتة في المنازل والمكاتب، والتي، كما ينبغي لها أن تكون، تنقل جميع أنواع البيانات عند الضرورة، آخذ في الازدياد أيضًا. ولذلك، فإن حجم البيانات "الكبيرة" سوف يزيد فقط. كما لاحظ الخبراء، فإن العديد من المنظمات لديها بالفعل الكثير من البيانات، خاصة من قطاع إنترنت الأشياء، والتي ليست مستعدة بعد لاستخدامها، وفي عام 2020 سيصبح هذا الانهيار أكبر. وبالتالي، فإن الاستثمارات في مشاريع البيانات الضخمة ستزداد بسرعة أيضًا. حسنًا، دعنا نذكرك أن إنترنت الأشياء يحب Java أيضًا كثيرًا . حسنًا ، من لا يحبه؟

التوائم الرقمية

يعد التوائم الرقمية اتجاهًا آخر مثيرًا للاهتمام في المستقبل القريب، ويرتبط ارتباطًا مباشرًا بكل من إنترنت الأشياء والبيانات الضخمة. وبالتالي فإن استخدام Java فيها سيكون أكثر من كافٍ. ما هو التوأم الرقمي؟ هذه صورة رقمية لكائن أو نظام حقيقي. يتيح لك برنامج التناظرية لجهاز مادي محاكاة العمليات الداخلية والخصائص التقنية وسلوك كائن حقيقي في ظل ظروف التداخل والبيئة. يعد تشغيل التوأم الرقمي مستحيلًا بدون وجود عدد كبير من أجهزة الاستشعار في الجهاز الحقيقي الذي يعمل بالتوازي. ومن المتوقع أنه بحلول عام 2020 سيكون هناك أكثر من 20 مليار جهاز استشعار متصل في العالم، ينقل المعلومات إلى مليارات التوائم الرقمية. وفي عام 2020، من المفترض أن يكتسب هذا الاتجاه زخماً وأن يأتي إلى الواجهة.

سوف يصبح التحول الرقمي أكثر ذكاءً

لقد تم ذكر التحول الرقمي باعتباره اتجاهًا مهمًا لعدة سنوات حتى الآن. لكن المشكلة، كما يقول الخبراء، هي أن العديد من الشركات وكبار المديرين لديهم فهم غامض للغاية لما تعنيه هذه العبارة. بالنسبة للكثيرين، يعني التحول الرقمي إيجاد طرق لبيع البيانات التي تجمعها الشركة لإنشاء مصادر جديدة للربح. بحلول عام 2020، ستدرك المزيد والمزيد من الشركات أن التحول الرقمي يدور حول تطبيق البيانات بشكل صحيح على كل جانب من جوانب أعمالها لخلق ميزة تنافسية. لذلك، يمكننا أن نتوقع أن تقوم الشركات بزيادة ميزانيات المشاريع المتعلقة بالاستخدام الصحيح والواعي للبيانات.

"إننا نتحرك ببطء نحو عصر تكون فيه البيانات الضخمة هي نقطة البداية، وليس النهاية."

نتائج

تعد البيانات الضخمة مجالًا ضخمًا آخر من مجالات النشاط مع الكثير من الفرص التي يمكن لمطور Java الاستفادة منها. وكما هو الحال مع إنترنت الأشياء، فإن هذا المجال يزدهر ويشهد نقصًا حادًا في المبرمجين، بالإضافة إلى الخبراء التقنيين الآخرين. لذلك، حان الوقت الآن للتوقف عن قراءة مثل هذه المقالات الطويلة والبدء في تعلم Java!