JavaRush /جاوا بلاگ /Random-SD /جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري...

جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن

گروپ ۾ شايع ٿيل
جاوا رش تي اسان جي مضمونن ۾، اسان اهو چوڻ کان ڪڏهن به نه ٿڪون ٿا ته جاوا، جيڪو جلد ئي 25 سالن جو ٿيندو، هاڻي پنهنجي ٻي جواني جو تجربو ڪري رهيو آهي ۽ ويجهي مستقبل ۾ شاندار امڪان آهي. هن جا ڪيترائي سبب آهن، ۽ انهن مان هڪ اهو آهي ته جاوا آئي ٽي مارڪيٽ جي ڪيترن ئي رجحان ۽ تيزي سان وڌندڙ هنڌن ۾ مکيه پروگرامنگ ٻولي آهي. جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن - 1گهڻو ڪري، جاوا لاء گہرے پيار ۽ نرم جذبات جي حوالي سان، انٽرنيٽ جي شين (IoT) ۽ وڏي ڊيٽا جو ذڪر ڪيو ويو آهي، انهي سان گڏ بزنس انٽيليجنس (ڪاروباري انٽيليجنس، BI) ۽ حقيقي وقت تجزياتي (حقيقي وقت اينالائيٽڪس). اسان تازو بحث ڪيو جاوا ۽ انٽرنيٽ جي شين جي وچ ۾ ڪنيڪشن ۽ انهي بابت ڳالهايو ته ڪيئن هڪ جاوا ڊولپر پاڻ کي "درزي" ڪري سگهي ٿو ۽ هن جي صلاحيتن کي هن جڳهه تي. هاڻي اهو وقت آهي ڌيان ڏيڻ جو ٻئي سپر ٽرينڊنگ ايريا، جيڪو - اهو صحيح آهي - پڻ جاوا سان پيار ڪري ٿو ۽ ان کان سواء زندگي تصور نٿو ڪري سگهي. تنهن ڪري، اڄ اسان وڏي ڊيٽا جو تجزيو ڪري رهيا آهيون: ڇو جاوا، ۽ تنهن ڪري ان جا وفادار ڪوڊرز، هن جڳهه ۾ پڻ وڏي گهرج ۾ آهن، ڪيئن هن ٻولي کي "وڏي ڊيٽا" سان پروجيڪٽ ۾ استعمال ڪيو ويندو آهي، ضروري هجڻ لاء ڇا سکڻ گهرجي. هن جڳهه ۾ روزگار ۽ ڪم لاءِ صلاحيتون ۽ 2020 جي موقعي تي هن وقت وڏي ڊيٽا لاءِ ڪهڙا رجحان لاڳاپيل آهن. ۽ انهن سڀني جي وچ ۾، هتي وڏي ڊيٽا بابت عالمي سطح جي ماهرن جا رايا آهن، جن کان پوء هومر سمپسن پڻ سکڻ چاهيندو ته "وڏي ڊيٽا" سان ڪيئن ڪم ڪجي. جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن - 2
”مان چوان ٿو ته ايندڙ 10 سالن ۾، ڇوڪريون رانديگرن ۽ اسٽاڪ بروڪرز جو تعاقب نه ڪنديون، پر اهي ماڻهو جيڪي ڊيٽا ۽ شماريات سان ڪم ڪن. ۽ مان مذاق نه ڪري رهيو آهيان."
هال ويرين،
گوگل ۾ چيف اقتصاديات

بگ ڊيٽا سيارو فتح ڪري رهيو آهي

پر پهرين، ٿورڙي وڏي ڊيٽا بابت ۽ ڇو ته هي جڳهه ان ۾ ڪيريئر ٺاهڻ لاءِ ايترو واعدو ڪندڙ آهي. مختصر ۾، وڏي ڊيٽا ناگزير طور تي ۽ مسلسل، ۽ سڀ کان اهم طور تي تمام جلدي، سڄي دنيا جي ڪمپنين جي ڪاروباري عملن کي داخل ڪري ٿو، ۽ اهي، موڙ ۾، ڊيٽا سان ڪم ڪرڻ لاء پروفيسر ڳولڻ تي مجبور آهن (اهي نه رڳو پروگرامر آهن، يقينا. )، انهن کي اعليٰ تنخواه ۽ ٻين شين سان لالچ ڏئي رهيو آهي. فوربس جي مطابق، ادارن ۾ وڏي ڊيٽا جو استعمال 2015 ۾ 17 سيڪڙو کان وڌي ويو آهي 2018 ۾ 59 سيڪڙو تائين. بگ ڊيٽا تيزيءَ سان معيشت جي مختلف شعبن ۾ پکڙجي رهي آهي، جنهن ۾ سيلز، مارڪيٽنگ، تحقيق ۽ ترقي، لوجسٽڪس ۽ هر شي شامل آهن. IBM جي هڪ مطالعي مطابق، صرف آمريڪا ۾ هن شعبي ۾ پيشه ور ماڻهن جي نوڪرين جو تعداد 2.7 تائين 2020 ملين کان وڌي ويندو. وعدو ڪندڙ؟ اڃا به.

بگ ڊيٽا ۽ جاوا

۽ هاڻي بابت ڇو بگ ڊيٽا ۽ جاوا تمام گهڻو عام آهن. ڳالهه اها آهي ته وڏي ڊيٽا جا ڪيترائي بنيادي اوزار جاوا ۾ لکيل آهن. ان کان علاوه، تقريبن اهي سڀئي اوزار اوپن سورس پروجيڪٽ آهن. هن جو مطلب اهو آهي ته اهي هر ڪنهن لاء دستياب آهن ۽ ساڳئي سبب اهي فعال طور تي استعمال ڪيا ويا آهن دنيا جي سڀ کان وڏي آئي ٽي ڪمپنيون. "وڏي حد تائين، بگ ڊيٽا جاوا آهي. Hadoop، ۽ Hadoop ماحولياتي نظام جو ڪافي وڏو حصو، جاوا ۾ لکيل آهي. Hadoop لاءِ MapReduce انٽرفيس پڻ جاوا آهي. تنهن ڪري جاوا ڊولپر لاءِ اهو بلڪل آسان هوندو ته وڏي ڊيٽا ۾ منتقل ڪرڻ لاءِ صرف جاوا حل ٺاهيندا جيڪي هلندا هڊوپ جي چوٽي تي. هتي جاوا لائبريريون پڻ آهن جهڙوڪ Cascading جيڪي نوڪري کي آسان بڻائي ٿو. جاوا ڊيبگنگ لاءِ پڻ تمام ڪارائتو آهي، جيتوڻيڪ توهان استعمال ڪري رهيا آهيو جهڙوڪ Hive [Apache Hive هڪ Hadoop تي ٻڌل ڊيٽابيس مينيجمينٽ سسٽم آهي]، "مارسن ميجران، ڊيٽا سائنسدان ۽ ڪمپني ايٽ ۾ ڊيٽا انجنيئرنگ جي نائب صدر چيو. "هڊوپ کان علاوه، طوفان جاوا ۾ لکيل آهي، ۽ اسپارڪ (يعني هڊوپ جو امڪاني مستقبل) اسڪالا ۾ لکيل آهي (جيڪو، موڙ ۾، JVM تي هلندو آهي، ۽ اسپارڪ وٽ جاوا انٽرفيس آهي). جئين توهان ڏسي سگهو ٿا، جاوا وڏي ڊيٽا ۾ وڏو ڪردار ادا ڪري ٿو. اهي سڀئي اوپن سورس ٽولز آهن، جنهن جو مطلب آهي ته ڪمپنين اندر ڊولپرز انهن لاءِ واڌايون ٺاهي سگهن ٿا يا ڪارڪردگي شامل ڪري سگهن ٿا. اهو ڪم اڪثر ڪري جاوا جي ترقي ۾ شامل آهي، "ماهر شامل ڪيو. جيئن ته اسان ڏسون ٿا، وڏي ڊيٽا ۾، انهي سان گڏ انٽرنيٽ جي شين ۾، مشين جي سکيا ۽ ٻين ڪيترن ئي هنڌن تي جيڪي مقبوليت حاصل ڪرڻ جاري رکندا آهن، جاوا جي ڄاڻ بلڪل ناقابل برداشت ٿي ويندي.
”هر ڪمپني وٽ هاڻي وڏو ڊيٽا پلان آهي. ۽ اهي سڀئي ڪمپنيون وڏي ڊيٽا جي ڪاروبار ۾ ختم ٿي وينديون.
Thomas H. Davenport،
آمريڪي تعليمي ۽ ڪاروباري عمل جي تجزياتي ۽ جدت ۾ ماهر
۽ ھاڻي مٿي ذڪر ڪيل وڏن ڊيٽا ٽولز بابت ٿورو وڌيڪ جيڪي جاوا ڊولپرز پاران وڏي پيماني تي استعمال ڪيا ويا آھن.

Apache Hadoop

Apache Hadoop وڏي ڊيٽا لاءِ بنيادي ٽيڪنالاجي مان هڪ آهي، ۽ اهو جاوا ۾ لکيل آهي. Hadoop Apache Software Foundation پاران منظم ڪيل افاديت، لائبريرين ۽ فريم ورڪ جو هڪ مفت ۽ اوپن سورس سيٽ آهي. اصل ۾ اسپيبلبل ۽ ورهايل اڃا تائين قابل اعتماد ڪمپيوٽنگ ۽ مختلف معلومات جي وڏي مقدار جي اسٽوريج لاءِ ٺهيل آهي، هڊوپ قدرتي طور تي ڪيترن ئي ڪمپنين لاءِ ”وڏي ڊيٽا“ انفراسٽرڪچر جو مرڪز بڻجي رهيو آهي. دنيا جي چوڌاري ڪمپنيون فعال طور تي ڳولي رهيا آهن Hadoop ٽيلنٽ، ۽ جاوا هڪ اهم مهارت آهي جيڪو هن ٽيڪنالاجي کي ماهر ڪرڻ جي ضرورت آهي. ڊولپرز سليشڊٽ جي مطابق ، 2019 ۾، ڪيتريون ئي وڏيون ڪمپنيون، جن ۾ JPMorgan Chase ان جي رڪارڊ تنخواه سان پروگرامرز لاء، فعال طور تي Hadoop ماهرن کي ڳولي رهيا هئا Hadoop ورلڊ ڪانفرنس ۾، پر اتي به انهن کي ڪافي ماهر نه ملي سگهيا جيڪي انهن کي گهربل مهارتن سان گڏ آهن. خاص طور تي، پروگرامنگ ماڊل جو هي علم ۽ فريم ورڪ لکڻ لاءِ Hadoop MapReduce ايپليڪيشنون). مطلب ته هن علائقي ۾ تنخواه اڃا به وڌي ويندي. ۽ اهي اڳ ۾ ئي تمام وڏا آهن. خاص طور تي، بزنس انسائيڊر اندازي مطابق Hadoop ماهرن جي سراسري قيمت $103 هزار في سال، جڏهن ته وڏي ڊيٽا جي ماهرن لاءِ عام طور تي اهو انگ آهي $106 هزار في سال. هٽوپ جي ماهرن کي ڳولڻ وارا مينيجرز جاوا کي اجاگر ڪن ٿا ڪامياب روزگار لاءِ سڀ کان اهم صلاحيتن مان. Hadoop هڪ ڊگهي وقت تائين استعمال ڪيو ويو آهي يا نسبتا تازو لاڳو ڪيو ويو آهي ڪيترن ئي وڏن ڪارپوريشنن، بشمول IBM، Microsoft ۽ Oracle. في الحال، Amazon، eBay، Apple، Facebook، General Dynamic ۽ ٻين ڪمپنين وٽ پڻ Hadoop ماهرن لاءِ ڪيتريون ئي پوزيشنون آهن.
"جيئن دونھون کان سواء ڪا به باهه ناهي، هاڻي وڏي ڊيٽا کان سواء ڪو ڪاروبار ناهي."
ڊاڪٽر ٿامس ريڊمن،
ڊيٽا اينالائيٽڪس ۽ ڊجيٽل ٽيڪنالاجيز ۾ مشهور ماهر

Apache Spark

Apache Spark هڪ ٻيو اهم وڏو ڊيٽا پليٽ فارم آهي جيڪو سنجيدگي سان هادوپ سان مقابلو ڪري ٿو. ان جي رفتار، لچڪ، ۽ ڊولپر-دوستيءَ سان، Apache Spark وڏي پيماني تي SQL، بيچ ۽ اسٽريمنگ ڊيٽا، ۽ مشين لرننگ لاءِ معروف فريم ورڪ بڻجي رهيو آهي. وڏي ڊيٽا جي ورهايل پروسيسنگ لاءِ هڪ فريم ورڪ هجڻ جي ڪري، Apache Spark ساڳئي اصول تي ڪم ڪري ٿو Hadoop MapReduce فريم ورڪ ۽ وڏي ڊيٽا جي ميدان ۾ استعمال جي لحاظ کان ان کان بتدريج هٿ ڪڍي رهيو آهي. اسپارڪ ڪيترن ئي مختلف طريقن سان استعمال ٿي سگهي ٿو ۽ جاوا سان ڳنڍيل آهي، انهي سان گڏ ڪيتريون ئي ٻيون پروگرامنگ ٻوليون جهڙوڪ اسڪالا، پٿون ۽ آر. اڄ، اسپارڪ وڏي پئماني تي بينڪن، ٽيليڪميونيڪيشن ڪمپنين، ويڊيو گيم ڊولپرز ۽ حتي. حڪومتون. يقينن، آئي ٽي جايون جهڙوڪ ايپل، فيسبوڪ، آئي بي ايم ۽ مائڪروسافٽ Apache Spark سان پيار ڪندا آهن.

Apache Mahout

Apache Mahout Apache کان هڪ اوپن سورس جاوا مشين لرننگ لائبريري آهي. مهوت خاص طور تي هڪ اسپيبلبل مشين لرننگ ٽول آهي جيڪو هڪ يا وڌيڪ مشينن تي ڊيٽا کي پروسيس ڪرڻ جي صلاحيت سان. ھن مشين جي سکيا جا عمل جاوا ۾ لکيل آھن، ڪجھ حصا اپاچي ھڊوپ تي ٺاھيا ويا آھن.

Apache طوفان

Apache Storm ورهايل حقيقي وقت جي اسٽريمنگ ڪمپيوٽنگ لاءِ هڪ فريم ورڪ آهي. طوفان ڊيٽا جي لامحدود اسٽريمز کي قابل اعتماد طريقي سان پروسيس ڪرڻ آسان بڻائي ٿو، حقيقي وقت ۾ ڇا ڪري ٿو Hadoop ڊيٽا جي بيچ لاءِ. طوفان ڪنهن به قطار واري نظام ۽ ڪنهن به ڊيٽابيس سسٽم سان ضم ٿي.

جاوا JFreechart

Java JFreechart هڪ اوپن سورس لائبريري آهي جيڪا جاوا ۾ ترقي ڪئي وئي آهي جاوا تي ٻڌل ايپليڪيشنن ۾ استعمال ڪرڻ لاءِ هڪ وسيع رينج ٺاهڻ لاءِ. حقيقت اها آهي ته ڊيٽا بصري ڪامياب وڏي ڊيٽا جي تجزيو لاء هڪ انتهائي اهم ڪم آهي. جيئن ته وڏي ڊيٽا ۾ ڊيٽا جي وڏي مقدار سان ڪم ڪرڻ شامل آهي، اهو ڪنهن به رجحان کي سڃاڻڻ ڏکيو ٿي سگهي ٿو ۽ صرف خام ڊيٽا کي ڏسڻ سان ڪجهه نتيجن تي اچي ٿو. بهرحال، جيڪڏهن ساڳي ڊيٽا گراف ۾ ڏيکاريل آهي، اهو وڌيڪ سمجهي سگهجي ٿو ۽ اهو نمونن کي ڳولڻ ۽ رابطي جي سڃاڻپ ڪرڻ آسان آهي. Java JFreechart اصل ۾ وڏي ڊيٽا جي تجزيو لاءِ گراف ۽ چارٽ ٺاهڻ ۾ مدد ڪري ٿو.

ڊيپ لرننگ 4 جي

Deeplearning4j هڪ جاوا لائبريري آهي جيڪا مختلف قسم جا نيورل نيٽ ورڪ ٺاهڻ لاءِ استعمال ٿيندي آهي. Deeplearning4j جاوا ۾ لاڳو ڪيو ويو آهي ۽ هڪ ماحول ۾ هلندو آهي جيڪو Clojure سان مطابقت رکي ٿو ۽ هڪ API شامل آهي اسڪالا ٻولي لاءِ. Deeplearning4j ٽيڪنالاجيون شامل آهن هڪ محدود Boltzmann مشين، ڊيپ بيليف نيٽ ورڪ، ڊيپ آٽو انڪوڊر، اسٽيڪ ٿيل آٽو انڪوڊر سان گڏ شور فلٽرنگ، ريڪرسيو ٽينسر نيورل نيٽورڪ، Word2vec، doc2vec ۽ GloVe.
"وڏي ڊيٽا ڪاروبار لاء نئين خام مال بڻجي رهيو آهي."
Craig Mundie،
Microsoft جي سي اي او جو سينئر صلاحڪار

2020 جي حد تي بگ ڊيٽا: جديد رجحانات

2020 وڏي ڊيٽا جي تيز رفتار ترقي ۽ ارتقاء جو هڪ ٻيو سال هجڻ گهرجي، مختلف شعبن ۾ ڪمپنين ۽ تنظيمن پاران وڏي ڊيٽا جي وڏي اپنائڻ سان. تنهن ڪري، اسان مختصر طور تي وڏي ڊيٽا جي رجحانات کي اجاگر ڪنداسين جيڪي ايندڙ سال ۾ اهم ڪردار ادا ڪن. جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن - 3

شين جو انٽرنيٽ - وڏو ڊيٽا اڃا به وڏو ٿي رهيو آهي

اهو لڳي ٿو ته انٽرنيٽ جو شيون (IoT) ٿورڙي مختلف ڪهاڻي آهي، پر اهو ناهي. IoT جاري آهي "رجحان"، رفتار حاصل ڪرڻ ۽ سڄي دنيا ۾ پکڙيل آهي. نتيجي طور، گھرن ۽ آفيسن ۾ نصب ٿيل "سمارٽ" ڊوائيسز جو تعداد، جيڪي، جيئن اھي ھئڻ گھرجي، سڀني قسمن جي ڊيٽا کي منتقل ڪن ٿا، جتي ضروري آھي، پڻ وڌي رھيو آھي. تنهن ڪري، "وڏي" ڊيٽا جو مقدار صرف وڌي ويندو. جيئن ته ماهر نوٽ ڪن ٿا، ڪيترن ئي تنظيمن وٽ اڳ ۾ ئي تمام گهڻو ڊيٽا آهي، بنيادي طور تي IoT شعبي مان، جنهن کي اهي اڃا تائين استعمال ڪرڻ لاء تيار نه آهن، ۽ 2020 ۾ اهو برفاني طوفان اڃا به وڏو ٿي ويندو. نتيجي طور، وڏي ڊيٽا منصوبن ۾ سيڙپڪاري پڻ تيزيء سان وڌي ويندي. خير، اچو ته توهان کي ياد ڏياريون ته IoT پڻ جاوا سان تمام گهڻو پيار ڪري ٿو . چڱو، ڪير هن سان پيار نٿو ڪري؟

ڊجيٽل ٽوئن

ڊجيٽل ٽوئن ويجهي مستقبل جو هڪ ٻيو دلچسپ رجحان آهي، جيڪو سڌو سنئون انٽرنيٽ جي شين ۽ وڏي ڊيٽا ٻنهي سان لاڳاپيل آهي. ۽ تنهن ڪري، ان ۾ جاوا جو استعمال ڪافي کان وڌيڪ هوندو. ڊجيٽل ٽوئن ڇا آهي؟ هي هڪ حقيقي شئي يا سسٽم جي هڪ ڊجيٽل تصوير آهي. هڪ جسماني ڊوائيس جو هڪ سافٽ ويئر اينالاگ توهان کي مداخلت ۽ ماحول جي حالتن جي تحت اندروني عمل، ٽيڪنيڪل خاصيتن ۽ حقيقي اعتراض جي رويي کي نقل ڪرڻ جي اجازت ڏئي ٿو. هڪ ڊجيٽل ٽوئن جو آپريشن ممڪن آهي ته سينسرز جي هڪ وڏي تعداد کان سواءِ حقيقي ڊوائيس متوازي ۾ ڪم ڪندي. اهو توقع آهي ته 2020 تائين دنيا ۾ 20 بلين کان وڌيڪ ڳنڍيل سينسر هوندا، جيڪي اربين ڊجيٽل ٽوئن تائين معلومات منتقل ڪندا. 2020 ۾، هي رجحان رفتار حاصل ڪرڻ گهرجي ۽ سامهون اچڻ گهرجي.

ڊجيٽل تبديلي وڌيڪ سمارٽ ٿي ويندي

ڊجيٽل تبديليءَ جو ذڪر ڪيترن سالن تائين هڪ اهم رجحان طور ڪيو ويو آهي. پر مسئلو اهو آهي، ماهرن جو چوڻ آهي ته، ڪيتريون ئي ڪمپنيون ۽ اعلي مينيجرز هڪ انتهائي غير واضح سمجهندا هئا ته هن جملي جو مطلب ڇا آهي. گھڻن لاءِ، ڊجيٽل تبديليءَ جو مطلب آھي ڊيٽا وڪڻڻ جا طريقا ڳولڻ جيڪي ھڪڙي ڪمپني گڏ ڪري ٿي نفعي جا نوان ذريعا ٺاھڻ لاءِ. 2020 تائين، وڌيڪ ۽ وڌيڪ ڪمپنيون اهو محسوس ڪري رهيون آهن ته ڊجيٽل تبديلي سڀ ڪجهه ڊيٽا کي لاڳو ڪرڻ جي باري ۾ آهي انهن جي ڪاروبار جي هر پاسو تي هڪ مقابلي جو فائدو پيدا ڪرڻ لاءِ. تنهن ڪري، اسان اميد ڪري سگهون ٿا ته ڪمپنيون ڊيٽا جي صحيح ۽ شعوري استعمال سان لاڳاپيل منصوبن جي بجيٽ ۾ اضافو ڪندا.
"اسان آهستي آهستي هڪ دور ڏانهن وڌي رهيا آهيون جنهن ۾ بگ ڊيٽا شروعاتي نقطي آهي، نه آخر."
پرل زو، ڊجيٽل ماسٽر ڪتابن جو ليکڪ

نتيجا

بگ ڊيٽا سرگرمي جو هڪ ٻيو واقعي وڏو علائقو آهي ڪيترن ئي موقعن سان جنهن ۾ جاوا ڊولپر استعمال ڪري سگهي ٿو. شين جي انٽرنيٽ وانگر، هي فيلڊ عروج تي آهي ۽ پروگرامرز جي سخت قلت جو تجربو ڪري رهيو آهي، انهي سان گڏ ٻين ٽيڪنيڪل ماهرن. تنهن ڪري، هاڻي وقت آهي ته اهڙن ڊگهن مضمونن کي پڙهڻ بند ڪيو وڃي ۽ جاوا سکڻ شروع ڪيو وڃي! جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن - 5
تبصرا
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION