JavaRush haqidagi maqolalarimizda biz tez orada 25 yoshga to'ladigan Java o'zining ikkinchi yoshligini boshdan kechirayotganini va yaqin kelajakda yorqin istiqbolga ega ekanligini aytishdan charchamaymiz. Buning bir qancha sabablari bor va ulardan biri Java IT bozorining bir qator trendli va tez o'sib borayotgan bo'shliqlarida asosiy dasturlash tili hisoblanadi. Ko'pincha, Java-ga bo'lgan chuqur mehr va nozik tuyg'ular kontekstida narsalar Interneti (IoT) va katta ma'lumotlar, shuningdek, biznes razvedkasi (biznes razvedkasi, BI) va Real Time Analytics (real vaqtda tahlil) haqida gapiriladi. Biz yaqinda Java va narsalar interneti o'rtasidagi aloqani muhokama qildik va Java dasturchisi qanday qilib o'zini va o'z mahoratini ushbu sohaga "moslashtira olishi" haqida gaplashdik. Endi ikkinchi super trend sohasiga e'tibor qaratish vaqti keldi, u ham Java-ni yaxshi ko'radi va usiz hayotni tasavvur qila olmaydi. Shunday qilib, bugungi kunda biz katta ma'lumotlarni tahlil qilmoqdamiz: nima uchun Java va shuning uchun uning ishonchli koderlari ushbu sohada katta talabga ega, bu til "katta ma'lumotlar" bo'lgan loyihalarda qanday aniq qo'llaniladi, kerakli ma'lumotlarga ega bo'lish uchun nimani o'rganish kerak. bandlik va ushbu sohada ishlash ko'nikmalari va hozirda, 2020 yil arafasida katta ma'lumotlar uchun qanday tendentsiyalar tegishli. Va bularning barchasi orasida, bu erda katta ma'lumotlar haqida jahon miqyosidagi mutaxassislarning fikrlari keltirilgan, shundan so'ng hatto Gomer Simpson ham "katta ma'lumotlar" bilan ishlashni o'rganishni xohlaydi.
“Kelgusi 10 yil ichida qizlar sportchilar va birja brokerlarini emas, balki ma’lumotlar va statistika bilan ishlaydigan yigitlarni ta’qib qilishlarini doimo aytaman. Men esa hazillashayotganim yo‘q”.
Big Data sayyorani zabt etmoqda
Ammo birinchi navbatda, katta ma'lumotlar haqida va nima uchun bu joy unda martaba yaratish uchun juda istiqbolli ekanligi haqida. Muxtasar qilib aytganda, katta ma'lumotlar muqarrar va barqaror, eng muhimi, juda tez, butun dunyo bo'ylab kompaniyalarning biznes jarayonlariga kirib boradi va ular, o'z navbatida, ma'lumotlar bilan ishlaydigan mutaxassislarni izlashga majbur bo'lishadi (bular nafaqat dasturchilar, albatta, ), ularni yuqori maosh va boshqa ne'matlar bilan jalb qilish. Forbes ma'lumotlariga ko'ra, korxonalarda katta ma'lumotlardan foydalanish 2015 yildagi 17 foizdan 2018 yilda 59 foizgacha o'sgan . Katta ma'lumotlar iqtisodiyotning turli sohalariga, jumladan savdo, marketing, tadqiqot va ishlanmalar, logistika va hamma narsaga tez tarqalmoqda. IBM tadqiqotiga ko‘ra, 2020-yilga borib birgina Qo‘shma Shtatlarda ushbu soha mutaxassislari uchun ish o‘rinlari soni 2,7 milliondan oshadi. Va'da beradimi? Hali ham bo'lardi.
Katta ma'lumotlar va Java
Va endi nima uchun Big Data va Java-ning umumiy jihatlari haqida. Gap shundaki, katta ma'lumotlar uchun ko'plab asosiy vositalar Java-da yozilgan. Bundan tashqari, ushbu vositalarning deyarli barchasi ochiq kodli loyihalardir. Bu shuni anglatadiki, ular hamma uchun mavjud va xuddi shu sababdan ular dunyodagi eng yirik IT-kompaniyalar tomonidan faol foydalaniladi. “Ko'p jihatdan Big Data Java hisoblanadi. Hadoop va Hadoop ekotizimining katta qismi Java tilida yozilgan. Hadoop uchun MapReduce interfeysi ham Java hisoblanadi. Shunday qilib, Java dasturchisi uchun Hadoop ustida ishlaydigan Java yechimlarini yaratish orqali katta ma'lumotlarga o'tish juda oson bo'ladi. Ishni osonlashtiradigan Cascading kabi Java kutubxonalari ham mavjud. Agar siz Hive [Apache Hive — Hadoop-ga asoslangan maʼlumotlar bazasini boshqarish tizimi] kabi biror narsadan foydalansangiz ham Java disk raskadrovka uchun juda foydali”, dedi Marcin Mejran, maʼlumotlar olimi va Eight kompaniyasining maʼlumotlar muhandisligi vitse-prezidenti. “Hadoop-dan tashqari, Storm Java-da, Spark (ya'ni, Hadoop-ning kelajagi) Scala-da yozilgan (u o'z navbatida JVM-da ishlaydi va Spark Java interfeysiga ega). Ko'rib turganingizdek, Java katta ma'lumotlarda katta rol o'ynaydi. Bularning barchasi ochiq manbali vositalardir, ya'ni kompaniyalar ichidagi ishlab chiquvchilar ular uchun kengaytmalar yaratishi yoki funksionallikni qo'shishi mumkin. Bu ish ko'pincha Java-ni ishlab chiqishni o'z ichiga oladi», - deya qo'shimcha qildi ekspert. Ko'rib turganimizdek, katta ma'lumotlarda, shuningdek, narsalar Internetida, mashinani o'rganishda va mashhurlikka erishishda davom etayotgan bir qator boshqa bo'shliqlarda Java bilimi shunchaki almashtirib bo'lmaydigan bo'ladi.
“Har bir kompaniya endi katta maʼlumotlar rejalariga ega. Va bu kompaniyalarning barchasi katta ma'lumotlar biznesida yakunlanadi."
Va endi Java dasturchilari tomonidan keng qo'llaniladigan yuqorida aytib o'tilgan katta ma'lumotlar vositalari haqida bir oz ko'proq.
Apache Hadoop
Apache Hadoop katta ma'lumotlar uchun asosiy texnologiyalardan biri bo'lib, u Java tilida yozilgan. Hadoop - bu Apache Software Foundation tomonidan boshqariladigan bepul va ochiq manbali yordamchi dasturlar, kutubxonalar va ramkalar to'plami. Dastlab kengaytiriladigan va taqsimlangan, ammo ishonchli hisoblash va katta hajmdagi turli xil ma'lumotlarni saqlash uchun mo'ljallangan Hadoop, tabiiyki, ko'plab kompaniyalar uchun "katta ma'lumotlar" infratuzilmasi markaziga aylanib bormoqda. Dunyo bo'ylab kompaniyalar Hadoop iste'dodini faol ravishda izlamoqda va Java bu texnologiyani o'zlashtirish uchun zarur bo'lgan asosiy mahoratdir. Developers Slashdot ma'lumotlariga ko'ra , 2019 yilda ko'plab yirik kompaniyalar, shu jumladan dasturchilar uchun rekord maoshga ega JPMorgan Chase, Hadoop World konferentsiyasida Hadoop mutaxassislarini faol ravishda izlashdi, biroq u erda ham ular o'zlariga kerakli ko'nikmalarga ega yetarlicha mutaxassislarni topa olishmadi. xususan, Hadoop MapReduce ilovalarini yozish uchun dasturlash modeli va ramkalar haqidagi bu bilim). Demak, bu sohada maoshlar yanada oshadi. Va ular allaqachon juda katta. Xususan, Business Insider Hadoop mutaxassisining o‘rtacha narxini yiliga 103 ming dollarga baholasa, katta ma’lumotlar bo‘yicha mutaxassislar uchun bu ko‘rsatkich yiliga 106 ming dollarni tashkil qiladi. Hadoop mutaxassislarini qidirayotgan menejerlar Java-ni muvaffaqiyatli ishga joylashish uchun eng muhim ko'nikmalardan biri sifatida ta'kidlaydilar. Hadoop uzoq vaqt davomida ishlatilgan yoki nisbatan yaqinda ko'plab yirik korporatsiyalar, jumladan IBM, Microsoft va Oracle tomonidan amalga oshirilgan. Hozirda Amazon, eBay, Apple, Facebook, General Dynamic va boshqa kompaniyalar ham Hadoop mutaxassislari uchun ko'plab lavozimlarga ega.
"Tutsiz olov bo'lmagani kabi, endi katta ma'lumotlarsiz biznes ham bo'lmaydi."
Apache Spark
Apache Spark - Hadoop bilan jiddiy raqobatlashadigan yana bir asosiy katta ma'lumotlar platformasi. Tezligi, moslashuvchanligi va ishlab chiquvchilar uchun qulayligi bilan Apache Spark keng miqyosli SQL, ommaviy va oqimli ma'lumotlar va mashinalarni o'rganish uchun etakchi asosga aylanmoqda. Katta ma'lumotlarni taqsimlangan qayta ishlash uchun asos bo'lgan Apache Spark Hadoop MapReduce tizimiga o'xshash printsip asosida ishlaydi va katta ma'lumotlar sohasida foydalanish nuqtai nazaridan asta-sekin undan kaftni tortib oladi. Spark turli xil usullarda ishlatilishi mumkin va Java-ga, shuningdek, Scala, Python va R kabi bir qator boshqa dasturlash tillariga havolalarga ega. Bugungi kunda Spark banklar, telekommunikatsiya kompaniyalari, video o'yin ishlab chiqaruvchilari va hattoki tomonidan keng qo'llaniladi. hukumatlar. Albatta, Apple, Facebook, IBM va Microsoft kabi IT gigantlari Apache Spark-ni yaxshi ko'radilar.
Apache Mahout
Apache Mahout - bu Apache-dan ochiq manbali Java mashinalarini o'rganish kutubxonasi. Mahout - bu bir yoki bir nechta mashinalarda ma'lumotlarni qayta ishlash qobiliyatiga ega bo'lgan aniq kengaytiriladigan mashinani o'rganish vositasi. Ushbu mashinani o'rganishni amalga oshirish Java-da yozilgan, ba'zi qismlari Apache Hadoop-da qurilgan.
Apache bo'roni
Apache Storm - real vaqt rejimida tarqatilgan oqimli hisoblash uchun ramka. Storm real vaqt rejimida Hadoop ma'lumotlar to'plami uchun qiladigan ishni bajarib, cheksiz ma'lumotlar oqimini ishonchli tarzda qayta ishlashni osonlashtiradi. Storm har qanday navbat tizimi va har qanday ma'lumotlar bazasi tizimi bilan integratsiyalashgan.
Java JFreechart
Java JFreechart - keng diapazonli diagrammalarni yaratish uchun Java-ga asoslangan ilovalarda foydalanish uchun Java-da ishlab chiqilgan ochiq kodli kutubxona. Gap shundaki, ma'lumotlarni vizualizatsiya qilish katta ma'lumotlarni muvaffaqiyatli tahlil qilish uchun juda muhim vazifadir. Katta ma'lumotlar katta hajmdagi ma'lumotlar bilan ishlashni o'z ichiga olganligi sababli, har qanday tendentsiyani aniqlash qiyin bo'lishi mumkin va oddiy ma'lumotlarga qarab ma'lum xulosalarga kelish mumkin. Biroq, agar bir xil ma'lumotlar grafikda ko'rsatilsa, u yanada tushunarli bo'ladi va naqshlarni topish va korrelyatsiyalarni aniqlash osonroq bo'ladi. Java JFreechart aslida katta ma'lumotlarni tahlil qilish uchun grafik va diagrammalarni yaratishda yordam beradi.
Deepplearning4j
Deeplearning4j - bu har xil turdagi neyron tarmoqlarni qurish uchun ishlatiladigan Java kutubxonasi. Deeplearning4j Java-da amalga oshirilgan va Clojure bilan mos keladigan va Scala tili uchun APIni o'z ichiga olgan muhitda ishlaydi. Deeplearning4j texnologiyalari cheklangan Boltzmann mashinasi, chuqur e'tiqod tarmog'i, chuqur avtokoder, shovqin filtrli stacked autokoder, rekursiv tenzor neyron tarmog'i, word2vec, doc2vec va GloVe dasturlarini o'z ichiga oladi.
"Katta ma'lumotlar biznes uchun yangi xom ashyoga aylanmoqda."
2020 yil bo'sag'asidagi Big Data: so'nggi tendentsiyalar
2020 yil katta ma'lumotlarning tez o'sishi va evolyutsiyasi yili bo'lishi kerak, bunda turli sohalardagi kompaniyalar va tashkilotlar tomonidan katta ma'lumotlar keng qo'llanilishi kerak. Shuning uchun biz kelgusi yilda muhim rol o'ynashi kerak bo'lgan katta ma'lumotlar tendentsiyalarini qisqacha ta'kidlaymiz.
Narsalar Interneti - katta ma'lumotlar yanada kattalashmoqda
Narsalar Interneti (IoT) biroz boshqacha hikoya bo'lib tuyulishi mumkin, ammo unday emas. IoT “trend”da davom etmoqda, jadal rivojlanmoqda va butun dunyo bo'ylab tarqalmoqda. Binobarin, uylar va idoralarda o‘rnatilgan, kerak bo‘lganidek, kerak bo‘lganda har xil ma’lumotlarni uzatuvchi “aqlli” qurilmalar soni ham ortib bormoqda. Shu sababli, "katta" ma'lumotlar hajmi faqat oshadi. Mutaxassislarning ta'kidlashicha, ko'plab tashkilotlarda, birinchi navbatda, IoT sektoriga tegishli juda ko'p ma'lumotlar mavjud, ular hali foydalanishga tayyor emas va 2020 yilda bu ko'chki yanada kuchayadi. Shunday qilib, katta ma'lumotlar loyihalariga investitsiyalar ham tez o'sib boradi. Eslatib o'tamiz, IoT ham Java-ni juda yaxshi ko'radi . Xo'sh, kim uni sevmaydi?
Raqamli egizaklar
Raqamli egizaklar yaqin kelajakdagi yana bir qiziqarli tendentsiya bo'lib, u narsalar Interneti va katta ma'lumotlar bilan bevosita bog'liq. Va shuning uchun unda Java-dan foydalanish etarli bo'ladi. Raqamli egizak nima? Bu haqiqiy ob'ekt yoki tizimning raqamli tasviridir. Jismoniy qurilmaning dasturiy analogi interferentsiya va atrof-muhit sharoitida haqiqiy ob'ektning ichki jarayonlarini, texnik xususiyatlarini va xatti-harakatlarini simulyatsiya qilish imkonini beradi. Raqamli egizakning ishlashi parallel ishlaydigan haqiqiy qurilmada juda ko'p sensorlarsiz mumkin emas. 2020 yilga borib dunyoda milliardlab raqamli egizaklarga maʼlumot uzatuvchi 20 milliarddan ortiq ulangan sensorlar paydo boʻlishi kutilmoqda. 2020 yilda bu tendentsiya kuchayib, birinchi o'ringa chiqishi kerak.
Raqamli transformatsiya yanada oqilona bo'ladi
Raqamli transformatsiya bir necha yillardan beri muhim tendentsiya sifatida tilga olinmoqda. Ammo muammo shundaki, mutaxassislarning ta'kidlashicha, ko'plab kompaniyalar va top-menejerlar bu ibora nimani anglatishini juda noaniq tushunishgan. Ko'pchilik uchun raqamli transformatsiya yangi daromad manbalarini yaratish uchun kompaniya to'plagan ma'lumotlarni sotish yo'llarini topishni anglatadi. 2020 yilga kelib, tobora ko'proq kompaniyalar raqamli transformatsiya raqobatdosh ustunlikni yaratish uchun o'z biznesining barcha jabhalarida ma'lumotlarni to'g'ri qo'llashdan iborat ekanligini tushunib yetmoqda. Shu sababli, kompaniyalar ma'lumotlardan to'g'ri va ongli ravishda foydalanish bilan bog'liq loyihalar byudjetini oshirishini kutishimiz mumkin.
"Biz asta-sekin katta ma'lumotlar oxiri emas, balki boshlang'ich nuqtasi bo'lgan davrga o'tmoqdamiz."
Natijalar
Big Data - bu Java dasturchisi foydalanishi mumkin bo'lgan juda ko'p imkoniyatlarga ega bo'lgan yana bir haqiqatan ham ulkan faoliyat sohasi. Buyumlar Interneti kabi, bu soha ham jadal rivojlanmoqda va dasturchilar va boshqa texnik mutaxassislarning keskin tanqisligini boshdan kechirmoqda. Shuning uchun, endi bunday uzun maqolalarni o'qishni to'xtatib, Java-ni o'rganishni boshlash vaqti keldi!
GO TO FULL VERSION