JavaRush /Blog Jawa /Random-JV /Java lan Big Data: kenapa proyek Big Data ora bisa ditind...

Java lan Big Data: kenapa proyek Big Data ora bisa ditindakake tanpa Java

Diterbitake ing grup
Ing artikel kita ing JavaRush, kita ora bosen ngomong yen Java, sing bakal umure 25 taun, saiki ngalami masa muda sing nomer loro lan duwe prospek sing apik banget ing mangsa ngarep. Ana sawetara alasan kanggo iki, lan salah sijine yaiku Jawa minangka basa pamrograman utama ing sawetara ceruk pasar IT sing tren lan berkembang kanthi cepet. Java lan Big Data: kenapa proyek Big Data ora bisa ditindakake tanpa Java - 1Paling asring, ing konteks tresno jero lan raos lembut kanggo Jawa, Internet of Things (IoT) lan data gedhe kasebut, uga intelijen Bisnis (intelijen bisnis, BI) lan Real Time Analytics (analitik wektu nyata). Kita bubar ngrembug sesambungan antarane Jawa lan Internet of Things lan ngrembug babagan carane pangembang Jawa bisa "ngatur" awake dhewe lan katrampilan kanggo niche iki. Saiki wektune kanggo menehi perhatian menyang wilayah super trending nomer loro, sing - bener - uga tresna marang Jawa lan ora bisa mbayangno urip tanpa. Dadi, dina iki kita nganalisa data gedhe: kenapa Jawa, lan mulane para coders sing setya, uga dikarepake ing ceruk iki, kepiye basa iki digunakake ing proyek kanthi "data gedhe", apa sing kudu dipelajari supaya entuk kabutuhan sing dibutuhake. katrampilan kanggo kerja lan kerja ing ceruk iki lan tren apa sing cocog kanggo data gedhe saiki, ing wayah wengi 2020. Lan ing antarane kabeh iki, ana pendapat para ahli kelas donya babagan data gedhe, lan malah Homer Simpson pengin sinau babagan nggarap "data gedhe." Java lan Big Data: kenapa proyek Big Data ora bisa ditindakake tanpa Java - 2
"Aku terus ujar manawa ing 10 taun sabanjure, bocah-bocah wadon ora bakal ngoyak atlit lan pialang saham, nanging wong lanang sing nggarap data lan statistik. Lan aku ora guyon."
Hal Varian,
pangareping ekonomi ing Google

Big Data nelukake planet

Nanging pisanan, sethithik babagan data gedhe lan ngapa niche iki pancen njanjeni kanggo mbangun karir ing kono. Ing cendhak, data amba mesthi lan ajeg, lan sing paling Jahwéh banget cepet, penetrates pangolahan bisnis perusahaan ing saindhenging donya, lan padha, ing siji, dipeksa kanggo golek profesional kanggo nggarap data (iki ora mung programer, mesthi. ), narik wong-wong mau kanthi gaji dhuwur lan barang-barang liyane. Miturut Forbes, panggunaan data gedhe ing perusahaan wis tuwuh saka 17% ing 2015 dadi 59% ing 2018. Big Data nyebar kanthi cepet menyang macem-macem sektor ekonomi, kalebu sales, marketing, riset lan pangembangan, logistik lan kabeh. Miturut panaliten IBM, jumlah pakaryan profesional ing lapangan iki ing Amerika Serikat mung bakal ngluwihi 2,7 yuta ing taun 2020. Janji? Isih bakal.

Big Data lan Jawa

Lan saiki babagan kenapa Big Data lan Jawa duwe akeh sing padha. Bab iku akeh alat dhasar kanggo data gedhe sing ditulis ing Jawa. Kajaba iku, meh kabeh alat kasebut minangka proyek sumber terbuka. Iki tegese kasedhiya kanggo kabeh wong lan kanthi alasan sing padha digunakake kanthi aktif dening perusahaan IT paling gedhe ing saindenging jagad. "Kanggo umume, Big Data yaiku Jawa. Hadoop, lan sapérangan gedhé ekosistem Hadoop, ditulis ing Jawa. Antarmuka MapReduce kanggo Hadoop uga Jawa. Dadi bakal cukup gampang kanggo pangembang Java kanggo pindhah menyang data gedhe kanthi mung nggawe solusi Java sing bakal mbukak ing ndhuwur Hadoop. Ana uga pustaka Jawa kayata Cascading sing nggawe gaweyan luwih gampang. Jawa uga migunani banget kanggo debugging, sanajan sampeyan nggunakake kaya Hive [Apache Hive minangka sistem manajemen basis data basis Hadoop], "ujare Marcin Mejran, ilmuwan data lan wakil presiden teknik data ing perusahaan Eight. "Kajaba Hadoop, Storm ditulis ing Jawa, lan Spark (yaiku kemungkinan masa depan Hadoop) ditulis ing Scala (sing uga nganggo JVM, lan Spark duwe antarmuka Jawa). Kaya sing sampeyan ngerteni, Jawa nduweni peran gedhe ing data gedhe. Iki kabeh alat open source, tegese pangembang ing perusahaan bisa nggawe ekstensi kanggo wong-wong mau utawa nambah fungsi. Karya iki asring banget kalebu pangembangan Jawa, ”tambah ahli kasebut. Kaya sing kita deleng, ing data gedhe, uga ing Internet of things, machine learning lan sawetara ceruk liyane sing terus populer, kawruh babagan Jawa bakal ora bisa diganti.
"Saben perusahaan saiki duwe rencana data gedhe. Lan kabeh perusahaan kasebut bakal dadi bisnis data gedhe.
Thomas H. Davenport,
akademisi Amerika lan pakar ing analytics proses bisnis lan inovasi
Lan saiki luwih akeh babagan alat data gedhe sing kasebut ing ndhuwur sing akeh digunakake dening pangembang Java.

Apache Hadoop

Apache Hadoop minangka salah sawijining teknologi dhasar kanggo data gedhe, lan ditulis ing Jawa. Hadoop minangka kumpulan utilitas, perpustakaan, lan kerangka sing gratis lan mbukak sumber sing dikelola dening Apache Software Foundation. Originally dirancang kanggo komputasi sing bisa diukur lan disebarake nanging bisa dipercaya lan nyimpen informasi sing beda-beda, Hadoop kanthi alami dadi pusat infrastruktur "data gedhe" kanggo akeh perusahaan. Perusahaan ing saindenging jagad aktif golek bakat Hadoop, lan Jawa minangka katrampilan utama sing dibutuhake kanggo nguwasani teknologi iki. Miturut Pengembang Slashdot, ing taun 2019, akeh perusahaan gedhe, kalebu JPMorgan Chase kanthi gaji rekor kanggo programer, aktif golek spesialis Hadoop ing konferensi Hadoop World, nanging ing kana dheweke ora bisa nemokake ahli sing cukup karo katrampilan sing dibutuhake (ing tartamtu, kawruh iki model program lan framework kanggo nulis aplikasi Hadoop MapReduce). Iki tegese gaji ing wilayah iki bakal mundhak luwih akeh. Lan dheweke wis gedhe banget. Utamane, Business Insider ngira biaya rata-rata spesialis Hadoop ing $ 103 ewu saben taun, dene kanggo spesialis data gedhe umume angka iki $ 106 ewu saben taun. Manajer rekrutmen sing golek pakar Hadoop nyorot Jawa minangka salah sawijining katrampilan sing paling penting kanggo kerja sing sukses. Hadoop wis digunakake kanggo dangu utawa wis dileksanakake relatif anyar dening akeh perusahaan gedhe, kalebu IBM, Microsoft lan Oracle. Saiki, Amazon, eBay, Apple, Facebook, General Dynamic lan perusahaan liyane uga duwe akeh posisi kanggo spesialis Hadoop.
"Kaya ora ana geni tanpa asap, saiki ora ana bisnis tanpa data gedhe."
Dr. Thomas Redman,
ahli kondhang ing analisis data lan teknologi digital

Apache Spark

Apache Spark minangka platform data gedhe liyane sing saingan serius karo Hadoop. Kanthi kacepetan, keluwesan, lan keramahan pangembang, Apache Spark dadi kerangka kerja utama kanggo SQL skala gedhe, data batch lan streaming, lan pembelajaran mesin. Minangka kerangka kanggo pangolahan data gedhe sing disebarake, Apache Spark makarya kanthi prinsip sing padha karo kerangka Hadoop MapReduce lan mboko sithik ngilangi palem kasebut ing babagan panggunaan ing bidang data gedhe. Spark bisa digunakake kanthi macem-macem cara lan nduweni pranala menyang Jawa, uga sawetara basa pamrograman liyane kayata Scala, Python lan R. Saiki, Spark wis akeh digunakake dening bank, perusahaan telekomunikasi, pangembang video game lan malah. pamrentahan. Mesthine, raksasa IT kayata Apple, Facebook, IBM lan Microsoft seneng Apache Spark.

Apache Mahout

Apache Mahout minangka perpustakaan pembelajaran mesin Java open source saka Apache. Mahout minangka alat sinau mesin sing bisa diukur kanthi kemampuan kanggo ngolah data ing siji utawa luwih mesin. Implementasi machine learning iki ditulis ing Jawa, sawetara bagéan dibangun ing Apache Hadoop.

Apache Storm

Apache Storm minangka kerangka kerja kanggo komputasi streaming wektu nyata sing disebarake. Storm nggampangake ngolah data tanpa wates kanthi andal, nindakake apa sing ditindakake Hadoop kanggo batch data kanthi nyata. Storm nyawiji karo sistem antrian lan sistem database apa wae.

Java JFreechart

Java JFreechart minangka perpustakaan open source sing dikembangake ing Jawa kanggo digunakake ing aplikasi basis Java kanggo nggawe macem-macem grafik. Kasunyatane yaiku visualisasi data minangka tugas sing cukup penting kanggo analisis data gedhe sing sukses. Wiwit data gedhe kalebu nggarap volume data sing akeh, bisa uga angel kanggo ngenali tren apa wae lan mung nggawe kesimpulan tartamtu kanthi ndeleng data mentah. Nanging, yen data sing padha ditampilake ing grafik, dadi luwih bisa dingerteni lan luwih gampang golek pola lan ngenali korélasi. Java JFreechart pancen mbantu nggawe grafik lan grafik kanggo analisis data gedhe.

DeepLearning4j

Deeplearning4j minangka perpustakaan Java sing digunakake kanggo mbangun macem-macem jinis jaringan saraf. Deeplearning4j dileksanakake ing Jawa lan mlaku ing lingkungan sing kompatibel karo Clojure lan kalebu API kanggo basa Scala. Teknologi Deeplearning4j kalebu implementasi mesin Boltzmann sing diwatesi, jaringan kapercayan jero, autoenkoder jero, autoenkoder tumpuk kanthi nyaring swara, jaringan saraf tensor rekursif, word2vec, doc2vec lan GloVe.
"Data gedhe dadi bahan mentah anyar kanggo bisnis."
Craig Mundie,
Penasihat Senior kanggo CEO Microsoft

Big Data ing ambang 2020: tren paling anyar

2020 kudu dadi taun liyane sing tuwuh kanthi cepet lan evolusi data gedhe, kanthi nyebarake data gedhe dening perusahaan lan organisasi ing macem-macem lapangan. Mulane, kita bakal nyorot kanthi cepet tren data gedhe sing kudu nduweni peran penting ing taun ngarep. Java lan Big Data: kenapa proyek Big Data ora bisa ditindakake tanpa Java - 3

Internet of Things - data gedhe saya tambah gedhe

Kayane Internet of Things (IoT) minangka crita sing rada beda, nanging ora. IoT terus "tren", entuk momentum lan nyebar ing saindenging jagad. Akibaté, jumlah piranti "pinter" sing dipasang ing omah lan kantor, sing, kaya sing dikarepake, ngirimake kabeh jinis data yen perlu, uga saya akeh. Mulane, volume data "gedhe" mung bakal nambah. Minangka ahli nyathet, akeh organisasi wis duwe akeh data, utamane saka sektor IoT, sing durung siyap digunakake, lan ing taun 2020 longsor iki bakal dadi luwih gedhe. Akibate, investasi ing proyek data gedhe uga bakal mundhak kanthi cepet. Inggih, ayo ngelingake sampeyan yen IoT uga tresna banget marang Jawa . Lha, sapa sing ora tresna marang dheweke?

Kembar digital

Kembar digital minangka tren menarik liyane ing mangsa ngarep, sing ana hubungane langsung karo Internet of Things lan data gedhe. Mula, panganggone basa Jawa ing kono bakal luwih saka cukup. Apa sing kembar digital? Iki minangka gambar digital saka obyek utawa sistem nyata. Analog piranti lunak saka piranti fisik ngidini sampeyan simulasi proses internal, karakteristik teknis lan prilaku obyek nyata ing kahanan gangguan lan lingkungan. Operasi saka kembar digital mokal tanpa nomer ageng saka sensor ing piranti nyata operasi ing podo karo. Dikarepake yen ing 2020 bakal ana luwih saka 20 milyar sensor sing disambungake ing donya, ngirim informasi menyang milyaran kembar digital. Ing 2020, tren iki kudu entuk momentum lan dadi luwih maju.

Transformasi digital bakal dadi luwih pinter

Transformasi digital wis kasebut minangka tren penting kanggo sawetara taun saiki. Nanging masalahe, ujare para ahli, akeh perusahaan lan manajer ndhuwur duwe pangerten sing ora jelas babagan apa tegese tembung kasebut. Kanggo akeh, transformasi digital tegese golek cara kanggo adol data sing dikumpulake perusahaan kanggo nggawe sumber bathi anyar. Ing taun 2020, luwih akeh perusahaan sing nyadari yen transformasi digital kabeh babagan ngetrapake data kanthi bener ing saben aspek bisnis kanggo nggawe keuntungan kompetitif. Mula, kita bisa ngarepake manawa perusahaan bakal nambah anggaran proyek sing ana gandhengane karo panggunaan data sing bener lan sadar.
"Kita alon-alon maju menyang jaman nalika Big Data minangka titik wiwitan, dudu pungkasan."
Pearl Zhu, penulis buku Digital Master

Asil

Big Data minangka area kegiatan liyane sing gedhe banget kanthi akeh kesempatan sing bisa digunakake dening pangembang Jawa. Kaya Internet of Things, lapangan iki berkembang lan ngalami kekurangan programer, uga ahli teknis liyane. Mula, saiki wis wayahe mandhek maca artikel sing dawa-dawa kuwi lan sinau basa Jawa! Java lan Big Data: kenapa proyek Big Data ora bisa ditindakake tanpa Java - 5
Komentar
TO VIEW ALL COMMENTS OR TO MAKE A COMMENT,
GO TO FULL VERSION