JavaRush боюнча макалаларыбызда жакында 25 жашка толо турган Java азыр экинчи жаштыгын башынан өткөрүп жатканын жана жакынкы келечекте жаркын келечекке ээ экенин айтуудан тажабайбыз. Мунун бир нече себептери бар жана алардын бири Java IT рыногунун бир катар тренддүү жана тез өнүгүп келе жаткан уячаларында негизги программалоо тor болуп саналат. Көбүнчө Javaга болгон терең сүйүүнүн жана назик сезимдердин контекстинде нерселердин Интернети (IoT) жана чоң маалыматтар, ошондой эле Бизнес-интеллект (бизнес интеллект, BI) жана Real Time Analytics (реалдуу убакыттагы аналитика) жөнүндө сөз болот. Жакында биз Java менен нерселердин Интернетинин ортосундагы байланышты талкууладык жана Java иштеп чыгуучусу өзүн жана анын жөндөмдөрүн ушул уячага кантип "тийиштүү" кыла аларын сүйлөштүк. Эми экинчи супер тенденцияга көңүл бурууга убакыт келди, ал - бул туура - ошондой эле Java-ны жакшы көрөт жана ансыз жашоону элестете алbyte. Ошентип, бүгүн биз чоң маалыматтарды талдап жатабыз: эмне үчүн Java, демек, анын ишенимдүү codeерлери бул нишкада да чоң суроо-талапка ээ, бул тил "чоң маалыматтар" бар долбоорлордо кандайча колдонулат, керектүү маалыматка ээ болуу үчүн эмнени үйрөнүү керек жумушка орношуу жана ушул нишада иштөө үчүн көндүмдөр жана азыр, 2020-жылдын алдында чоң маалыматтар үчүн кандай тенденциялар актуалдуу. Мунун баарынын ортосунда, бул жерде чоң маалыматтар жөнүндө дүйнөлүк деңгээлдеги эксперттердин пикирлери бар, андан кийин Гомер Симпсон да “чоң маалыматтар” менен иштөөнү үйрөнгүсү келет.
«Жакынкы 10 жылда кыздар спортчуларды, биржачыларды эмес, маалымат жана статистика менен иштеген жигиттерди куушат деп айтам. А мен тамашалап жаткан жерим жок”.
Big Data планетаны басып алууда
Бирок, адегенде, чоң маалыматтар жөнүндө бир аз жана эмне үчүн бул нишке андагы карьера куруу үчүн мынчалык келечектүү. Кыскасы, чоң маалыматтар сөзсүз түрдө жана туруктуу, эң негизгиси өтө тездик менен дүйнө жүзүндөгү компаниялардын бизнес-процесстерине кирет жана алар өз кезегинде маалыматтар менен иштөө үчүн адистерди издөөгө аргасыз болушат (албетте булар программисттер гана эмес, ), аларды жогорку айлык акы жана башка жакшылыктар менен азгырып. Forbes маалыматына ылайык, ишканаларда чоң маалыматтарды колдонуу 2015-жылы 17% болсо, 2018-жылы 59% га чейин өскөн . Big Data экономиканын ар кандай секторлоруна, анын ичинде сатуу, маркетинг, изилдөө жана өнүктүрүү, логистика жана бардык нерселерге тездик менен жайылууда. IBM изилдөөсүнө ылайык, 2020-жылга карата АКШда эле бул тармактагы адистер үчүн жумуш орундарынын саны 2,7 миллиондон ашат. келечектүү? Дагы деле болмок.
Big Data жана Java
Эми эмне үчүн Big Data жана Java көп окшоштуктары бар. Кеп чоң маалыматтар үчүн көптөгөн негизги куралдар Java тorнде жазылган. Анын үстүнө, бул куралдардын дээрлик бардыгы ачык булак долбоорлору. Бул алардын бардыгына жеткorктүү жана ошол эле себептен алар дүйнө жүзү боюнча эң ири IT-компаниялар тарабынан жигердүү колдонулуп жатканын билдирет. "Көпчүлүк деңгээлде Big Data бул Java. Hadoop жана Hadoop экосистемасынын кыйла чоң бөлүгү Java тorнде жазылган. Hadoop үчүн MapReduce интерфейси дагы Java болуп саналат. Ошентип, Java иштеп чыгуучусу үчүн Hadoopтун үстүндө иштей турган Java чечимдерин түзүү менен чоң маалыматтарга өтүү оңой болот. Ишти жеңилдеткен Cascading сыяктуу Java китепканалары да бар. Java дагы каталарды оңдоо үчүн абдан пайдалуу, эгер сиз Hive [Apache Hive – Hadoop негизиндеги маалымат базасын башкаруу системасы] сыяктуу нерсени колдонуп жатсаңыз да,” - деди Марсин Межран, маалымат таануучу жана Eight компаниясынын маалымат инженериясынын вице-президенти. "Hadoop'тан тышкары, Storm Java тorнде жазылган, ал эми Spark (б.а. Hadoopтун ыктымал келечеги) Scala тorнде жазылган (ал өз кезегинде JVMде иштейт жана Spark Java интерфейсине ээ). Көрүнүп тургандай, Java чоң маалыматтарда чоң роль ойнойт. Мунун баары ачык булак куралдары, демек, компаниялардын ичиндеги иштеп чыгуучулар аларга кеңейтүүлөрдү түзө алышат же функцияларды кошо алышат. Бул жумуш көбүнчө Java иштеп чыгууну камтыйт», - деп кошумчалады эксперт. Көрүнүп тургандай, чоң маалыматтарда, ошондой эле нерселердин Интернетинде, машина үйрөнүүдө жана популярдуулугун улантып келе жаткан бир катар башка уячаларда Java бorми жөн эле алмаштырылгыс болот.
«Азыр ар бир компаниянын чоң маалымат пландары бар. Жана бул компаниялардын баары чоң маалымат бизнесине айланат».
Эми Java иштеп чыгуучулары кеңири колдонгон жогоруда айтылган чоң маалымат куралдары жөнүндө бир аз көбүрөөк.
Apache Hadoop
Apache Hadoop чоң маалыматтар үчүн негизги технологиялардын бири болуп саналат жана ал Java тorнде жазылган. Hadoop – бул Apache Software Foundation тарабынан башкарылуучу утorталардын, китепканалардын жана алHowтардын акысыз жана ачык булагы. Башында масштабдуу жана бөлүштүрүлгөн, бирок ишенимдүү эсептөө жана ар кандай маалыматтын чоң көлөмүн сактоо үчүн иштелип чыккан Hadoop табигый түрдө көптөгөн компаниялар үчүн "чоң маалыматтар" инфраструктурасынын борборуна айланууда. Дүйнө жүзү боюнча компаниялар Hadoop таланттарын жигердүү издеп жатышат жана Java бул технологияны өздөштүрүү үчүн зарыл болгон негизги жөндөм. Developers Slashdot айтымында , 2019-жылы көптөгөн ири компаниялар, анын ичинде программисттер үчүн рекорддук маянасы бар JPMorgan Chase, Hadoop World конференциясында Hadoop адистерин жигердүү издеп жүрүшкөн, бирок ал жерде да алар керектүү жөндөмгө ээ жетиштүү эксперттерди таба алышкан эмес. атап айтканда, Hadoop MapReduce тиркемелерин жазуу үчүн программалоо модели жана негизи жөнүндө бул бorм). Бул бул жаатта айлыктар дагы көтөрүлөт дегенди билдирет. Жана алар буга чейин абдан чоң. Атап айтканда, Business Insider Hadoop адисинин орточо чыгымын жылына $103 миң деп эсептейт, ал эми чоң маалымат боюнча адистер үчүн бул көрсөткүч жылына $106 миңди түзөт. Hadoop эксперттерин издеп жаткан менеджерлерди жалдоо Java программасын ийгorктүү ишке орноштуруу үчүн эң маанилүү көндүмдөрдүн бири катары белгилешет. Hadoop көптөн бери колдонулуп келген же IBM, Microsoft жана Oracle сыяктуу көптөгөн ири корпорациялар тарабынан салыштырмалуу жакында эле ишке ашырылган. Учурда Amazon, eBay, Apple, Facebook, General Dynamic жана башка компанияларда Hadoop адистери үчүн көптөгөн кызматтар бар.
"Түтүнсүз от болбогондой эле, азыр чоң маалыматсыз бизнес болбойт."
Apache Spark
Apache Spark - бул Hadoop менен олуттуу атаандашкан дагы бир негизги чоң маалымат платформасы. Ылдамдыгы, ийкемдүүлүгү жана иштеп чыгуучуларга ыңгайлуулугу менен Apache Spark масштабдуу SQL, пакеттик жана агымдык маалыматтар жана машина үйрөнүү үчүн алдыңкы алHow болуп жатат. Чоң маалыматтарды бөлүштүрүлгөн иштетүү үчүн негиз болуп, Apache Spark Hadoop MapReduce алкагына окшош принцип боюнча иштейт жана чоң маалыматтар чөйрөсүндө колдонуу жагынан акырындык менен андан алаканды алып жатат. Spark ар кандай жолдор менен колдонулушу мүмкүн жана Java, ошондой эле Scala, Python жана R сыяктуу бир катар башка программалоо тилдерине шилтемеси бар. Бүгүнкү күндө Spark банктар, телекоммуникация компаниялары, видео оюндарды иштеп чыгуучулар жана жада калса кеңири колдонулат. өкмөттөр. Албетте, Apple, Facebook, IBM жана Microsoft сыяктуу IT гиганттары Apache Sparkти жакшы көрүшөт.
Апачи Махут
Apache Mahout бул Apacheден ачык булактуу Java машина үйрөнүү китепканасы. Mahout так масштабдуу машина үйрөнүү куралы болуп саналат, бир же бир нече машиналарда маалыматтарды иштеп чыгуу мүмкүнчүлүгү бар. Бул машина үйрөнүүнү ишке ашыруу Java тorнде жазылган, кээ бир бөлүктөрү Apache Hadoop боюнча курулган.
Апачи бороону
Apache Storm бөлүштүрүлгөн реалдуу убакыт агымдык эсептөө үчүн негиз болуп саналат. Storm Hadoop маалыматтардын партиялары үчүн жасаганын реалдуу убакытта жасап, чексиз маалыматтардын агымын ишенимдүү иштетүүнү жеңилдетет. Storm ар кандай кезек системасы жана ар кандай маалымат базасы системасы менен интеграцияланат.
Java JFreechart
Java JFreechart - бул Java-да иштелип чыккан ачык булак китепканасы, Java негизиндеги колдонмолордо кеңири диапазонду түзүү үчүн колдонуу үчүн. Чындыгында маалыматтарды визуализациялоо чоң маалыматтарды ийгorктүү талдоо үчүн абдан маанилүү милдет болуп саналат. Чоң маалыматтар чоң көлөмдөгү маалыматтар менен иштөөнү камтыгандыктан, кандайдыр бир тенденцияны аныктоо кыйынга турат жана жөн гана чийки маалыматтарды карап белгилүү бир жыйынтыкка келүү мүмкүн. Бирок, эгерде ошол эле маалыматтар графикте көрсөтүлсө, ал түшүнүктүү болуп калат жана схемаларды табуу жана корреляцияларды аныктоо оңой болот. Java JFreechart чындыгында чоң маалыматтарды талдоо үчүн графиктерди жана диаграммаларды түзүүгө жардам берет.
Deeplearning4j
Deeplearning4j - бул ар кандай нейрондук тармактарды куруу үчүн колдонулган Java китепканасы. Deeplearning4j Java тorнде ишке ашырылган жана Clojure менен шайкеш келген жана Scala тor үчүн API камтыган чөйрөдө иштейт. Deeplearning4j технологиялары чектелген Больцман машинасын, терең ишеним тармагын, терең автоcodeерлорду, ызы-чууну чыпкалоочу стектелген автоcodeерлорду, рекурсивдүү тензордук нейрондук тармакты, word2vec, doc2vec жана GloVeди камтыйт.
"Чоң маалыматтар бизнес үчүн жаңы чийки затка айланууда."
2020-жылдын босогосунда чоң маалыматтар: акыркы тенденциялар
2020-жыл чоң маалыматтардын тез өсүшүнүн жана эволюциясынын дагы бир жылы болушу керек, ар кандай чөйрөлөрдөгү компаниялар жана уюмдар тарабынан чоң маалыматтарды кеңири жайылтуу. Ошондуктан, биз кыскача келерки жылы маанилүү ролду ойной турган чоң маалымат тенденцияларын баса белгилейбиз.
Нерселер Интернети - чоң маалыматтар дагы чоңоюуда
Бул нерселердин Интернети (IoT) бир аз башкача окуя окшойт, бирок андай эмес. IoT "тенденциясын" улантууда, күч алууда жана дүйнө жүзү боюнча жайылууда. Демек, үйлөрдө жана кеңселерде орнотулган “акылдуу” аппараттардын саны да өсүүдө. Ошондуктан, "чоң" маалыматтардын көлөмү гана көбөйөт. Эксперттер белгилегендей, көптөгөн уюмдар буга чейин эле көп маалыматтарга ээ, биринчи кезекте IoT секторунан, алар азырынча колдонууга даяр эмес жана 2020-жылы бул көчкү мындан да чоң болот. Демек, чоң маалымат долбоорлоруна инвестициялар да тездик менен көбөйөт. Эске сала кетсек, IoT да Javaны абдан жакшы көрөт . Ооба, аны ким сүйбөйт?
Санариптик эгиздер
Санариптик эгиздер жакынкы келечектеги дагы бир кызыктуу тенденция болуп саналат, бул нерселер Интернетке да, чоң маалыматтарга да түздөн-түз байланыштуу. Демек, анда Java колдонуу жетиштүү болот. санариптик эгиз деген эмне? Бул реалдуу an objectтин же системанын санариптик сүрөтү. Физикалык түзүлүштүн программалык аналогу интерференция жана чөйрө шарттарында реалдуу an objectтин ички процесстерин, техникалык мүнөздөмөлөрүн жана жүрүм-турумун имитациялоого мүмкүндүк берет. Санариптик эгиздин иштеши параллелдүү иштеген чыныгы түзүлүштөгү көп сандагы сенсорлорсуз мүмкүн эмес. 2020-жылга чейин дүйнөдө миллиарддаган санариптик эгиздерге маалымат берүүчү 20 миллиарддан ашык туташкан сенсорлор болот деп күтүлүүдө. 2020-жылы бул тенденция күч алып, алдыңкы планга чыгышы керек.
Санариптик трансформация акылдуураак болот
Санариптик трансформация бир нече жылдан бери маанилүү тенденция катары айтылып келет. Бирок маселе, эксперттердин айтымында, көптөгөн компаниялар жана топ-менеджерлер бул сөздүн маанисин өтө бүдөмүк түшүнүшкөн. Көптөр үчүн санариптик трансформация пайданын жаңы булактарын түзүү үчүн компания чогулткан маалыматтарды сатуу жолдорун табуу дегенди билдирет. 2020-жылга чейин барган сайын көбүрөөк компаниялар санариптик трансформация бул атаандаштык артыкчылыкка ээ болуу үчүн алардын бизнесинин бардык аспектилерине маалыматтарды туура колдонуу экенин түшүнүп жатышат. Ошондуктан, компаниялар маалыматтарды туура жана аң-сезимдүү колдонуу менен байланышкан долбоорлордун бюджетин көбөйтөт деп күтсөк болот.
"Биз акырындык менен Big Data аягы эмес, башталгыч чекит болгон доорго бара жатабыз."
Жыйынтыктар
Big Data - бул Java иштеп чыгуучусу колдоно ала турган көптөгөн мүмкүнчүлүктөрү бар дагы бир чоң иш чөйрөсү. Нерселердин Интернети сыяктуу эле, бул тармак да өнүгүп жатат жана программисттердин, ошондой эле башка техникалык эксперттердин жетишсиздигине дуушар болууда. Ошондуктан, азыр мындай узун макалаларды окууну токтотуп, Java тorн үйрөнүүнү баштоого убакыт келди!
GO TO FULL VERSION