Java ва Big Data: чаро лоиҳаҳои Big Data наметавонанд бе Java кор кунанд

Дар мақолаҳои худ дар бораи JavaRush мо ҳеҷ гоҳ аз гуфтани он хаста намешавем, ки Ява, ки ба қарибӣ 25-сола мешавад, ҳоло ҷавонии дуюми худро аз сар мегузаронад ва дар ояндаи наздик дурнамои дурахшон дорад. Якчанд сабабҳои ин вуҷуд доранд ва яке аз онҳо ин аст, ки Java забони асосии барномасозӣ дар як қатор чароғҳои тамоюл ва босуръат афзоишёбандаи бозори IT мебошад. Бештари вақт, дар заминаи муҳаббати амиқ ва эҳсосоти нарм нисбат ба Java, Интернети ашё (IoT) ва додаҳои калон, инчунин иктишофи тиҷорӣ (бизнес иктишофӣ, BI) ва Real Time Analytics (таҳлил дар вақти воқеӣ) зикр карда мешаванд. Мо ба наздикӣ робитаи байни Java ва Интернети ашёро баррасӣ кардем ва дар бораи он сӯҳбат кардем, ки чӣ гуна таҳиягари Java метавонад худ ва малакаҳои худро ба ин чароғ “мувофиқ” кунад. Ҳоло вақти он расидааст, ки ба минтақаи дуввуми супермодел диққат диҳед, ки ин дуруст аст - Java-ро дӯст медорад ва ҳаётро бе он тасаввур карда наметавонад. Ҳамин тавр, имрӯз мо маълумоти калонро таҳлил карда истодаем: чаро Java ва аз ин рӯ codeерҳои содиқи он дар ин чароғ талабот зиёд аст, чӣ гуна маҳз ин забон дар лоиҳаҳои дорои "маълумоти калон" истифода мешавад, чиро бояд омӯхт, то маълумоти зарурӣ дошта бошад. малакаҳо барои шуғл ва кор дар ин чароғ ва кадом тамоюлҳо барои додаҳои калон ҳоло, дар арафаи соли 2020 мувофиқанд. Ва дар байни ин ҳама, инҳоянд андешаҳои коршиносони сатҳи ҷаҳонӣ дар бораи додаҳои калон, ки пас аз он ҳатто Гомер Симпсон мехоҳад чӣ гуна кор карданро бо "маълумоти калон" ёд гирад.

«Ман такрор мекунам, ки дар 10 соли оянда духтарон на варзишгарону биржаҳо, балки бачаҳоеро, ки бо маълумот ва омор кор мекунанд, таъқиб мекунанд. Ва ман шӯхӣ намекунам."

Big Data сайёраро забт мекунад

Аммо аввал, каме дар бораи маълумоти калон ва чаро ин чароғ барои сохтани мансаб дар он ин қадар умедбахш аст. Хулоса, маълумоти калон ногузир ва устуворона ва муҳимтар аз ҳама хеле зуд ба равандҳои тиҷоратии ширкатҳо дар саросари ҷаҳон ворид мешавад ва онҳо дар навбати худ маҷбур мешаванд, ки мутахассисонро барои кор бо додаҳо ҷустуҷӯ кунанд (инҳо на танҳо барномасозон, албатта ), онхоро бо маоши баланд ва дигар неъматхо ба худ чалб мекунад. Тибқи маълумоти Forbes, истифодаи маълумоти калон дар корхонаҳо аз 17% дар соли 2015 то 59% дар соли 2018 афзоиш ёфтааст . Big Data ба бахшҳои гуногуни иқтисодиёт, аз ҷумла фурӯш, маркетинг, тадқиқот ва рушд, логистика ва ҳама чиз босуръат паҳн мешавад. Тибқи як пажӯҳиши IBM, шумораи ҷойҳои корӣ барои мутахассисони ин соҳа танҳо дар Иёлоти Муттаҳида то соли 2020 аз 2,7 миллион зиёд хоҳад буд. Умедвор? Ба ҳар ҳол мебуд.

Маълумоти калон ва Java

Ва ҳоло дар бораи он, ки чаро Big Data ва Java ин қадар умумӣ доранд. Гап дар он аст, ки бисёр асбобҳои асосӣ барои додаҳои калон дар Java навишта шудаанд. Гузашта аз ин, қариб ҳамаи ин воситаҳо лоиҳаҳои кушодаасос мебошанд. Ин маънои онро дорад, ки онҳо барои ҳама дастрасанд ва бо ҳамин сабаб онҳо аз ҷониби бузургтарин ширкатҳои IT дар саросари ҷаҳон фаъолона истифода мешаванд. “Ба андозаи зиёд, Big Data Java аст. Hadoop ва як қисми зиёди экосистемаи Hadoop дар Java навишта шудаанд. Интерфейси MapReduce барои Hadoop инчунин Java мебошад. Ҳамин тавр, барои як таҳиягари Java гузаштан ба маълумоти калон тавассути эҷоди ҳалли Java, ки дар болои Hadoop кор мекунанд, хеле осон хоҳад буд. Инчунин китобхонаҳои Java мавҷуданд, ба монанди Каскад, ки корро осон мекунанд. Java инчунин барои ислоҳи хатогиҳо хеле муфид аст, ҳатто агар шумо чизе ба монанди Hive-ро истифода баред [Apache Hive як системаи идоракунии пойгоҳи додаҳои Hadoop аст] "гуфт Марсин Межран, олими маълумот ва ноиби президенти муҳандисии додаҳо дар ширкати Eight. "Ғайр аз Hadoop, Storm дар Java навишта шудааст ва Spark (яъне ояндаи эҳтимолии Hadoop) дар Scala навишта шудааст (ки дар навбати худ дар JVM кор мекунад ва Spark интерфейси Java дорад). Тавре ки шумо мебинед, Java дар маълумоти калон нақши бузург мебозад. Инҳо ҳама асбобҳои кушодаасос мебошанд, ки ин маънои онро дорад, ки таҳиягарон дар дохor ширкатҳо метавонанд барои онҳо васеъшавӣ эҷод кунанд ё функсияҳоро илова кунанд. Ин кор аксар вақт таҳияи Java-ро дар бар мегирад ”гуфт коршинос. Тавре ки мо мебинем, дар маълумоти калон, инчунин дар Интернети ашё, омӯзиши мошинҳо ва як қатор дигар чароғҳои дигар, ки маъруфиятро идома медиҳанд, дониши Java ивазнашаванда хоҳад буд.

"Ҳар як ширкат ҳоло нақшаҳои бузурги маълумот дорад. Ва ҳамаи ин ширкатҳо дар тиҷорати бузурги додаҳо хотима хоҳанд ёфт."

Ва ҳоло каме бештар дар бораи абзорҳои бузурги додаҳои дар боло зикршуда, ки аз ҷониби таҳиягарони Java васеъ истифода мешаванд.

Apache Hadoop

Apache Hadoop яке аз технологияҳои бунёдии додаҳои калон буда, дар Java навишта шудааст. Hadoop як маҷмӯи ройгон ва кушодаасос аз утorтҳо, китобхонаҳо ва чаҳорчӯбаест, ки аз ҷониби Фонди нармафзори Apache идора карда мешавад. Дар ибтидо барои ҳисоббарории миқёспазир ва тақсимшаванда, вале боэътимод ва нигоҳдории миқдори зиёди иттилооти гуногун тарҳрезӣ шуда буд, Hadoop табиатан ба маркази инфрасохтори "маълумоти калон" барои бисёр ширкатҳо табдил меёбад. Ширкатҳо дар саросари ҷаҳон фаъолона дар ҷустуҷӯи истеъдодҳои Hadoop ҳастанд ва Java маҳорати калидӣ барои азхудкунии ин технология аст. Ба гуфтаи Developers Slashdot, дар соли 2019, бисёре аз ширкатҳои бузург, аз ҷумла JPMorgan Chase бо маоши рекордии худ барои барномасозон, фаъолона дар конфронси Hadoop World мутахассисони Hadoop ҷустуҷӯ мекарданд, аммо ҳатто дар он ҷо онҳо коршиносони кофии дорои малакаҳои заруриро пайдо карда натавонистанд (дар махсусан, ин дониш дар бораи модели барномасозӣ ва чаҳорчӯба барои навиштани барномаҳои Hadoop MapReduce). Ин маънои онро дорад, ки маош дар ин соҳа боз ҳам зиёд мешавад. Ва онҳо аллакай хеле калонанд. Аз ҷумла, Business Insider хароҷоти миёнаи як мутахассиси Hadoop-ро дар як сол 103 ҳазор доллар арзёбӣ мекунад, дар ҳоле ки барои мутахассисони маълумоти калон ин рақам дар як сол 106 ҳазор долларро ташкил медиҳад. Менеҷероне, ки коршиносони Hadoop меҷӯянд, Java-ро ҳамчун яке аз малакаҳои муҳимтарин барои шуғли муваффақ таъкид мекунанд. Hadoop муддати тӯлонӣ истифода мешуд ва ё нисбатан ба наздикӣ аз ҷониби бисёр корпоратсияҳои бузург, аз ҷумла IBM, Microsoft ва Oracle татбиқ карда шудааст. Дар ҳоли ҳозир Amazon, eBay, Apple, Facebook, General Dynamic ва дигар ширкатҳо низ барои мутахассисони Hadoop ҷойҳои зиёде доранд.

"Чунон ки оташе бе дуд вуҷуд надорад, ҳоло ҳам тиҷорат бидуни маълумоти бузург вуҷуд надорад."

Apache Spark

Apache Spark боз як платформаи калидии бузурги додаҳост, ки бо Hadoop ба таври ҷиддӣ рақобат мекунад. Бо суръат, чандирӣ ва дӯстона барои таҳиягарон, Apache Spark ба чаҳорчӯбаи пешбар барои SQL-миқёси калон, маълумотҳои партия ва ҷараён ва омӯзиши мошин табдил меёбад. Apache Spark як чаҳорчӯбаи коркарди паҳншудаи додаҳои калон буда, дар принсипи шабеҳ ба чаҳорчӯбаи Hadoop MapReduce кор мекунад ва тадриҷан хурморо аз он дар робита ба истифода дар соҳаи додаҳои калон мегирад. Spark-ро бо роҳҳои гуногун истифода бурдан мумкин аст ва ба Java, инчунин як қатор забонҳои дигари барномасозӣ, аз қабor Scala, Python ва R пайванд дорад. Имрӯз, Spark аз ҷониби бонкҳо, ширкатҳои телекоммуникатсионӣ, таҳиягарони бозиҳои видеоӣ ва ҳатто ба таври васеъ истифода мешавад. хукуматхо. Албатта, бузургҷуссаҳои IT ба монанди Apple, Facebook, IBM ва Microsoft Apache Spark-ро дӯст медоранд.

Апачи Махут

Apache Mahout китобхонаи омӯзишии Java-и кушодаи Apache мебошад. Mahout маҳз як воситаи миқёспазири омӯзиши мошинсозӣ бо қобorяти коркарди маълумот дар як ё якчанд мошин мебошад. Амалисозии ин омӯзиши мошинсозӣ дар Java навишта шудааст, баъзе қисмҳо дар Apache Hadoop сохта шудаанд.

Тӯфони Апачи

Apache Storm як чаҳорчӯба барои ҳисоббарории ҷараёнҳои воқеӣ дар вақти тақсимшуда мебошад. Storm коркарди боэътимоди ҷараёни номаҳдуди маълумотро осон мекунад ва дар вақти воқеӣ он чизеро, ки Hadoop барои маҷмӯи додаҳо мекунад, иҷро мекунад. Storm бо ҳама гуна системаи навбатдорӣ ва ҳама гуна системаи пойгоҳи додаҳо муттаҳид мешавад.

Java JFreechart

Java JFreechart китобхонаи кушодаасос аст, ки дар Java барои истифода дар замимаҳои Java асосёфта барои сохтани доираи васеи диаграммаҳо таҳия шудааст. Далели он аст, ки визуализатсияи додаҳо вазифаи хеле муҳим барои таҳлor бомуваффақияти додаҳои калон аст. Азбаски маълумоти калон кор бо миқдори зиёди маълумотро дар бар мегирад, муайян кардани ҳама гуна тамоюл душвор буда метавонад ва танҳо бо дидани маълумоти хом ба хулосаҳои муайяне меояд. Аммо, агар ҳамон як маълумот дар график нишон дода шавад, он фаҳмотар мешавад ва пайдо кардани намунаҳо ва муайян кардани коррелятсияҳо осонтар мешавад. Java JFreechart воқеан дар эҷоди графикҳо ва диаграммаҳо барои таҳлor додаҳои калон кӯмак мекунад.

Омузиши амиқ 4j

Deeplearning4j китобхонаи Java мебошад, ки барои сохтани намудҳои гуногуни шабакаҳои нейрон истифода мешавад. Deeplearning4j дар Java амалӣ карда мешавад ва дар муҳите кор мекунад, ки бо Clojure мувофиқ аст ва API барои забони Scala дорад. Технологияҳои Deeplearning4j татбиқи мошини маҳдуди Болтзман, шабакаи амиқи эътиқод, автоинcodeери амиқ, автоматиcodeери stacked бо филтркунии садо, шабакаи нейронҳои рекурсивии тензор, word2vec, doc2vec ва GloVe-ро дар бар мегиранд.

"Маълумоти калон ба ашёи нави бизнес табдил меёбад."

Маълумоти калон дар остонаи соли 2020: тамоюлҳои охирин

Соли 2020 бояд соли дигари рушди босуръат ва эволютсияи маълумоти калон бо қабули густурдаи додаҳои калон аз ҷониби ширкатҳо ва созмонҳо дар соҳаҳои гуногун бошад. Аз ин рӯ, мо ба таври мухтасар тамоюлҳои бузурги додаҳоро, ки бояд дар соли оянда нақши муҳим бозанд, қайд хоҳем кард.

Интернети чизҳо - маълумоти калон боз ҳам калонтар мешавад

Чунин ба назар мерасад, ки Интернети ашё (IoT) як ҳикояи каме дигар аст, аммо ин тавр нест. IoT "тамоюли" идома дорад, суръат мегирад ва дар саросари ҷаҳон паҳн мешавад. Аз ин рӯ, шумораи дастгоҳҳои "ақлӣ" дар хонаҳо ва офисҳо насб карда мешаванд, ки мувофиқи он бояд ҳама гуна маълумотро дар ҷои зарурӣ интиқол медиҳанд. Аз ин рӯ, ҳаҷми маълумоти "калон" танҳо афзоиш хоҳад ёфт. Тавре коршиносон қайд мекунанд, бисёр ташкилотҳо аллакай маълумоти зиёде доранд, пеш аз ҳама аз бахши IoT, ки онҳо ҳанӯз барои истифода чандон омода нестанд ва дар соли 2020 ин тарма боз ҳам бештар хоҳад шуд. Дар натиҷа, сармоягузорӣ ба лоиҳаҳои бузурги додаҳо низ босуръат меафзояд. Хуб, биёед ба шумо хотиррасон кунем, ки IoT низ Java-ро хеле дӯст медорад . Хуб, кӣ ӯро дӯст намедорад?

Дугоникҳои рақамӣ

Дугоникҳои рақамӣ боз як тамоюли ҷолиби ояндаи наздик мебошанд, ки мустақиман ҳам ба Интернети ашё ва ҳам ба додаҳои калон алоқаманданд. Ва аз ин рӯ, истифодаи Java дар он беш аз кофӣ хоҳад буд. Дугоникҳои рақамӣ чист? Ин тасвири рақамии an object ё системаи воқеӣ аст. Аналоги нармафзори дастгоҳи физикӣ ба шумо имкон медиҳад, ки равандҳои дохилӣ, хусусиятҳои техникӣ ва рафтори an objectи воқеӣ дар шароити дахолат ва муҳити атрофро тақлид кунед. Фаъолияти дугоникҳои рақамӣ бидуни шумораи зиёди сенсорҳо дар дастгоҳи воқеӣ, ки дар баробари параллел кор мекунанд, ғайриимкон аст. Интизор меравад, ки то соли 2020 дар ҷаҳон беш аз 20 миллиард сенсорҳои пайвастшуда мавҷуданд, ки иттилоотро ба миллиардҳо дугоникҳои рақамӣ интиқол медиҳанд. Дар соли 2020 ин тамоюл бояд суръат гирифта, ба майдон ояд.

Табдилдиҳии рақамӣ оқилонатар мешавад

Трансформатсияи рақамӣ ҳамчун тамоюли муҳим дар тӯли чанд сол аст. Аммо мушкилот дар он аст, ки коршиносон мегӯянд, ки бисёре аз ширкатҳо ва менеҷерони олӣ дар бораи он ки ин ибора ҳатто чӣ маъно дорад, хеле норавшан дарк мекарданд. Барои бисёриҳо, трансформатсияи рақамӣ маънои дарёфти роҳҳои фурӯши маълумотеро дорад, ки ширкат барои эҷоди манбаъҳои нави фоида ҷамъоварӣ мекунад. То соли 2020, бештари ширкатҳо дарк мекунанд, ки трансформатсияи рақамӣ истифодаи дурусти маълумот дар ҳама ҷанбаҳои тиҷорати худ барои эҷоди бартарии рақобат аст. Аз ин рӯ, мо метавонем интизор шавем, ки ширкатҳо буҷаи лоиҳаҳои марбут ба истифодаи дуруст ва бошууронаи маълумотро зиёд мекунанд.

"Мо оҳиста-оҳиста ба сӯи даврае ҳаракат карда истодаем, ки дар он Big Data нуқтаи ибтидоӣ аст, на интиҳо."

Натиҷаҳо

Big Data боз як соҳаи воқеан бузурги фаъолият бо имкониятҳои зиёдест, ки дар он таҳиягари Java метавонад истифода барад. Мисли Интернети ашё, ин соҳа рушд мекунад ва норасоии шадиди барномасозон ва дигар коршиносони техникӣ дорад. Аз ин рӯ, ҳоло вақти он расидааст, ки хондани чунин мақолаҳои дарозро бас кунед ва ба омӯзиши Java оғоз кунед!