Data mining. Kepiye carane ngowahi data dadi emas lan kenapa nggunakake Jawa kanggo iki?

Ing publikasi ing JavaRush, kita nyoba mriksa profesi, niche lan spesialisasi ing bidang IT kanthi rutin. Kaping pisanan, sing aktif nggunakake basa pemrograman Java lan platform lan solusi sing ditulis ing kono. Dina iki kita bakal ngomong babagan Data mining ("data mining", "data mining", "in-depth data analysis" utawa mung "data mining" ing interpretasi Rusian). "Percoyo marang Gusti Pangeran. Kabeh liyane mbutuhake data sing bisa dipercaya. William Edwards Deming, ilmuwan lan ahli statistik Amerika.

Apa itu Data mining?

Data mining minangka jeneng kolektif sing digunakake kanggo njlèntrèhaké sawetara cara kanggo nyinaoni lan nganalisa volume data sing gedhé kanggo ngenali pola lan aturan ing kono. Penggalian data dianggep minangka disiplin sing béda ing bidang ilmu data. Yen kita ngomong babagan panggunaan kawruh lan pangembangan sing nyebar ing wilayah iki, perusahaan paling kerep nggunakake Data mining kanggo ngekstrak informasi sing migunani saka data. Kanthi nggunakake solusi piranti lunak kanggo nemokake pola ing volume data sing akeh, perusahaan bisa nyinaoni prilaku lan kabiasaan konsumen kanggo ngembangake solusi pemasaran sing luwih efektif, nambah dodolan lan nyuda biaya. Kajaba iku, teknik data mining digunakake kanggo mbangun model machine learning (ML), sing digunakake ing aplikasi intelijen buatan modern kayata algoritma mesin telusur lan sistem rekomendasi, contone. "Sampeyan bisa duwe data nanging ora informasi, nanging ora ana informasi tanpa data." Daniel Keys Moran, ahli program lan panulis.

Kepiye Penambangan Data beda karo Big Data?

Iku uga bakal migunani kanggo langsung njlentrehake carane data mining minangka konsep beda saka Big Data (kanthi cara, kita duwe artikel kapisah ing nggunakake Jawa ing lapangan Big Data ). Kanthi gampang, istilah Big data nuduhake kabeh aspek saka volume gedhe saka macem-macem data, kalebu data terstruktur lan ora terstruktur, koleksi, panyimpenan, klasifikasi, lsp. Dene Data mining nuduhake mung kanggo nyilem menyang data kanggo ngekstrak wawasan, pola lan persamaan, lan informasi liyane saka data saka ukuran apa wae (gedhe lan cilik). Mangkono, loro konsep ana hubungane karo data lan umume tumpang tindih, nanging Data mining babagan nggunakake informasi sing diklumpukake kanggo tujuan tartamtu. "Tanpa analisis data jero, perusahaan ora weruh lan krungu apa-apa; online, dheweke ora duwe daya lan bingung kaya kidang sing mlaku ing dalan gedhe." Geoffrey Moore, panulis lan ahli teori manajemen.

Area aplikasi Data mining

Analisis data sing jero, kaya sing sampeyan ngerteni, digunakake kanthi wiyar. Ayo goleki kanthi cepet babagan industri lan area kegiatan sing paling asring digunakake.

• Pemasaran lan target target kelompok konsumen ing eceran.

  Luwih kerep tinimbang liyane, data mining digunakake dening pengecer kanggo luwih ngerti kabutuhan pelanggan. Analisis data ngidini wong-wong mau bisa mbagi konsumen dadi klompok kanthi luwih akurat lan ngatur promosi kanggo dheweke.

  Contone, supermarket Grosir asring nawakake pelanggan kertu kasetyan, sing mbukak diskon sing ora kasedhiya kanggo wong liya. Kanthi bantuan kertu kasebut, pengecer ngumpulake data babagan apa sing dituku dening klompok konsumen tartamtu. Aplikasi analisis jero kanggo data iki ngidini sampeyan sinau babagan kabiasaan lan pilihane, nyesuekake macem-macem lan promosi kanggo njupuk informasi kasebut.

• Manajemen risiko kredit lan riwayat kredit ing bank.

  Bank-bank ngembangake lan ngetrapake model data mining kanggo prédhiksi kemampuan peminjam kanggo njupuk lan mbayar utang. Nggunakake macem-macem jinis data demografi lan pribadhi saka peminjam, model kasebut kanthi otomatis nemtokake tingkat bunga gumantung saka tingkat risiko saben klien kanthi individu.

• Ndeteksi lan nglawan penipuan finansial.

  Organisasi finansial nggunakake Data mining kanggo ndeteksi lan nyegah transaksi penipuan. Wangun analisis iki ditrapake kanggo kabeh transaksi, lan asring konsumen ora ngerti. Contone, nelusuri biaya reguler pelanggan bank bisa kanthi otomatis ngenali pembayaran sing curiga lan langsung nundha eksekusi nganti pangguna konfirmasi tuku. Mangkono, Data mining digunakake kanggo nglindhungi konsumen saka macem-macem jinis scammers.

• Analisis sentimen ing sosiologi.

  Analisis sentimen saka data media sosial uga minangka aplikasi umum data mining, nggunakake teknik sing diarani text mining. Bisa digunakake kanggo ngerteni kepiye klompok wong tartamtu babagan topik tartamtu. Iki ditindakake kanthi nggunakake analisis data otomatis saka jaringan sosial utawa sumber umum liyane.

• Bioinformation ing kesehatan.

  Ing obat, model data mining digunakake kanggo prédhiksi kemungkinan pasien ngalami macem-macem penyakit adhedhasar faktor risiko. Kanggo nindakake iki, data demografi, kulawarga lan genetik dikumpulake lan dianalisis. Ing negara-negara berkembang kanthi populasi akeh, model kasebut bubar diwiwiti kanggo diagnosa pasien lan menehi prioritas perawatan medis sadurunge dokter teka lan pemeriksaan langsung.

"Yen sampeyan sinau data kasebut kanthi teliti, sampeyan bisa nemokake pesen saka Gusti Allah." Scott Adams, panulis, humoris

Data mining lan Jawa

Minangka sampeyan kudu ngerti saka konteks, ing bidang data mining, kaya ing papan liya ing Big data , Jawa minangka salah sawijining basa pamrograman utama. Mula, kita bakal nggawe ringkesan ringkes babagan piranti utama kanggo data mining ing Jawa.

• RapidMiner

  RapidMiner minangka platform pertambangan data terbuka sing ditulis ing basa Jawa. Salah sawijining solusi analitik prediktif paling apik sing kasedhiya, kanthi kemampuan nggawe lingkungan terpadu kanggo sinau jero, pertambangan teks, lan pembelajaran mesin. Akeh organisasi nggunakake kanggo analisis data sing luwih jero. RapidMiner bisa digunakake ing server lokal lan ing awan.

• Apache Mahout

  Apache Mahout minangka perpustakaan pembelajaran mesin Java open source saka Apache. Mahout minangka alat sinau mesin sing bisa diukur kanthi kemampuan kanggo ngolah data ing siji utawa luwih mesin. Implementasi machine learning iki ditulis ing Jawa, sawetara bagéan dibangun ing Apache Hadoop.

• MikroStrategi

  MicroStrategy minangka platform piranti lunak intelijen bisnis lan data analytics sing ndhukung kabeh model data mining. Thanks kanggo macem-macem gateway proprietary lan driver, platform bisa nyambung menyang sumber daya perusahaan lan nganalisa data. MicroStrategy unggul kanggo ngowahi data kompleks dadi visualisasi sing disederhanakake sing bisa digunakake kanggo macem-macem tujuan.

• Paket Data Mining Jawa

  Java Data Mining Package minangka perpustakaan Java open source kanggo data mining lan machine learning. Iki nggampangake akses menyang sumber data lan algoritma pembelajaran mesin lan nyedhiyakake modul visualisasi. JDMP kalebu sawetara algoritma lan alat, uga antarmuka menyang machine learning lan paket data mining liyane (kayata LibLinear, Elasticsearch, LibSVM, Mallet, Lucene, Octave lan liya-liyane).

• WEKA Machine Learning Suite

  The Waikato Environment for Knowledge Analysis (WEKA) Machine Learning Suite minangka dhaptar algoritma mbukak sing digunakake kanggo ngembangake metode pembelajaran mesin. Kabeh algoritma WEKA dicocogake kanggo machine learning lan data mining. WEKA Machine Learning Suite saiki akeh digunakake ing lingkungan bisnis, nyedhiyakake perusahaan analisis data sing disederhanakake lan analitik prediktif.

"Dunia saiki kebak data, lan amarga iki, kita bisa ndeleng konsumen kanthi luwih jelas." Max Levchin, pendiri PayPal

Carane data ditambang

Proses data mining sing ditampa umum dumadi saka enem langkah.

• Nemtokake tujuan bisnis.

  Pisanan, sampeyan kudu ngrumusake tujuan bisnis sakabèhé saka proyek kasebut lan ngerti carane data mining bakal mbantu nggayuh. Ing tahap iki, rencana kudu dikembangake sing kalebu garis wektu, tumindak lan tugas peran.

• Pangertosan data.

  Ing tahap kapindho, data sing dibutuhake dikumpulake saka macem-macem sumber. Piranti visualisasi asring digunakake kanggo mriksa sifat data kanggo mesthekake mbantu nggayuh tujuan bisnis. Ing tahap iki lan sabanjure, alat Java paling kerep digunakake lan, mulane, kualifikasi programmer Java dibutuhake.

Persiapan data.

Data kasebut banjur di resiki lan ditambah kanggo mesthekake yen array wis siyap kanggo ditambang. Gumantung saka volume data sing dianalisis lan jumlah sumber data, pangolahan bisa mbutuhake wektu sing akeh. Mulane, sistem manajemen basis data modern (DBMS) digunakake kanggo pangolahan, sing nyepetake proses analisis sing jero.

• Pemodelan data.

  Ing tahap iki, alat khusus lan model matematika ditrapake kanggo data, sing ndadekake bisa nemokake pola kasebut.

• sasmita.

  Asil kasebut banjur dievaluasi lan dibandhingake karo tujuan bisnis kanggo nemtokake manawa data kasebut bisa ditindakake.

• Penyebaran.

  Inggih, ing tahap pungkasan, data sing dipikolehi minangka asil saka langkah-langkah sing diterangake ing ndhuwur digabungake menyang operasi bisnis. Macem-macem platform intelijen bisnis asring digunakake minangka alat kanggo ngetrapake informasi sing dipikolehi.

"Data mining minangka skill sing dibutuhake meh ing endi wae. Sinau lan sampeyan bakal dikarepake sacara universal. John Elder, pangadeg perusahaan analytics Elder Research

Gaji spesialis Data mining

Minangka sampeyan kudu ngerti saka kabeh kasebut ing ndhuwur, data mining banget, banget dikarepake ing pasar, lan mulane dikarepake kanggo spesialis ing lapangan iki tetep terus-terusan dhuwur. Mula, pungkasane, ayo goleki sepira regane spesialis pertambangan Data. Ing AS, gaji penggalian data rata-rata saka kira-kira $44.000 saben taun kanggo analis data nganti kira-kira $141.000 saben taun kanggo spesialis pembelajaran mesin, miturut situs recruiting Indeed . Sumber daya PayScale nglaporake manawa gaji rata-rata spesialis data mining ing Amerika Serikat yaiku $60 ewu saben taun. Ing Rusia, miturut data iki , Pakar pertambangan data entuk saka 50 ewu rubel nganti 180 ewu rubel saben sasi. Kanggo Ukraina lan Belarus, kita ora bisa nemokake informasi saiki babagan gaji ing wilayah iki, nanging sawise sinau sawetara lowongan mbukak, kita bisa nyimpulake yen angka kasebut ora beda banget karo Rusia lan kisaran rata-rata, saka $ 1 ewu nganti 2 - 3 ewu saben taun.