• turkmen.it.park@mail.ru
  • turkmen.it.park@yandex.ru
  • +993(65) 82-58-74
  • +993(65) 82-56-28
  • Duş-Anna 9:00 - 21:00

Big data

Uly maglumatlar (Big Data) — bu ägirt uly möçberli we dürli görnüşli strukturalanan we strukturalanmadyk maglumatlardyr, şeýle hem maglumaty paýlanan görnüşde seljermäge mümkinçilik berýän maglumatlary işlemegiň usullarydyr. Ykdysadyýetiň we bank ulgamynyň pudaklarynda "Uly maglumatlary" ulanmak bilen işlemek üçin häzirki wagtda öz içine uly maglumatlary seljermegiň prosesleriniň durmuş tapgyrlarynyň fazalary hakyndaky maglumaty alýan ýörite bilimler zerurdyr.Seljerişiň binýatlaýyn we giňeldilen usullary hem-de uly massiwli maglumatlar gorundan zerur maglumatlary gözlemegiň we almagyň tehnikasy hakynda bilimler zerurdyr. Şeýle hem maglumatlary saklamak we seljermek ("open source" - ähliumumy giriş üçin açyk serişdeler) üçin bulutly serwisler hakynda bilimler we uly maglumatlary saklamak, işlemek, wizualizasiýa etmek we seljermek üçin ulanylýan täjirçilik gurallary zerurdyr.

Okadyljak temalaryň atlary

  • Uly maglumatlar we maglumatlary sanlaşdyrmak.

    Big Data bilen işlemegiň aýratynlyklary.

    Uly maglumatlary seljermegiň usullary.

    Data Mining wezipeleri we tehnikalary.

    Data Mining gurallary.

    CRISP-DM, SEMMA usulyýeti.

    Maşyn okuwynyň wezipeleri we ulanylýan ugry.

    Supervised/unsupervised maşyn okuwy.

    Sosial torlaryň we graflaryň nazaryýetini seljerişe giriş.

    Hadoop ulanmak bilen strukturalanmadyk maglumatlaryň seljerişi.

    Hadoop distributiwleriň (Arenadata Hadoop, Cloudera, HortonWorks, MapR) we ulanyşyň mysallarynda maglumatlary seljermegiň gurallarynyň deňeşdirme seljerişi.

    BigData boýunça çözgütleri amala aşyrmak üçin bulutly platformalar (AWS, EMR, Azure).

    Şahsy maglumatlary goramak ulgamynda hukuk düzgünleşdirmesi.

    Şahsy maglumatlary goramak ulgamynda halkara tejribesi.

    Jemleýji test.

  • Big Data meselesine düşünmek.

    Hadoop paýlanan hasaplaýyş ulgamlarynyň ewolýusiýasy.

    Pipelines we Data Lake döretmegiň ýörelgeleri.

    Hadoop serwisler we esasy komponentler.

    YARN serwis - Resource Manager.

    MapReduce giriş. MapReduce komponentleri.

    MapReduce we YARN çäklendirmeleri we parametrleri.

    Hadoop 2/3 distributiwlerini we wersiýalaryny (Horton Works Data Platform, Cloudera Distributed Hadoop, MapR, Arena Data Hadoop) deňeşdirmek: tapawutlar we çäklendirmeler.

    Hadoop bökdençlige garşy durnuklylygy. Federated NameNode. Hadoop bulutda.

    Hadoop. Amazon EMR üçin Cloud-çözgütleri deňeşdirmek.

    Beýleki çözgütler: streaming (DataFlow), NoSQL bilen integrirlemek.

    Bökdençlige garşy durnuklylyk we ýokary elýeterlilik.

    Jemleýji synag.

  • Hadoop Distributed File System.

    HDFS arhitekturasy. HDFS bloklary.

    HDFS bilen işlemegiň esasy komandalary.

    TXT, AVRO, ORC, Parquet, Sequence maglumatlaryny saklamagyň esasy formatlary.

    HDFS maglumatlary import etmek (ýüklemek).

    Hadoop klasteri gurnamak. Başlangyç konfigurasiýany saýlap almak.

    Izolirlenen gurşawda (offline) Hadoop klasterini gurnamak we sazlamak.

    Öçürmek, işletmek, gaýtadan işletmek (Graceful Shutdown).

    Täzelenmeleri dolandyrmak we lokal repozitarini döretmek.

    FIFO scheduler. Sygymlylygy meýilnamalaşdyryjy (Capacity scheduler). Serişdeleriň granulýar dolandyryşy (Fair scheduler). Nobatlary goramak we DRF serişdelerini dominant dolandyrmak.

    Maglumatlaryň replikasiýasy we snapshoting. Name node (HA) ýokary elýeterliligi konfigurirlemek.

    Jemleýji synag.