全部 新聞動(dòng)態(tài) 技術(shù)文章 常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    在數(shù)據(jù)處理中哪些場(chǎng)景可以使用Spark？

    在數(shù)據(jù)科學(xué)應(yīng)用中，數(shù)據(jù)工程師可以利用Spark進(jìn)行數(shù)據(jù)分析與建模，由于Spark具有良好的易用性，數(shù)據(jù)工程師只需要具備一定的SQL語(yǔ)言基礎(chǔ)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等方面的經(jīng)驗(yàn)，以及使用Python、Matlab或者R語(yǔ)言的基礎(chǔ)編程能力，就可以使用Spark進(jìn)行上述工作。查看全文>>

    技術(shù)文章2021-03-12 |黑馬程序員 |Spark,大數(shù)據(jù),數(shù)據(jù)處理
  • 

    Watch機(jī)制的通知狀態(tài)和事件類(lèi)型

    同一個(gè)事件類(lèi)型在不同的連接狀態(tài)中代表的含義有所不同，當(dāng)客戶(hù)端斷開(kāi)連接，這時(shí)客戶(hù)端和服務(wù)器的連接就是Disconnected狀態(tài)，說(shuō)明連接失敗；當(dāng)客戶(hù)端和服務(wù)器的某一個(gè)節(jié)點(diǎn)建立連接，并完成一次version、zxid的同步，這時(shí)客戶(hù)端和服務(wù)器的連接狀態(tài)就是SyncConnected，說(shuō)明連接成功；查看全文>>

    技術(shù)文章2021-03-11 |黑馬程序員 |Watch機(jī)制的通知狀態(tài)和事件類(lèi)型
  • 

    Hadoop中的Sequence File文件是什么？【大數(shù)據(jù)面試題】

    Hadoop可以存儲(chǔ)多種文件格式。在存儲(chǔ)結(jié)構(gòu)上，SequenceFile主要由一個(gè)Header后跟多條Record組成，Header主要包含了Key classname，value classname，存儲(chǔ)壓縮算法，用戶(hù)自定義元數(shù)據(jù)等信息查看全文>>

    技術(shù)文章2021-03-11 |黑馬程序員 |Hadoop,Sequence File文件
  • 

    Hadoop生態(tài)體系有哪些子系統(tǒng)？

    隨著Hadoop的不斷發(fā)展，Hadoop生態(tài)體系越來(lái)越完善，現(xiàn)如今已經(jīng)發(fā)展成一個(gè)龐大的生態(tài)體系，Hadoop生態(tài)體系包含了很多子系統(tǒng)，下面介紹一些常見(jiàn)的子系統(tǒng)，具體如下：查看全文>>

    技術(shù)文章2021-03-11 |黑馬程序員 |Hadoop,Hadoop生態(tài)體系
  • 

    Scala的方法和函數(shù)講解【黑馬程序員】

    在Scala中，它和Java一樣也是擁有方法和函數(shù)。Scala的方法是類(lèi)的一部分，而函數(shù)是一個(gè)對(duì)象可以賦值給一個(gè)變量。換句話來(lái)說(shuō)，在類(lèi)中定義的函數(shù)即是方法。查看全文>>

    技術(shù)文章2021-03-08 |黑馬程序員 |Scala的方法和函數(shù)
  • 

    RDD數(shù)據(jù)丟失后如何恢復(fù)？RDD容錯(cuò)機(jī)制介紹

    對(duì)于迭代式計(jì)算和交互式數(shù)據(jù)挖掘，RDD可以將中間計(jì)算的數(shù)據(jù)結(jié)果保存在內(nèi)存中，當(dāng)Spark集群中的某一個(gè)節(jié)點(diǎn)由于宕機(jī)導(dǎo)致數(shù)據(jù)丟失，就可以通過(guò)Spark中的RDD進(jìn)行容錯(cuò)恢復(fù)已經(jīng)丟失的數(shù)據(jù)。RDD提供了兩種故障恢復(fù)的方式，分別是血統(tǒng)（Lineage）方式和設(shè)置檢查點(diǎn)（checkpoint）方式。下面，我們就來(lái)介紹一下這兩種方式。查看全文>>

    技術(shù)文章2021-03-05 |黑馬程序員 |RDD，操作,spark,RDD容錯(cuò)機(jī)制
  << < 1 2 3 4 5 6 7 8 9 10 ...38 > >>