1. hadoop 這個package org.apache.hadoop.metrics2 具體作用
:感覺像是許可權問題,使用root用戶賦予當前用戶針對hadoop目錄所有的許可權,以及關閉hadoop的許可權(在hdfs-site.xml中添加 dfs.permissions false )
2. org.apache.hadoop.hdfs.server.namenode.namenode在哪個目錄
在hdfs上傳文件時發生了這個異常,導致上傳失敗。google了一把,有人反饋跟dfs.datanode.max.xcievers參數到達上內限有關。
這個是容datanode處理請求的任務上限,默認為256,集群上面配置為2048.於是去所有datanode上面掃了一下log,發現果然出現了IOE!
3. Apache,CDH和Cloudera三者有什麼區別
親,很高興為您解答,
Hortonworks Hadoop區別於其他的Hadoop發行版(如Cloudera)的根本就在於,Hortonworks的產品均是百分之專百開源。
Cloudera有免屬費版和企業版,企業版只有試用期。
apache hadoop則是原生的hadoop。
目前在中國流行的是apache hadoop,Cloudera CDH,當然Hortonworks也有用的
Apache Ambari是一個基於web的工具,用於配置、管理和監視Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapRece、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同樣還提供了集群狀況儀表盤,比如heatmaps和查看MapRece、Pig、Hive應用程序的能力,以友好的用戶界面對它們的性能特性進行診斷。希望能幫助到您,望採納!
4. 怎麼找到org.apache.hadoop.hdfs.protocol.fsconstants
從日誌異常來看,似乎是應該發往NameNode的RPC請求被錯誤發送給JobTracker了,建議還是檢查一下ip埠配置。
5. 有大神知道org.apache.hadoop.hive.ql.metadata.HiveStorageHandler這個類的一些信息嗎
:樓上說的不對,HBASE通過hive metastore與hive連接。所以存在兼容問題。去官網查吧 但是你這個情況貌似不是兼容問題。而是 1.網路問題。2.schema命名問題。
6. hadoop 2.6 org.apache.hadoop.maprece 在哪個jar包里
hadoop-2.2.6\share\hadoop\maprece
7. 請告訴我Apache-Hadoop的准確官方讀音
Apache 英 [əˈpætʃi] 美 [ə'pætʃɪ]
Hadoop沒有官方的發音,通常都讀作[h∧:p]
Hadoop是一個由Apache基金會所開發的分布式系統基回礎架構。用戶可以在答不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop的框架最核心的設計就是:HDFS和MapRece。HDFS為海量的數據提供了存儲,則MapRece為海量的數據提供了計算
8. hadoop中執行wordcount在rece階段時出現org.apache.hadoop.ipc.RemoteException
有可能Configured Capacity也就是datanode 沒用分配容量
[root@dev9106 bin]# ./hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
解決方法:
1. 查看你的文件系統
[root@dev9106 /]# df -hl
文件系統 容量 已用 可用 已用% 掛載點
/dev/sda3 1.9G 1.6G 302M 84% /
/dev/sda8 845G 47G 756G 6% /home
/dev/sda7 5.7G 147M 5.3G 3% /tmp
/dev/sda6 9.5G 4.0G 5.1G 45% /usr
/dev/sda5 9.5G 273M 8.8G 3% /var
/dev/sda1 190M 15M 167M 8% /boot
tmpfs 7.8G 0 7.8G 0% /dev/shm
2. 修改文件Hadoop conf/core-site.xml 中hadoop.tmp.dir的值
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/dhfs/tmp</value>
</property>
</configuration>
3. 停止hadoop服務,重新格式化namenode
4.重啟服務
5.Ok
9. Apache hadoop是什麼軟體
"Hadoop是一個由來Apache基金會所開發源的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。(大講台—國內首家it在線教育混合式自適應學習平台)
[1] Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)文件系統中的數據。
Hadoop的框架最核心的設計就是:HDFS和MapRece。HDFS為海量的數據提供了存儲,則MapRece為海量的數據提供了計算。"
10. org.apache.hadoop.maprece 包在哪裡
去官網來下一自個hadoop-0.20.203.0rc1.tar.gz包,然後解壓一下,
在解壓出來的hadoop-core-0.20.203.0.jar里有org.apache.hadoop.maprece 包