1. hadoop 这个package org.apache.hadoop.metrics2 具体作用
:感觉像是权限问题,使用root用户赋予当前用户针对hadoop目录所有的权限,以及关闭hadoop的权限(在hdfs-site.xml中添加 dfs.permissions false )
2. org.apache.hadoop.hdfs.server.namenode.namenode在哪个目录
在hdfs上传文件时发生了这个异常,导致上传失败。google了一把,有人反馈跟dfs.datanode.max.xcievers参数到达上内限有关。
这个是容datanode处理请求的任务上限,默认为256,集群上面配置为2048.于是去所有datanode上面扫了一下log,发现果然出现了IOE!
3. Apache,CDH和Cloudera三者有什么区别
亲,很高兴为您解答,
Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于,Hortonworks的产品均是百分之专百开源。
Cloudera有免属费版和企业版,企业版只有试用期。
apache hadoop则是原生的hadoop。
目前在中国流行的是apache hadoop,Cloudera CDH,当然Hortonworks也有用的
Apache Ambari是一个基于web的工具,用于配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapRece、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapRece、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。希望能帮助到您,望采纳!
4. 怎么找到org.apache.hadoop.hdfs.protocol.fsconstants
从日志异常来看,似乎是应该发往NameNode的RPC请求被错误发送给JobTracker了,建议还是检查一下ip端口配置。
5. 有大神知道org.apache.hadoop.hive.ql.metadata.HiveStorageHandler这个类的一些信息吗
:楼上说的不对,HBASE通过hive metastore与hive连接。所以存在兼容问题。去官网查吧 但是你这个情况貌似不是兼容问题。而是 1.网络问题。2.schema命名问题。
6. hadoop 2.6 org.apache.hadoop.maprece 在哪个jar包里
hadoop-2.2.6\share\hadoop\maprece
7. 请告诉我Apache-Hadoop的准确官方读音
Apache 英 [əˈpætʃi] 美 [ə'pætʃɪ]
Hadoop没有官方的发音,通常都读作[h∧:p]
Hadoop是一个由Apache基金会所开发的分布式系统基回础架构。用户可以在答不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapRece。HDFS为海量的数据提供了存储,则MapRece为海量的数据提供了计算
8. hadoop中执行wordcount在rece阶段时出现org.apache.hadoop.ipc.RemoteException
有可能Configured Capacity也就是datanode 没用分配容量
[root@dev9106 bin]# ./hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
解决方法:
1. 查看你的文件系统
[root@dev9106 /]# df -hl
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 1.9G 1.6G 302M 84% /
/dev/sda8 845G 47G 756G 6% /home
/dev/sda7 5.7G 147M 5.3G 3% /tmp
/dev/sda6 9.5G 4.0G 5.1G 45% /usr
/dev/sda5 9.5G 273M 8.8G 3% /var
/dev/sda1 190M 15M 167M 8% /boot
tmpfs 7.8G 0 7.8G 0% /dev/shm
2. 修改文件Hadoop conf/core-site.xml 中hadoop.tmp.dir的值
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/dhfs/tmp</value>
</property>
</configuration>
3. 停止hadoop服务,重新格式化namenode
4.重启服务
5.Ok
9. Apache hadoop是什么软件
"Hadoop是一个由来Apache基金会所开发源的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。(大讲台—国内首家it在线教育混合式自适应学习平台)
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapRece。HDFS为海量的数据提供了存储,则MapRece为海量的数据提供了计算。"
10. org.apache.hadoop.maprece 包在哪里
去官网来下一自个hadoop-0.20.203.0rc1.tar.gz包,然后解压一下,
在解压出来的hadoop-core-0.20.203.0.jar里有org.apache.hadoop.maprece 包