美国留学

题号：试题01 模块2：数据采集与处理（一） 任务1：数据采集与清洗1、子任务1：数据采集

启动Hadoop集群，使用HDFS Shell命令在HDFS根目录下级联创建名为/behavior/origin_log的目录，用于存储收集的用户行为日志；答案：hadoop fs -mkdir -p /behavior/origin_log

目录创建完成。使用HDFS Shell命令将本地/root/eduhq/data/app_log/behavior目录下的所有用户行为日志文件收集到HDFS /behavior/origin_log目录下；答案：hadoop fs -put /root/eduhq /data/app_log/behavior/* /behavior/origin_log

采集完成后，在本机打开浏览器，访问http://本地主机名：9870或http://本地IP地址：9870进入HDFS WebUI界面，查看数据是否已成功采集到HDFS。答：使用浏览器访问即可。

2. 子任务2：数据清理

在Windows操作系统上使用Excel软件打开名为“behavior2023-01-01.csv”的文件；

清理数据并关注名为“behavior2023-01-01.csv”的文件中的“时间”列。将时间和日期格式分为两列：日期和时间。回答：

（2）任务二：数据标注开发：开发一个简单的Java类IpToLocUdf，继承

org.apache.hadoop.hive.ql.udf.generic.GenericUDF，重载了initialize()、evaluate()和getDisplayString()方法；该类需要通过IP实现从/root/eduhq/data/area.json文件中随机获取“省”和“城市”信息，完成数据的分类和标注。

答案：导入org.apache.hadoop.hive.ql.exec.UDFArgumentException；

导入org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;

导入org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;

导入org.apache.hadoop.hive.ql.metadata.HiveException;

导入org.apache.hadoop.hive.ql.udf.generic.GenericUDF;

导入org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

导入org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

导入org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;

导入org.codehaus.jackson.JsonNode;

导入org.codehaus.jackson.map.ObjectMapper;

导入org.codehaus.jackson.node.ObjectNode;

导入java.io.File；

导入java.io.IOException；

导入java.util.ArrayList；

导入java.util.List；

公共类IpToLocUdf 扩展GenericUDF {

私有StringObjectInspector stringInspector；

私有ObjectInspector 输出OI；

//初始化函数，用于设置函数参数和输出类型

/*

该初始化方法的主要作用是验证输入参数的数量和类型，并将输出类型设置为字符串。

如果输入的参数不符合要求，则会抛出异常。

最后，它返回一个输出类型的ObjectInspector 供其他方法使用。

*/

@覆盖

公共ObjectInspector 初始化（ObjectInspector []参数）抛出UDFArgumentException {

//检查参数个数是否为1，如果不是则抛出异常

if (arguments.length !=1) {

抛出新的UDFArgumentLengthException(

'函数iptoloc(ip) 只接受1 个参数。');

}

//检查第一个参数是否为StringObjectInspector类型，如果不是则抛出异常

if (!(arguments[0] StringObjectInspector 实例)) {

抛出新的UDFArgumentTypeException(0,

'参数必须是字符串，但是' + argument[0].getTypeName()

+ '已给出。');

}

//将第一个参数设置为字符串类型的ObjectInspector

this.stringInspector=(StringObjectInspector) 参数[0];

//设置输出类型为string，并通过反射创建ObjectInspector实例

this.outputOI=ObjectInspectorFactory.getReflectionObjectInspector(String.class,

ObjectInspectorFactory.ObjectInspectorOptions.JAVA);

//打印输出类型的ObjectInspector信息

System.out.println(outputOI);

返回输出OI； //返回输出类型的ObjectInspector以供其他方法使用

}

@覆盖

公共对象评估（DeferredObject []参数）抛出HiveException {

//获取传入的IP地址参数

String ip=stringInspector.getPrimitiveJavaObject(arguments[0].get());

//从指定文件中读取区域信息

//文件file=new File('/root/eduhq/data/area.json');

文件file=new File('/resources/area.json');

ObjectMapper 映射器=new ObjectMapper();

列出省份=new ArrayList();

列出城市=new ArrayList();

尝试{

//解析JSON文件

JsonNode rootNode=mapper.readTree(file);

//遍历JSON节点获取省市信息

for (JsonNode 节点： rootNode) {

String Province=node.path('province').getTextValue();

String city=node.path('city').getTextValue();

省份.add(省份);

城市.add(城市);

}

} catch (IOException e) {

throw new HiveException('无法读取area.json file:' + e.getMessage(), e);

}

//根据IP地址进行分类和标签

int 索引=ipToIndex(ip);

字符串省份=Provinces.get(index);

字符串城市=城市.get(索引);

//返回分类标注结果

ObjectNode结果=mapper.createObjectNode();

result.put('省份', 省份);

结果.put('城市', 城市);

返回结果.toString();

}

@覆盖

公共字符串getDisplayString(String[] 儿童) {

返回'iptoloc(' + Children[0] + ')';

}

私有int ipToIndex(字符串ip) {

//根据IP地址的某种算法得到索引值

//这里我们简单的使用IP地址的字符长度模拟算法

返回ip.length() % 7;

}

}

org.apache.hive

hive 执行程序

3.1.2

（三）任务三：数据统计1、子任务一：HDFS文件上传下载

（1）将包“com.hive.udf”导出为名为hive-udf-behavior-1.0.0.jar的JAR文件并保存在本地

/root/eduhq/udf_jars 目录；

答案：https://blog.csdn.net/gb4215287/article/details/132793531

（2）将打包后的文件hive-udf-behavior-1.0.0.jar上传到HDFS的/hive/udf_jars目录下；

答案：hadoop fs -put hive-udf-behavior-1.0.0.jar /hive/udf_jars

（3）在Hive客户端中，创建永久函数url_trans和get_city_by_ip，并与开发的类关联起来；

答案：添加jar /root/eduhq/udf_jars/hive-udf-behavior-1.0.0.jar

创建函数url_trans 作为com.hive.udf.url_trans；

创建函数get_city_by_ip 为com.hive.udf.get_city_by_ip；

（4）在Hive客户端上，使用select语句测试url_trans和get_city_by_ip函数；

答：根据具体功能使用。例如：

选择get_city_by_ip(ip);

（5）启用Hive的动态分区功能，并将Hive设置为非严格模式；

答案：设置hive.exec.dynamic.partition=true；

设置hive.exec.dynamic.partition.mode=nostrict；

（6）使用insert overwrite . select .子句将ods_behavior_log表中的数据插入到分区表dwd_behavior_log中，实现基于dt的动态分区。

答案：插入覆盖表dwd_behavior_log PARTITION (dt) select *,date_format(dt,'yyyy-MM-dd') from ods_behavior_log;

2. 子任务2：数据统计

查看dwd_behavior_log表所有现有分区；答案：显示分区dwd_behavior_log；

查看外部表dwd_behavior_log中前3行数据，验证URL协议是否统一为“http”，是否可以通过IP获取“省”和“城市”信息；答案：SELECT * FROM dwd_behavior_log LIMIT 3；

从dwd_behavior_log 选择URL，其中URL 类似于“http://%”；

返回以“http://”开头的所有URL。如果返回的行数大于0，则说明URL协议统一为“http”。

通过ip获取省份，例如： select get_city_by_ip(ip);

统计外部表dwd_behavior_log的数据总行数。答案：从dwd_behavior_log 中选择COUNT(*)；

获取更多资讯，请联系

武汉微众智能创新科技有限公司

了解更多信息请登录www.whwzzc.com，咨询电话13037102709

*本资料中的产品图片和技术数据仅供参考，如有更新，恕不另行通知。微众保留对具体内容的解释权。