返回APP

分享到

航运大数据技术课程实验指南,持续更新....
 
Notifications
Clear all

航运大数据技术课程实验指南,持续更新...

页 2 / 2

HIFLEET
会员 Admin
已加入: 4 年 前
帖子: 2131
 

请问你用的jdk是什么版本的?建议用jdk8.0。


回复引用
杨春
Eminent Member
已加入: 4 年 前
帖子: 20
Topic starter  

往HBase中批量导入数据的方法。

1,首先启动HBase服务;

2,如果HBase中已经存在了dynamic_ships表(见上方的操作介绍),则跳过本步骤。否则,参考上方的操作介绍,创建该表。

3,将本帖后的压缩文件下载到本机,解压后获得一个名为:put_data_to_hbase_cmd_5k.txt文件,将该文件保存在本机某目录下(例如D盘根目录下)。然后重新打开一个新的命令行窗口,使用如下命令:

hbase shell < “d:\put_data_to_hbase_cmd_5k.txt”

即可向HBase中导入txt文件中的数据。该文件中包含了5000条YU MING轮的轨迹点数据。

image

 

注意:

该方法实际上是将写入数据命令(put命令)都写在了txt文件内,然后一条条的自动执行,效率较低,数据导入速度比较慢,并不适合大量数据的导入。


回复引用
杨春
Eminent Member
已加入: 4 年 前
帖子: 20
Topic starter  

利用kafka客户端和java语言,编写消费来自kafka消息队列中的原始AIS数据的示范程序。

开发环境:IDEA 2020.1

运行环境:Java8, Maven3.5.2


回复引用
杨春
Eminent Member
已加入: 4 年 前
帖子: 20
Topic starter  

利用Java, Apache Spark, Cassandra, Kafka等,编写了一个使用Spark计算框架的示例程序。

开发环境:IDEA 2020.1

运行环境:Java8, Maven3.5.2

This post was modified 1 周 前 by 杨春
This post was modified 1 周 前 by HIFLEET

回复引用
页 2 / 2

留下回复

Author Name

Author Email

标题 *

文件不超过 100MB

Preview 0 Revisions Saved

 

滚动到顶部