标准json文件导入
1.介绍说明
多线程的方式,读取指定目录下json格式文件,导入程序分别将事件数据导入方舟事件数据Topic、用户数据导入方舟用户数据Topic;
实现断点续转功能,保证数据不丢失,不重复。已经读取完成的文件不会重复读取;
工具只支持每行一个json字符串导入,暂不支持json数组导入;
1、单个文件同时只能由一个线程读取。
2、文档中都是以集群版为例切换机器或连接服务,如果是单机版,将对应的ark2/ark3改为ark1即可。
3、json文件格式需符合方舟事件和用户数据模型,详见:数据格式。
4、导入文件需要以event_和profile_开头。
建议:为保证正式项目数据导入的准确性,在数据导入正式项目前,建议先创建一个测试项目,将测试数据导入测试项目中,测试数据导入完成并且数据校验无误后,即可删除测试项目,将正式数据导入到正式项目,进而保证了数据导入的准确性。
2.运行环境
导入工具需要在JAVA环境中运行,单机版和集群版都可以使用。
1、导入工具需要在方舟部署服务器/可访问方舟服务器上的机器上使用;
2、为了避免网络异常、数据传输速度等造成数据导入慢等问题,建议数据导入工作在方舟部署的任一服务器上使用。
3.使用方法
标准json导入工具通过父命令+子命令的形式直接启动。
3.1.参数说明
参数名称 | 参数示例 | 参数说明 | 是否必传 |
-k | 31abd9593e9983ec | 项目appKey | 是 |
-T | 4113c9cad1c301113783f433e254888c | 项目token,对应的API AccessKey | 是 |
-d | /data/tmp | 需要导入的json文件的导入目录 | 是 |
--help/-h | 无 | 显示json导入帮助文档 | 否 |
3.2.项目token位置获取
token获取路径:
3.3.示例展示
将/data/tmp/20201203/test123321/文件夹下的事件数据导入项目test123321。
最后更新于