简单介绍几种不同的数据导入方式:
FormatImporter:Python3运行环境即可,灵活,只要装了python3就能运行;可以作为格式转换器使用,不作为导入工具使用,节省了数据清洗的工作;
BatchImporter:运行在部署神策系统的服务器上,可以用于单机版和集群版,无法在云版上使用,导入速度较FormatImporter和LogAgent要快
HdfsImporter:运行在部署神策系统的服务器上,只能用于集群版,导入速度最快,数据直接进入HDFS;
LogAgent:一般用在客户的业务服务器或生产日志服务器,实时、不重不丢,有进度管理、断点续传,可以读取同一个文件新追加的内容;
Fliebeat+Logstash:一般用在客户的业务服务器或生产日志服务器,支持容器化部署,Fliebeat+Logstash成熟的开源工具组合,配置丰富,可以接收多种输入,针对文件型输入,一个组件可同时采集多个目录下的日志,filebeat相比LogAgent更轻,并且与服务端之间无耦合;
收起