常用大數據採集工具有哪些

常用的大數據採集工具Apache Flume、Fluentd、Logstash、Chukwa、Splunk Forwarder、八爪魚等。

1、Flume 是Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客户擴展的數據採集系統。

2、Fluentd是另一個開源的數據收集框架。Fluentd使用C/Ruby開發，使用JSON文件來統一日誌數據。

3、Logstash是著名的開源數據棧ELK (ElasticSearch, Logstash, Kibana)中的那個L。

4、Logstash用JRuby開發，所有運行時依賴JVM。

5、Apache Chukwa是apache旗下另一個開源的數據收集平台，它遠沒有其他幾個有名，Chukwa基於Hadoop的HDFS和Map Reduce來構建(顯而易見，它用Java來實現)，提供擴展性和可靠性。

6、在商業化的大數據平台產品中，Splunk提供完整的數據採金，數據存儲，數據分析和處理，以及數據展現的能力。

7、八爪魚是一款免費的、可視化免編程的網頁採集軟件，可以從不同網站中快速提取規範化數據。

以上就是關於大數據採集工具的分享，希望對大家有幫助。