博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Sqoop架构(四)
阅读量:7118 次
发布时间:2019-06-28

本文共 400 字,大约阅读时间需要 1 分钟。

 Sqoop 架构是非常简单的,它主要由三个部分组成:Sqoop client、HDFS/HBase/Hive、Database。

     下面是Sqoop 的架构图

  

  (1)用户向 Sqoop 发起一个命令之后,这个命令会转换为一个基于 Map Task 的 MapReduce 作业。

(2)Map Task 会访问数据库的元数据信息,通过并行的 Map Task 将数据库的数据读取出来,然后导入 Hadoop 中。 
(3)当然也可以将 Hadoop 中的数据,导入传统的关系型数据库中。
(4)它的核心思想就是通过基于 Map Task (只有 map)的 MapReduce 作业,实现数据的并发拷贝和传输,这样可以大大提高效率。

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6116370.html,如需转载请自行联系原作者

你可能感兴趣的文章