【生活现场】从电影字幕到hive工作原理解析

来自:互联网侦察,作者:channingbreeze

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。


对小史面试情况感兴趣的同学可以观看面试现场系列



找到工作到正式上班之间的这段时间总是惬意的,小史决定利用这段时间把一些经典电影重温一下。


【hive简介】



吕老师:这就要说到之前提到的OLTPOLAP的概念了,数据仓库是用来做OLAP的,注重查询分析。并且数据仓库的数据量一般比数据库要大一个数量级。


(注:不熟悉OLTPOLAP可以看看这篇文章最后有讲到


【hive工作原理】


【数据迁移sqoop】




【hive优缺点】



小史:嗯,刚刚我就一直在思考这个问题了,hive的优点很明显,它提供了一种sql的方式查询大数据,上手简单,减少了开发人员的学习成本。

【笔记】



在下载电影的过程中,小史顺便记下了今天的笔记。


1
hive是一个数据仓库,存储大数据,主要用来做OLAP分析。
2hive底层是hdfs,它提供了sql来查询数据。
3hive的原理是将sql翻译成map-reduce任务。
4、数据的导入导出可以用工具sqoop,原理也是把命令翻译成map-reduce任务。




生活现场是互联网侦察推出的现场系列中的另一个板块,旨在通过生活中的场景,来解释大数据微服务技术中的基本原理,希望对大家学习技术原理有所帮助。

推荐↓↓↓
人工智能与大数据
上一篇:2019 谷歌 I/O 大会预告 | 这,就是「程序员春晚」 下一篇:从龙套到 C 位,AI 就这样成为谷歌 I/O 的台柱子