Hadoop学习笔记

你好,Hadoop

为什么不能用配有大量硬盘的数据库来进行大规模数据分析?为什么需要用 Hadoop?

  • 如果数据访问模式中包含大量的硬盘寻址,那么读取大量数据集就会必然会花更长的时间(相较于流数据读取模式,流读取主要取决于传输速率)。
  • 如果数据库系统只更新一小部分记录,那么传统的 B 树更有优势。但数据库系统中如果有大量数据更新时,B 树的效率就明显落后于 MapReduce,因为需要使用“排序/合并”(sort/merge)来重建数据库。

Hadoop 相关开源项目

  • 数据格式:Avro、Parquet
  • 数据读取:Flume、Sqoop
  • 数据处理:Pig、Hive、Crunch、Spark
  • 存储:HBase
  • 协作:ZooKeeper
阅读全文
学习Cpp-从C到Cpp

从了解 Cpp 已经有一点时间了,然后就转用了 Python 和 Vue 做项目。

好久不见,甚是想念。

阅读全文
OpenCV-图片几何变换

缩放、裁剪、平移、镜像、旋转、仿射变换、透视变换。

阅读全文
Django-Cookie和Session

all right,Cookie🍪 和 Session 并不是 Python 中特有的东西,只是我在学习 Django 框架的时候才搞清楚了其工作方式,所以记录在此。

在和学长写项目的过程中,只是有所了解,并不知道这是哪块小饼干,什么味道。

一直在用 GitHub,发现 GitHub 可以好久不用登陆,今天搞清楚了 Cookie 和 Session 的方式后打开 GitHub 看了下,明白liao~

访问 GitHub

阅读全文
Django-模型

Python=3.7.3 Django=2.2.3 MySQL=5.7 PyMySQL=0.9.3

阅读全文
OpenCV-仿射变换、图片旋转

图片仿射变换、图片旋转。

阅读全文
OpenCV-图片移位

cv2 的图片移位操作原理和实现。

阅读全文
OpenCV-图片缩放

最近邻域插值法、双线性插值法。

阅读全文
OpenCV-粗略调整图片对比度和亮度

基本原理:两张图片合成。

先按照原来的图片的格式新建一个色素全为零的图片,然后按照两张图的比例不同合成一张新图片。主要用到函数:addWeighted函数

阅读全文
OpenCV-像素运算

两张大小相等图片的运算(算数运算、逻辑运算)。

阅读全文