xSky 实验室关注高性能服务器,分布式系统/存储,机器学习
目录
  • 首页
  • 知识┊技术相关
  • 作品┊原创作品
  • 随笔┊心情日记
  • 杂谈┊杂七杂八

最适合数据分析师的数据库

2019-01-26 01:54:33
数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?
 
虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师。
 
Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节。例如,在Redshift中如何获取当前时间,是NOW()、CURDATE()、CURDATE、SYSDATE 还是WHATDAYISIT。
 
在Mode公司,分析师每天都会使用各种不同的语言编写几千个查询,运行在Mode编辑器里的查询超过百万个,而Benn Stancil就是从这些数据出发,对MySQL、PostgreSQL、Redshift、SQL Server、BigQuery、Vertica、Hive和Impala这八款数据库进行了比较。
 
1.查询错误是否容易解决
首先,Benn Stancil认为查询错误是否容易解决是衡量数据库的一个最基本指标。数据库提供的错误信息(通常是语法错误、函数名错误、逗号错位等)最能表明该系统是否会对数据分析师造成极大的挫败感。通过对8种数据库查询错误频率的比较,Benn Stancil发现Vertica和SQL Server错误率最高,MySQL和Impala最低,如图所示:
 
但是,对于该结果Benn Stancil认为可能有点不严谨,因为Impala、MySQL和Hive是开源的免费产品,而Vertica、SQL Server和BigQuery不是,后三者的用户通常是有充足分析预算的大型企业,其较高的错误率很有可能是由于使用更深入而不是语言“更难用”。

2.复杂性
除了错误率之外,Benn Stancil还讨论了复杂性。虽然不同语言其查询长度、查询复杂性和语言复杂性之间的关系盘根错节,要界定清楚很难,但可以间接使用查询长度作为度量的指标,因为一门语言之所以简单很有可能是因为它简洁。这八种数据库查询长度的统计结果如下:

如果说单纯地比较最终的长度有失偏颇,那么可以看看随着分析的逐步深入,查询逐渐变复杂的过程中,其修改次数与长度之间的关系:

该图显示,经过20次左右的编辑之后,查询长度通常会变为之前的2倍,而在100次编辑之后,长度会变为之前的3倍。那么在修改的过程中,其编辑次数与出错的比率又是什么样子的呢?

从图中可以看出,PostgreSQL、MySQL和Redshift的错误率较低,Impala、BigQuery和SQL Server的错误率较高。另外,和之前一样,Vertica的错误率依然最高。
 
3.分析师技能
此外,Benn Stancil认为分析师的技能也很重要。他对使用多个数据库并且在每个数据库上至少运行了10个查询的分析师进行了统计,计算了这些分析师在每个数据库上的查询错误率,并根据统计结果构建了下面的矩阵:

 
该矩阵展示的是顶部数据库与左边数据库相比其错误率的差别,数值越高表现就越差。例如,Hive和BigQuery交叉处的“20.2”表示:对使用这两款数据库的分析师,其使用Hive的错误率要比使用BigQuery高20.2。最底部的Total行是结果总计,从中可以看出MySQL和PostgreSQL始终表现较好;Vertica跳跃最大,几乎是从最底部跳到了中游,打败了SQL Server 和Hive,这也暗示了Vertica的高错误率很可能是由于分析师的能力而不是语言本身。
 
最后,Benn Stancil认为在分析的这8个数据库中,MySQL和PostgreSQL编写SQL最简单,应用也最广泛,但与Vertica和SQL Server相比它们的特性不够丰富,而且速度要慢。综合各方面的因素,Redshift或许才是最好的选择。

By:xSky | 知识┊技术相关 |

  • 分类目录

    • 知识┊技术相关 (42)
    • 作品┊原创作品 (6)
    • 随笔┊心情日记 (1)
    • 杂谈┊杂七杂八 (3)
  • 最新文章

    • 开发小技巧备忘
    • Redis 6 新功能提前看!
    • 使用Sysdig监视您的Ubuntu
    • 安装VMware没有虚拟网卡出现解决方法
    • 想要搞懂数据可视化,看这篇就够了!
    • MySQL 数据库铁律
    • 微服务:分布式事务
    • 多队列网卡及网卡中断绑定阐述
    • epoll 的本质是什么?
    • 千万并发不是梦:TCPBurn并发测试
    • 使用R数据进行数据分析
    • 消息中间件选型:Kafka还是RabbitMQ?
    • 一套原创分布式即时通讯(IM)系统理论架构方案
    • 一套高可用、易伸缩、高并发的IM群聊、单聊架构方案设计实践
    • 百度App网络深度优化系列《二》连接优化
    • 百度App网络深度优化系列《一》DNS优化
    • ZooKeeper 一致性协议 ZAB 原理
    • Linux/Unix下ODBC的安装、配置与编程
    • 最适合数据分析师的数据库
    • CentOS6 在线安装PostgreSQL10
    • xChart数据可视化工具使用说明
    • 使用MySQL进行数据统计
    • 倔强的程序员
    • Matrix:Mozilla中心化实时互操作通信标准
    • CentOS 二进制安装MySQL8.0.12
    • GIT 学习手册简介
    • 超高性能键值存储数据库 Anna
    • linux 下使用 tc 模拟网络延迟和丢包
    • 最容易引起好奇心的是什么?不能太熟悉也不能太陌生
    • 数据的未来:SQL正在击败NoSQL?
  • 链接

    • xSky的Blog
    • 我的开源/github
    • 实时监控图表
    • 预印本
    • xredis 在线文档
    • xSkyProxy
    • xChart 数据在线测试
    • 我的电子书
    • xChart 数据可视化系统
    • 树莓派技术圈
    • WebRTC开发者社区
  • 开源项目

    • xReis C++的redis客户端库
    • xBlog-C++ 博客程序
    • xSkyProxy-新的MySQL代理网关
    • 数据可视化平台- xChart
    • xhttpcache 高速数据缓存服务
    • xMonitor-图形监测工具
    • test

Powered By xblog Copyright 0xsky.com All Rights Reserved.

Copyright 0xsky.com All Rights Reserved.