什么是NoSQL数据库

什么是NoSQL数据库？从名称“非SQL”或“非关系型”衍生而来，这些数据库不使用类似SQL的查询语言，通常称为结构化存储。这些数据库自1960年就已经存在，但是直到现在一些大公司（例如Google和Facebook）开始使用它们时，这些数据库才流行起来。该数据库最明显的优势是摆脱了一组固定的列、连接和类似SQL的查询语言的限制。有时，NoSQL这个名称也可能表示“不仅仅SQL”，来确保它们可能支持SQL。 NoSQL数据库使用诸如键值、宽列、图形或文档之类的数据结构，并且可以如JSON之类的不同格式存储。

成都创新互联-专业网站定制、快速模板网站建设、高性价比张湾网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式张湾网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖张湾地区。费用合理售后完善，10多年实体公司更值得信赖。

大数据核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。

1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。

4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。

什么是NoSQL数据库？

“NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。”

如何玩转NoSQL数据库

如何玩转 NoSQL数据库？作者：IT专家网

Weather公司CIO Bryson Koehler整理出了MongoDB，Riak和Cassandra等NoSQL数据库的特性。他指出这其中最重要的特性是“NoSQL不会限制住你”。

Weather公司，致力于天气报告和天气预报业务，其并不缺乏数据，当然也不缺乏数据管理工具。但它为什么需要三种不同的NoSQL数据库？

最近，我向Weather 公司的CIO Bryson Koehler提出了这个疑问，除了公司的CIO,Bryson Koehler还是其他很多业务单元的孵化者,包括Weather Channel，WeatherFX，Weather Underground，和Intellicast等。Weather公司每天获取和处理着约20万亿字节数据，对外提供当前全球天气状况，并为航空公司，紧急服务，货运商，公用事业，保险，以及在线天气网站和天气应用程序的用户提供天气预报服务。每天需求增加了数十亿的天气数据请求，并且预期响应时间要在10毫秒左右。

Riak是Weather 公司的后台NoSQL数据库，服务于公司的事务性存储公用网络(SUN)数据获取平台，它运行在多个亚马逊网络服务(AWS)的可用区域上，并以每小时15次的频率捕获超过20亿气象数据信息，。所以，Riak具有明确的处理规模，但该公司也使用Cassandra以及新近添加的MongoDB数据库，为Weather.com 上IOS和Android移动应用程序服务。

Weather 公司使用了不同的产品，Koehler解释说，因为“不同的工具有不同的优势。

Cassandra，它服务于Weather 公司以及全球消费者使用的第三方天气应用的API数据：“我们的数据分发平台每秒处理数十万的事务，我们发现Cassandra在用于全球分发数据上是一个很棒的解决方案，并且在[数据库]读取方面体现出很高的可用性 “。它本质上为全球各地消费者所使用的数据服务，包括Weather 公司和第三方的天气应用程序。

MongoDB，它提供了Weather.com网站和移动应用程序的中间层缓存功能：“离开我们的核心API，我们还没有全部Weather.com内容，所以MongoDB是容器和分发站，为Weather.com以及Android和iOS上的移动应用程序服务。Mongo有很多好处，这些好处基于其内建的JSON格式以及灵活性上。“

Riak，用于消费气象数据和观测，包括来自世界各地的图片和视频等：“我们喜爱Riak因其优秀的数据摄取能力，而且是以一种全球分布式的方式来实现。这对于从全球分布式平台上获取数据的入站式数据库是一个真正可靠的选择。

我曾听说Datastax，Basho和Couchbase的高管贬低MongoDB的可扩展性，但MongoDB指向大规模部署，在Facebook对超过200万台移动设备上应用程序提供支持，在eHarmony公司，MongDB每天处理着数十亿的潜在比赛预约。据Koehle所述，MongoDB为Weather.com和Weather.com移动应用程序处理着“每天十亿交易”，“毫无疑问，你可以通过配置和部署Mongo来处理大批量的交易数据。”

尽管如此，Koehler承认，他将“很乐于看到MongoDB继续使全球集群和多位置[功能]更加无缝化且易于使用。” 这些属于全球性的分布式集群，复制和负载平衡是Cassandra和Riak众所周知的功能。

从规模讨论的角度来看，很少有公司达到Weather公司的经营规模。易于开发，架构灵活性和JSON数据处理使得MongoDB的成为世界上最流行的NoSQL数据库。这就是为什么微软和IBM都进行了MongoDB的模仿，如微软的Azure DocumentDB和IBM的 Cloudant，而不是Cassandra和Riak。

Weather公司可以从三个NoSQL标准降低至两个的过程中得到巩固，Koehler说，但公司没有准备好这么做。

“由于我们构造了由许多不同的数据解决方案组成的网状结构，我们目前的环境已过于复杂，”他说。“我们希望给团队一些自由的空间，让我们可以了解所有选择的利弊，但你将会看到一些整合。”

到了那个时候，迁移将不在是一件难事，因为“关于NoSQL数据库最重要的事情是，你不会被困在其中，” Koehler说。“如果你的架构和编码正确，从一个数据库迁移到另一个并不难。随着模式的自由以及数据转存技术的发展，无论前者是一个key-value存储或其他什么形式，转储数据都将十分容易。“

对特定产品进程自定义编码的复杂的存储过程已经一去不复返了，Koehler说，但关于“结构化和编码正确”还有很多需要考虑的地方?这样做是为了避免特殊供应商提供的工具和功能可能让你身陷其中。他举了亚马逊网络服务“(AWS)的消息服务为例。

“你不必让服务在云中运行，”他解释说。“你可以只部署自己的RabbitMQ的环境，而不是陷于其中，所以你可以将一个原先部署在AWS 上的应用程序转而部署在谷歌计算云服务上。无论它是数据平台，存储环境，或云计算环境，都要小心别让自己局限在一个仅由一个供应商提供的小范围空间内“。

转载

一、NoSQL数据库简介

Web1.0的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。

随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式数据库 列式数据库 Hbase Hbase

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中。

HBase的目标就是处理数据量非常庞大的表，可以用普通的计算机处理超过10亿行数据，还可处理有数百万列元素的数据表。

Cassandra Cassandra

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取操作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

主要应用：社会关系，公共交通网络，地图及网络拓谱(n*(n-1)/2)

nosql数据库的四种类型

一般将NoSQL数据库分为四大类：键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图形(Graph)数据库。它们的数据模型、优缺点、典型应用场景。

键值(Key-Value)存储数据库Key指向Value的键值对，通常用hash表来实现查找速度快数据无结构化(通常只被当作字符串或者二进制数据)内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等。

列存储数据库，以列簇式存储，将同一列数据存在一起查找速度快，可扩展性强，更容易进行分布式扩展功能相对局限分布式的文件系统。

文档型数据库，Key-Value对应的键值对，Value为结构化数据，数据结构要求不严格，表结构可变(不需要像关系型数据库一样需预先定义表结构)，查询性能不高，而且缺乏统一的查询语法，Web应用。

图形(Graph)数据库，图结构，利用图结构相关算法(如最短路径寻址，N度关系查找等)，很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案，社交网络，推荐系统等。

当前题目：nosql数据库核心存储,进行数据管理的nosql数据库
分享链接：http://scyingshan.cn/article/hcsdoo.html