lt200819
- 浏览: 182023 次
- 性别:
- 来自: 北京
-
最新评论
-
duguyiren3476：
我现在的版本是drill0.8.0版本的,搭建了分布式4个节点 ...
walter的drill笔试之二-安装与部署 -
zhangth：
写的不错，受教了
图片分离之图片服务器问题 -
lt200819：
zh55com 写道如何查询mysql数据？如何查询hbase ...
walter的drill笔试之二-安装与部署 -
zh55com：
如何查询mysql数据？如何查询hbase数据？
walter的drill笔试之二-安装与部署 -
QuarterLifeForJava：
不错，挺好的，那如果是update、delete、insert ...
Mysql百万级数据查询优化
文章列表
Nosql数据库笔谈
- 博客分类：
- 数据库与Nosql
NoSQL数据库笔谈
序
思想篇
CAP
最终一致性
变体
BASE
数据库查询的3个优化方法
- 博客分类：
- 数据库与Nosql
在优化查询中，数据库应用(如MySQL)即意味着对工具的操作与使用。使用索引、使用EXPLAIN分析查询以及调整MySQL的内部配置可达到优化查询的目的。
任何一位数据库程序员都会有这样的体会：高通信量的数据库驱动程序中，一条糟糕的SQL查询语句可对整个应用程序的运行产生严重的影响，其不仅消耗掉更多的数据库时间，且它将对其他应用组件产生影响。
如同其它学科，优化查询性能很大程度上决定于开发者的直觉。幸运的是，像MySQL这样的数据库自带有一些协助工具。本文简要讨论诸多工具之三种：使用索引，使用EXPLAIN分析查询以及调整MySQL的内部配置。
#1: 使 ...
编程语言的一些基本概念
- 博客分类：
- 基本概念
1. 编译型和解释型：
1.1 编译型语言写的程序执行之前，需要一个专门的编译过程，把程序编译成为机器语言的文件，比如exe文件。
1.2 解释型语言的程序不需要编译，省了道工序，解释性语言在运行程序的时候 ...
Spring Security3的使用方法有4种：
一种是全部利用配置文件，将用户、权限、资源(url)硬编码在xml文件中。
二种是用户和权限用数据库存储，而资源(url)和权限的对应采用硬编码配置。
三种是细分角色和权限，并将用户、角色、权限和资源均采用数据库存储，并且自定义过滤器，代替原有的FilterSecurityInterceptor过滤器，并分别实现AccessDecisionManager、
InvocationSecurityMetadataSourceService和UserDetailsService，并在配置文件中进行相应配置。
四是修 ...
在本系列的前面几篇文章中，主要介绍了利用Map-Reduce任务来完成两个或者多个文件的Join操作的一些算法和思路。基于的前提是对这些文件在相同的列上进行Join，本文将要讨论如何通过Map-Reduce任务来完成对多个文件在不同列上进行Join。由于需要在不同的列上进行Join，涉及到的文件个数至少会是三个，比如有三个文件T1(A,B)、T2(B,C)、T3(C,D)，T1和T2基于B列进行Join，而T2和T3则需要基于C列进行Join。本系列的第二和第三篇中提到的针对两个文件和多个文件进行Join的相关算法和思路稍加扩展就可以用到对多个文件在不同列上进行Join的情况中，另外，文本还将 ...
在这个系列的前两篇中，介绍了基本的Join算法以及在Hadoop环境中，如何利用Map-Reduce过程来完成Join。而前面的介绍都是基于两个集合的Join，本文将会介绍利用Map-Reduce来完成2个以上文件的Join的相关算法(Multi-way join algorithms)。基 ...
在本系列的第一篇中，介绍了几种在数据库应用中常见的Join算法，本文将会介绍两种使用Map-Reduce实现对两个数据集合进行Join的算法，其中的一种会用到第一篇中提到的哈希Join算法。这里将这两种方法分别命名为Map-Reduce Join和M ...
本系列的开篇在提到使用Map-Reduce实现Join之前，先来看看目前在数据库中应用比较广泛和流行的集中Join算法。它们分别是嵌套循环Join(Nested Loops Join)、排序合并Join(Sort-Merge Join)和哈希Join(Hash Join)。 1.嵌套循环Join
Java代码
for R中的每一条记录r do
1. 概述
在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。
本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。
2. 常见的join方法介绍
假设要进行join的数据分别来自File1和File2.
2.1 reduce side join
reduce side join是一种最简单的join方式，其主要思想如下：
在map阶段，map函数同时读取两个文件File1和File2，为了区分 ...
来源：颜开的博客
简介
Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎，获得了很大的成功。最近Apache计划推出Dremel的开源实现Drill，将Dremel的技术又推到了浪尖上。
Google Dremel设计
根据Google公开的论文《Dremel: Interactive Analysis ...
两阶段提交协议
实现分布式事务的关键就是两阶段提交协议。在此协议中，一个或多个资源管理器的活动均由一个称为事务协调器的单独软件组件来控制。此协议中的五个步骤如下：
•
应用程序调用事务协调器中的提交方 ...
1 概括
Piccolo是New York大学在OSDI 2000上发表的paper Piccolo: Building Fast, Distributed Programs with Partitioned Tables【1
我是标题党，其实本文与hbase关系不大，只是把它作为列族数据库的代表来讲。从目前字眼上看，HBase比Bigtable无疑更具吸引力。题目改成：RDBMS到列族的数据储存方式变迁 更恰当。
如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。
传统关系型数据库(mysql，oracle)数据存储方式主要如下：
图一
上图是个很典型的数据储存方式，我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引，达到
1:spring3 mvc开发效率高于struts
2:spring3 mvc可以认为已经100%零配置
3:spring3 mvc对RESTful的支持更好struts2是类级别的拦截， 一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应 所以说从架构本身上 spring3 mvc就容易实现restful url 而struts2的架构实现起来要费劲 因为struts2 action的一个方法可以对应一个url 而其类属性却被所有方法共享，这也就无法用注解或其他方式标识其所属方法了
4:不封 ...
mybatis与hibernate比较
- 博客分类：
- JAVAWeb
最近做了一个Hibernate与MyBatis的对比总结，希望大家指出不对之处。
第一章 Hibernate与MyBatis
Hibernate 是当前最流行的O/R mapping框架，它出身于sf.net，现在已经成为Jboss的一部分。 Mybatis