百度首页 | 百度空间
 
查看文章
 
HiveDB, 一个横向切分MySQL海量数据的框架
2008-07-16 00:29
1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现,底层基于Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在"20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate extension,贡献给开源社区希望发扬光大;

2. HiveDB推出到现在也不算短,开发进度相对平缓。功能上已经处于一个相对稳定1.0状态,核心功能已经基本没大的问题。作者声称已经在一个每秒请求数达数千次的,包含海量数据的生产环境稳定运行;

3. HiveDB/Hibernate shards所适用的典型场合就是一个海量记录的表,可以根据某个规则分开存到多个相同表结构的数据库服务器上。和HSCALE功能差不多,但HSCALE当前版本实际上还不能跨服务器的;

4. 可以查询跨服务器数据,但不能做 order/join;

5. 具有类似mysql proxy之类多服务器容错功能,单独服务器发生故障不影响系统正常运行,通过类似ha-jdbc思想实现;

6. 目前只支持Java语言,有支持各种语言如php/python/perl/ruby hive client的计划,但是目前只有一个python hive client测试版可用。


图片:按字段(Partition Key)切分典型场合

(图片来源:hivedb.org)

类别:Mysql | 添加到搜藏 | 浏览() | 评论 (3)
 
最近读者:
 
网友评论:
1
2008-07-16 10:15
期望Ruby版的发布
 
2
2008-07-21 11:58
如果我用C写的程序,能否通过C-API访问HiveDB?也就是说将HiveDB作为逻辑Mysql数据库。
 
3
2008-07-24 00:03
c-api不行,因为底层是基于hibernate shards的,hibernate shards是一个纯Java的东东。
那几个python/ruby的实现, IMHO都是基于Jython, JRuby之类的技术来做的。
 
发表评论:
姓 名:
网址或邮箱: (选填)
内 容:
验证码:
 

     

©2008 Baidu