阿福的技术BLOG_百度空间

文章列表

2010-02-04 14:04

近几日在做ttserver的随机读压测，压测中发现，ttserver在运行较长的时间后，进程突然退出。
退出的时候未发现产生core文件，不清楚是ttserver本身的原因，还是其他什么问题导致了退出。

猜想有这三种可能：
1、ttserver的BUG；
2、长时间运行后，频繁的内存分配导致内存碎片，再也分配不到内存，程序退出；
3、磁盘存在坏道，读取某个特定的区域的时候导致了进程退出。

压测的环境如下：
操作系统：32位
CPU: Intel(R) Xeon(TM) CPU 3.00GHz 4核
内存2G

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

演示：如何读取裸设备

2010-02-03 20:31

关于裸设备的概念，请google之。
不过，值得一提的是关于裸设备介绍中的其中一句话：
使用裸设备的好处
因为使用裸设备避免了再经过Unix操作系统这一层，数据直接从Disk到Oracle进行传输，所以使用裸设备对于读写频繁的数据库应用来说，可以极大地提高数据库系统的性能。当然，这是以磁盘的 I/O 非常大，磁盘I/O已经称为系统瓶颈的情况下才成立。如果磁盘读写确实非常频繁，以至于磁盘读写成为系统瓶颈的情况成立，那么采用裸设备确实可以大大提高性能，最大甚至可以提高

阅读全文>>

类别：Linux | 评论(0) | 浏览()

近期ttserver压测的总结

2010-01-27 20:46

1、ttserver比较适合部署在64位操作系统中，能够更好地发挥性能；
2、ttserver能够使用的物理内存越大，写入性能越高；
3、ttserver的value长度越小，写入性能越高；
4、ttserver使用的物理内存增长到平稳后，其写入性能才是真实的写入性能；
5、不要迷信官方的压测报告，相信官方的报告都只是短期的写入性能。真实的写入性能必须要长期进行压测才能得出；
6、我的测试中，相比MYSQL，ttserver每秒的写入性能并没有极大地提高。但是也不必沮丧，如果加大服务器的内存，ttserver的写入性能可以得到同步的提高，但是

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(5) | 浏览()

ttserver压测报告：64位操作系统，value在100字节内的情况

2010-01-27 20:36

测试环境：

操作系统：64位

CPU: Intel(R) Xeon(R) CPU E5405 @ 2.00GHz 4核

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

ttserver压测报告：value在100字节内的情况

2010-01-27 20:26

测试环境：

操作系统：32位

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

TokyoCabinet&TokyoTyrant群内沟通摘录

2010-01-27 13:01

iammutex 16:50:20
最近看apow的作用，知道他的作用是把record的存储位置做一个对齐，但是不清楚这样做在性能上有什么好处，感觉应该是跟操作系统io操作的效率或者内存操作的效率有关，不知道大家谁比较了其中的原因解可以分享一下。

apow有两个作用：
1、定义字段的对齐的大小，默认值是4，则是按16字节对齐。内核的page是4KB，如果写入的记录数差不多在4kb左右的话，设置为4KB对齐应该是能够提高一点性能的。不过，这种情况太特殊，意义不大。
2、如果使用32位的桶（启动的时候未加opts=l），则apow决定了tch文

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(1) | 浏览()

ttserver压测报告：64位linux，使用较好配置

2010-01-24 16:47

目的：
验证64位环境下，ttserver的写入性能

测试环境：
操作系统：64位
CPU: Intel(R) Xeon(R) CPU E5405 @ 2.00GHz 4核
内存8G，可用内存7.5G
硬盘 1000G
桶大小 1亿
缓存记录数 0
映射内存 64G
桶长度：64位
其他参数默认
命令行：ttserver -host 192.168.0.11 -port 20000 -thnum 256 -dmn -ulim 1024m -ulog /home/ahfu/test_data/test_ulog_01 -log /home/ahfu/test_data/log/test_data_01.log -pid /home/ahfu/test

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

转帖：ttserver中利用Skeleton机制实现一个ttserver管理多个文件

2010-01-21 21:45

一个高手找到国外高手的文章：利用Skeleton机制管理多个数据文件。

Tokyo Tyrant Pluggable Storage Mechanism
http://riceballl.spaces.live.com/blog/cns!E8401F3A3BFA6F86!309.entry

Tokyo Tyrant Multiple File Storage Mechanism
http://riceballl.spaces.live.com/blog/cns!E8401F3A3BFA6F

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

为什么ttserver无法使用tcmalloc提高性能？

2010-01-21 21:10

听说tcmalloc为mysql提高了不少性能，今天也想尝试用tcmalloc为ttserver提高性能。
可是在ttserver的链接参数中加上libtcmalloc_minimal.a后，ttserver的文件大小与不链接libtcmalloc_minimal.a的大小一致，检查md5也完全一致。由此看来，tcmalloc并没有在ttserver上生效。

链接的方法如下：
tar -zxvf google-perftools-1.5.tar.gz
cd google-perftools-1.5
./configure --prefix=/home/ahfu/temp/tcmalloc --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --e

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()

ttserver压测报告：内存受限环境，且配置2G映射内存

2010-01-21 21:03

目的：
验证映射内存的配置能否提高写入性能

测试环境：
CPU: Intel(R) Xeon(TM) CPU 3.00GHz 4核
内存2G，可用内存56mb
硬盘 36G
桶大小 1亿
缓存记录数 0
映射内存 2G
其他参数默认
命令行：ttserver -host 192.168.0.11 -port 20000 -thnum 256 -dmn -ulim 1024m -ulog /home/ahfu/test_data/test_ulog_01 -log /home/ahfu/test_data/log/test_data_01.log -pid /home/ahfu/test_data/log/test_data_01.pid -sid 1 /home/ahfu/test_da

阅读全文>>

类别：tokyo cabinet & tokyo tyrant | 评论(0) | 浏览()