首页 爱情文章 亲情文章 友情文章 生活随笔 校园文章 经典文章 人生哲理 励志文章 搞笑文章 心情日记
  • 爱情文章
  • 亲情文章
  • 友情文章
  • 生活随笔
  • 校园文章
  • 经典文章
  • 人生哲理
  • 励志文章
  • 搞笑文章
  • 心情日记
  • 英语文章
  • 范文大全
  • 作文大全
  • 新闻阅读
    •
    当前位置: 山茶花美文网 > 经典文章 > 正文

    MySQL下的NoSQL解决方案HandlerSocket_鱼缸水浑浊原因和解决方案

    时间：2020-05-25来源：山茶花美文网 本文已影响 人 山茶花美文网手机站

    目前使用MySQL的网站，多半同时使用Memcache作为键值缓存。虽然这样的架构极其流行，有众多成功的案例，但过于依赖Memcache，无形中让Memcache成为故障的根源：

    Memcache数据一致性的问题：当MySQL数据变化后，如果不能及时有效的清理掉过期的数据，就会造成数据不一致。这在强调即时性的Web2.0时代，不可取。

    Memcache崩溃后的雪崩效应：作为缓存的Memcache一旦崩溃，MySQL很可能在短时间内承受高负载而宕机。据说前段时间新浪微博就遭遇了这样的问题。

    注：关于清理过期数据的问题，可以在程序架构上想办法，如果数据操作有统一DAO封装的话，可以利用Observer模式来清理过期数据，非主题内容，资料自查。

    面对这些问题，HandlerSocket项目是个不错的解决方案，它通过插件的方式赋予MySQL完整的NoSQL功能，从原理上讲，它跳过MySQL中最耗时的语法解析，查询计划等步骤，直接读取数据，如果内存够大，能装下索引，MySQL的查询效率能提高若干倍！

    性能测试实例：Using MySQL as a NoSQL – A story for exceeding 750，000 qps （GFW）

    因为HandlerSocket的性能足够好，所以就没有必要使用Memcache了，能节省大量的硬件资源，相当低碳！而且HandlerSocket操作的是MySQL放在内存中的索引，没有额外的缓存，所以自然就不存在数据一致性的问题。

    安装

    如果使用Percona Server版本的MySQL就简单了，因为它已经内置了HandlerSocket支持，不过考虑到其内置的版本不够新，存在一些早已修复的BUG，所以最好采用源代码编译。

    官方已经有了一份简单的安装文档，但在我实际安装时，遇到了一些其他未说明的问题，所以这里就把相应的安装过程再写一遍。

    首先要确保已经安装了MySQL5.1以上的版本，我用的是Ubuntu操作系统，事先已经用apt安装了MySQL5.1.37，同时还需要相应的mysql_config，如果是Ubuntu的话，可以：

    shell> aptitude install libmysqld-dev

    注：如果你用的MySQL是从源代码编译的或官方提供的二进制版本，可以略过此步。

    接着下载一份和系统MySQL版本一致的MySQL源代码和HandlerSocket源代码：

    mysql-5.1.37.tar.gz

    ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-76-gf5f7443.tar.gz

    shell> tar zxf mysql-5.1.37.tar.gz
    shell> tar zxf ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-76-gf5f7443.tar.gz
    shell> cd ahiguti-HandlerSocket-Plugin-for-MySQL-f5f7443
    shell> ./autogen.sh
    shell> ./configure --with-mysql-source=../mysql-5.1.37
    --with-mysql-bindir=/usr/bin
    --with-mysql-plugindir=/usr/lib/mysql/plugin

    其中的参数含义如下：with-mysql-source表示MySQL源代码目录，with-mysql-bindir表示MySQL二进制可执行文件目录（也就是mysql_config所在目录），with-mysql-plugindir表示MySQL插件目录，如果不清楚这个目录在哪，可以按如下方法查询：

    mysql> SHOW VARIABLES LIKE "plugin%";
    +---------------+-----------------------+
    | Variable_name | Value |
    +---------------+-----------------------+
    | plugin_dir | /usr/lib/mysql/plugin |
    +---------------+-----------------------+

    运行命令后，如果你使用的是MySQL5.1.37版本的话，会遇到如下错误信息：

    MySQL source version does not match MySQL binary version

    明明我们的MySQL源代码版本和二进制版本都是5.1.37，为什么还会出现这个错误呢？通过查询HandlerSocket的编译脚本，发现原来它会检索MySQL源代码目录中的VERSION文件，可MySQL5.1.37的源代码目录里不知何故竟然没有这个文件，所以就报错了，既然知道了原因，那我们就照猫画虎做一个VERSION文件放到MySQL源代码目录，内容如下：

    MYSQL_VERSION_MAJOR=5
    MYSQL_VERSION_MINOR=1
    MYSQL_VERSION_PATCH=37
    MYSQL_VERSION_EXTRA=

    再次运行configure脚本，应该就OK了，把剩下的步骤进行完：

    shell> make
    shell> make install

    接着需要配置一下HandlerSocket，编辑MySQL配置文件，加入如下内容：

    [mysqld]
    loose_handlersocket_port = 9998
    # the port number to bind to (for read requests)
    loose_handlersocket_port_wr = 9999
    # the port number to bind to (for write requests)
    loose_handlersocket_threads = 16
    # the number of worker threads (for read requests)
    loose_handlersocket_threads_wr = 1
    # the number of worker threads (for write requests)
    open_files_limit = 65535
    # to allow handlersocket accept many concurrent
    # connections, make open_files_limit as large as
    # possible.

    此外，InnoDB的innodb_buffer_pool_size，或MyISAM的key_buffy_size等关系到缓存索引的选项尽可能设置大一些，这样才能发挥HandlerSocket的潜力。

    注：apt包管理下的配置文件一般是/etc/mysql/f，否则一般是/etc/f

    最后登陆MySQL并激活HandlerSocket插件：

    mysql> INSTALL PLUGIN handlersocket soname "handlersocket.so";

    如果没有问题的话，就能在MySQL里看到HandlerSocket的线程了：

    mysql> SHOW PROCESSLIST;

    也可以通过查询刚配置的端口是否已经被MySQL占用来确认是否安装成功：

    shell> lsof -i :9998
    shell> lsof -i :9999

    完活儿！现在你的MySQL已经具备NoSQL的能力了！

    实战

    首先创建一个测试用的表：

    CREATE TABLE IF NOT EXISTS `test`.`t` (
    `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
    `a` varchar(10) NOT NULL,
    `b` varchar(10) NOT NULL,
    PRIMARY KEY (`id`),
    KEY `a_b` (`a`,`b`)
    ) ENGINE=InnoDB;

    注：理论上HandlerSocket支持MyISAM，InnoDB等各种引擎，不过推荐使用InnoDB。

    HandlerSocket的协议非常简单，指令通过TAB分割，一行就是一个请求。

    打开索引：P <索引标识> <数据库> <表> <索引> <字段>

    插入数据：<索引标识> ‘+’ <参数个数> <参数1> … <参数N>

    读取数据：<索引标识> <操作> <参数个数> <参数1> … <参数N> <条数> <偏移>

    SQL原型：INSERT INTO test.t (id, a, b) VALUES (1, ‘a1′, ‘b1′), (2, ‘a2′, ‘b2′)

    shell> telnet localhost 9999
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is "^]".
    P 1 test t PRIMARY id,a,b
    0 1
    1 + 3 1 a1 b1
    0 1 0
    1 + 3 2 a2 b2
    0 1 0

    注：使用HandlerSocket时，因为没有实际运行SQL，所以Binlog记录的是Row格式。

    SQL原型：SELECT id， a， b FROM test.t WHERE id = 1 LIMIT 1

    shell> telnet localhost 9999
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is "^]".
    P 1 test t PRIMARY id,a,b
    0 1
    1 = 1 1 1 0
    0 3 1 a1 b1

    SQL原型：SELECT id, a, b FROM test.t WHERE id >=1 LIMIT 2

    shell> telnet localhost 9999
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is "^]".
    P 1 test t PRIMARY id,a,b
    0 1
    1 >= 1 1 2 0
    0 3 1 a1 b1 2 a2 b2

    SQL原型：SELECT id, a, b FROM test.t WHERE a = ‘a1′ AND b = ‘b1′ LIMIT 1

    shell> telnet localhost 9999
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is "^]".
    P 1 test t a_b id,a,b
    0 1
    1 = 2 a1 b1 1 0
    0 3 1 a1 b1

    对HandlerSocket一个常见的误解是只能执行PRIMARY类型的KV查询，实际上只要支持索引，一般的简单查询它都能胜任，篇幅所限，这里就不多说了，如果你觉得直接操作telnet有些吃力，也可以使用自己熟悉的客户端来测试，官方文档里有介绍。

    • MySQL下的NoSQL解决方案HandlerSocket_鱼缸水浑浊原因和解决方案 相关文章:
    • 爱情文章
    • 亲情文章
    • 友情文章
    • 随笔
    • 哲理
    • 励志
    • 范文大全

    最新文章

    热点文章

    推荐访问

    军训远足心得体会 军训爬山心得体会 大学军训徒步拉练感想 军训徒步作文 军训徒步10公里感想 军训徒步心得体会 5分钟演讲中秋节节日 中秋一分钟演讲 中秋节演讲稿4分钟 中秋节演讲稿一分钟 中秋节演讲稿五分钟 3-5分钟 中秋节短篇演讲稿 中秋节演讲稿两分钟 中秋节的演讲稿3分钟 关于中秋节的演讲稿三分钟 孩子体验军训的心得 参加孩子军训活动的感受与收获 家长对孩子军训后的收获和感悟 小孩军训的收获与感悟 学生军训的收获与感悟 孩子军训成长过程家长感悟 孩子军训感悟 孩子军训心得体会 孩子军训的收获与感悟 兵役前训练心得体会 部队当兵的心得 新兵役前教育训练心得体会 预备役军训心得体会 新兵军训感悟

    本文MySQL下的NoSQL解决方案HandlerSocket_鱼缸水浑浊原因和解决方案由山茶花美文网整理提供，版权归原作者、原出处所有。

    Copyright © 山茶花美文网 All Rights Reserved.