自动清理binlog日志的方法,实现互换表中两列数据方法简单实例

pt-pmp,mysqlptpmp

pt-pmp有两方面的作用:一是获取进程的堆栈信息,二是对这些堆栈信息进行汇总。

进程的堆栈信息是利用gdb获取的,所以在获取的过程中,会对mysql服务端的性能有一定的影响。

用官方的话说:

This will freeze the program for some period of time, ranging from a second or so to much longer on very busy systems with a lot of memory and many threads in the program.

In addition to freezing the server, there is also some risk of the server crashing or performing badly after GDB detaches from it.

 

pt-pmp脚本本身是用shell写的,用法也比较简单,唯一的要求是服务器上已安装gdb包。

不然会报如下错误:

[[email protected] ~]# pt-pmp --binary mysqld
Sat Oct 29 17:32:34 CST 2016
/usr/local/bin/pt-pmp: line 663: gdb: command not found

 

下面看看其具体参数

–binary

指定分析的进程名,如果不指定,则默认是mysqld,从这个参数可以看出,pt-pmp不仅仅适用于mysqld。

short form: -b; type: string; default: mysqld
Which binary to trace.

 

–help

Show help and exit.

 

–interval

迭代时间之间的间隔,从源代码也可以看出

for x in $(_seq $OPT_ITERATIONS); do
         gdb -ex "set pagination 0"    \
             -ex "thread apply all bt" \
             -batch                    \
             -p $OPT_PID               \
             >> "$output_file"
         date +'TS %N.%s %F %T' >> "$output_file"
         sleep $OPT_INTERVAL
      done

$OPT_ITERATIONS是下面–iterations参数,而$OPT_INTERVAL即sleep的时间。

short form: -s; type: int; default: 0
Number of seconds to sleep between --iterations.

 

 –iterations

从上面的源代码可以看出,所谓的迭代其实就是执行gdb命令的次数

short form: -i; type: int; default: 1
How many traces to gather and aggregate.

 

–lines

指定打印汇总后每一个分类中的头几个函数。

譬如原始汇总信息如下:

# pt-pmp 1.txt 
   1928 poll(libc.so.6),vio_io_wait(viosocket.c:771),vio_socket_io_wait(viosocket.c:68),vio_read(viosocket.c:123),net_read_raw_loop(net_serv.cc:669),net_read_packet_header(net_serv.cc:751),net_read_packet(net_serv.cc:751),my_net_read(net_serv.cc:894),do_command(sql_parse.cc:969),do_handle_one_connection(sql_connect.cc:982),handle_one_connection(sql_connect.cc:898),pfs_spawn_thread(pfs.cc:1860),start_thread(libpthread.so.0),clone(libc.so.6)     
   80 libaio::??(libaio.so.1),os_aio_linux_collect(os0file.cc:4977),os_aio_linux_handle(os0file.cc:4977),fil_aio_wait(fil0fil.cc:5809),io_handler_thread(srv0start.cc:492),start_thread(libpthread.so.0),clone(libc.so.6)     
   69 poll(libc.so.6),vio_io_wait,vio_socket_io_wait,vio_read,net_read_raw_loop,net_read_packet,my_net_read,do_command,do_handle_one_connection,handle_one_connection,pfs_spawn_thread,start_thread(libpthread.so.0),clone(libc.so.6)
   ...

如果指定–line参数,则输出如下:

# pt-pmp --lines 2 1.txt 
   1928 poll(libc.so.6),vio_io_wait(viosocket.c:771)
   80 libaio::??(libaio.so.1),os_aio_linux_collect(os0file.cc:4977)
   69 poll(libc.so.6),vio_io_wait

 

short form: -l; type: int; default: 0
Aggregate only first specified number of many functions; 0=infinity.

 

–pid

指定进程的pid,该参数会覆盖–binary参数。

short form: -p; type: int
Process ID of the process to trace; overrides --binary.

 

–save-samples

是否将gdb获取的原始堆栈信息(注意,没有汇总)保存在文件中。

short form: -k; type: string
Keep the raw traces in this file after aggregation.

 

–version

Show version and exit.

 

所以,总结其可用用法如下:

  1. 汇总pstack获取的结果

   # ps -ef |grep mysqld

   # pstack 10230 > 10230.info

   # pt-pmp 10230.info 

  1. 直接根据进程名汇总堆栈信息

   # pt-pmp –binary mysqld

3.
上述命令只是一次迭代的结果,如果要迭代多次,且每次相隔1s,可指定如下:

   # pt-pmp –binary mysqld –iterations 2 –interval 1

  1. 如果要同时保留汇总前的堆栈信息,可指定–save-samples参数

   # pt-pmp –binary sshd –save-samples sshd.txt

   

   

pt-pmp有两方面的作用:一是获取进程的堆栈信息,二是对这些堆栈信息进行汇总。
进程的堆栈信息是利用gdb获取的,所以在…

mysql 实现互换表中两列数据方法简单实例,mysql两列

由于最近项目,有这样一个需求,是把数据库中的两列数据互换,经过好久才搞定,这里写个简单实例,做过记录。

1.创建表及记录用于测试

CREATE TABLE `product` (
 `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '产品id',
 `name` varchar(50) NOT NULL COMMENT '产品名称',
 `original_price` decimal(5,2) unsigned NOT NULL COMMENT '原价',
 `price` decimal(5,2) unsigned NOT NULL COMMENT '现价',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `product` (`id`, `name`, `original_price`, `price`) VALUES 
(NULL, '雪糕', '5', '3.5'), 
(NULL, '鲜花', '18', '15'), 
(NULL, '甜点', '25', '12.5'), 
(NULL, '玩具', '55', '45'), 
(NULL, '钱包', '285', '195');

mysql> select * from product;
+----+--------+----------------+--------+
| id | name  | original_price | price |
+----+--------+----------------+--------+
| 1 | 雪糕  |      5.00 |  3.50 |
| 2 | 鲜花  |     18.00 | 15.00 |
| 3 | 甜点  |     25.00 | 12.50 |
| 4 | 玩具  |     55.00 | 45.00 |
| 5 | 钱包  |     285.00 | 195.00 |
+----+--------+----------------+--------+
5 rows in set (0.00 sec)

2.互换original_price与price的值

新手可能会使用以下方法进行互换

update product set
original_price=price,price=original_price;

但这样执行的结果只会使original_price与price的值都是price的值,因为update有顺序的,

先执行original_price=price ,
original_price的值已经更新为price,

然后执行price=original_price,这里相当于没有更新。

执行结果:

mysql> select * from product;
+----+--------+----------------+--------+
| id | name  | original_price | price |
+----+--------+----------------+--------+
| 1 | 雪糕  |      5.00 |  3.50 |
| 2 | 鲜花  |     18.00 | 15.00 |
| 3 | 甜点  |     25.00 | 12.50 |
| 4 | 玩具  |     55.00 | 45.00 |
| 5 | 钱包  |     285.00 | 195.00 |
+----+--------+----------------+--------+
5 rows in set (0.00 sec)

mysql> update product set original_price=price,price=original_price;
Query OK, 5 rows affected (0.00 sec)
Rows matched: 5 Changed: 5 Warnings: 0

mysql> select * from product;
+----+--------+----------------+--------+
| id | name  | original_price | price |
+----+--------+----------------+--------+
| 1 | 雪糕  |      3.50 |  3.50 |
| 2 | 鲜花  |     15.00 | 15.00 |
| 3 | 甜点  |     12.50 | 12.50 |
| 4 | 玩具  |     45.00 | 45.00 |
| 5 | 钱包  |     195.00 | 195.00 |
+----+--------+----------------+--------+
5 rows in set (0.00 sec)

正确的互换方法如下:

update product as a, product as b set
a.original_price=b.price, a.price=b.original_price where
a.id=b.id;

执行结果:

mysql> select * from product;
+—-+——–+—————-+——–+
| id | name   | original_price | price  |
+—-+——–+—————-+——–+
|  1 | 雪糕   |           5.00 |   3.50 |
|  2 | 鲜花   |          18.00 |  15.00 |
|  3 | 甜点   |          25.00 |  12.50 |
|  4 | 玩具   |          55.00 |  45.00 |
|  5 | 钱包   |         285.00 | 195.00 |
+—-+——–+—————-+——–+
5 rows in set (0.00 sec)

mysql> update product as a, product as b set
a.original_price=b.price, a.price=b.original_price where a.id=b.id;
Query OK, 5 rows affected (0.01 sec)
Rows matched: 5  Changed: 5  Warnings: 0

mysql> select * from product;
+—-+——–+—————-+——–+
| id | name   | original_price | price  |
+—-+——–+—————-+——–+
|  1 | 雪糕   |           3.50 |   5.00 |
|  2 | 鲜花   |          15.00 |  18.00 |
|  3 | 甜点   |          12.50 |  25.00 |
|  4 | 玩具   |          45.00 |  55.00 |
|  5 | 钱包   |         195.00 | 285.00 |
+—-+——–+—————-+——–+
5 rows in set (0.00 sec)

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

实现互换表中两列数据方法简单实例,mysql两列
由于最近项目,有这样一个需求,是把数据库中的两列数据互换,经过好久才搞定,这…

MySQL 自动清理binlog日志的方法,mysqlbinlog

说明:

开启MySQL
binlog日志的服务器,如果不设置自动清理日志,默认binlog日志一直保留着,时间一长,服务器磁盘空间被binlog日志占满,导致MySQL数据库出错。

使用下面方法可以安全清理binlog日志

一、没有主从同步的情况下清理日志

mysql -uroot -p123456 -e ‘PURGE MASTER LOGS BEFORE DATE_SUB( NOW(
),INTERVAL 5 DAY)’;

#mysql 定时清理5天前的binlog

mysql -u root -p  #进入mysql 控制台

reset master;  #重置binlog

二、MySQL主从同步下安全清理binlog日志

1、mysql  -u root -p   #进入从服务器mysql控制台
show slave status\G;  
#检查从服务器正在读取哪个日志,有多个从服务器,选择时间最早的一个做为目标日志。
2、进入主服务器mysql控制台

show master log;   #获得主服务器上的一系列日志
PURGE MASTER LOGS TO ‘binlog.000058’;  
#删除binlog.000005之前的,不包括binlog.000058
PURGE MASTER LOGS BEFORE ‘2016-06-22 13:00:00’;  #清除2016-06-22
13:00:00前binlog日志
PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY); 
#清除3天前binlog日志

三、设置自动清理MySQL binlog日志

vi  /etc/my.cnf  #编辑配置

expire_logs_days = 15 #自动删除15天前的日志。默认值为0,表示从不删除。
log-bin=mysql-bin #注释掉之后,会关闭binlog日志
binlog_format=mixed #注释掉之后,会关闭binlog日志

:wq!  #保存退出

扩展阅读:

mysql> help purge;

Name: ‘PURGE BINARY LOGS’

Description:

Syntax:

PURGE { BINARY | MASTER } LOGS

{ TO ‘log_name’ | BEFORE datetime_expr }

The binary log is a set of files that contain information about data

modifications made by the MySQL server. The log consists of a set of

binary log files, plus an index file (see

).

The PURGE BINARY LOGS statement deletes all the binary log files listed

in the log index file prior to the specified log file name or date.

BINARY and MASTER are synonyms. Deleted log files also are removed from

the list recorded in the index file, so that the given log file becomes

the first in the list.

This statement has no effect if the server was not started with the

–log-bin option to enable binary logging.

URL:

Examples:

PURGE BINARY LOGS TO ‘mysql-bin.010’;

PURGE BINARY LOGS BEFORE ‘2008-04-02 22:46:26’;

下面是其它网友给出的方法,大家可以参考一下

MYSQL主从复制(replication)采用 RBR
模式后,binlog的格式为”ROW”,能解决很多原先出现的主键重复问题。
在一个繁忙的master db
server上,binlog日志文件增长速度很快,如果不定时清除,硬盘空间很快就会被充满。
设置自动清理mysql binlog日志,配置my.cnf:

expire_logs_days = 10

在运行时修改:

show binary logs;
show variables like ‘%log%’;
set global expire_logs_days = 10;

清除之前可以采用相应的备份策略。

手动删除10天前的MySQL binlog日志:

PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY);
show master logs;

MASTER和BINARY是同义词。

一般情况下,推荐使用MIXED
binlog的复制。
uses query-level logging: The master writes the executed queries to the
binary log. This is a very fast, compact, and efficient logging method
that works perfectly in most cases.

附:关于MYSQL复制的几种模式

从 MySQL 5.1.12 开始,可以用以下三种模式来实现:
– 基于SQL语句的复制(statement-based replication, SBR),
– 基于行的复制(row-based replication, RBR),
– 混合模式复制(mixed-based replication, MBR)。
相应地,binlog的格式也有三种:STATEMENT,ROW,MIXED。 MBR 模式中,SBR
模式是默认的。

在运行时可以动态改动 binlog的格式,除了以下几种情况:
. 存储流程或者触发器中间
. 启用了NDB
. 当前会话试用 RBR 模式,并且已打开了临时表

如果binlog采用了 MIXED 模式,那么在以下几种情况下会自动将binlog的模式由
SBR 模式改成 RBR 模式。
. 当DML语句更新一个NDB表时
. 当函数中包含 UUID() 时
. 2个及以上包含 AUTO_INCREMENT 字段的表被更新时
. 行任何 INSERT DELAYED 语句时
. 用 UDF 时
. 视图中必须要求运用 RBR 时,例如建立视图是运用了 UUID() 函数

设定主从复制模式:
log-bin=mysql-bin
#binlog_format=”STATEMENT”
#binlog_format=”ROW”
binlog_format=”MIXED”

也可以在运行时动态修改binlog的格式。例如
mysql> SET SESSION binlog_format = ‘STATEMENT’;
mysql> SET SESSION binlog_format = ‘ROW’;
mysql> SET SESSION binlog_format = ‘MIXED’;
mysql> SET GLOBAL binlog_format = ‘STATEMENT’;
mysql> SET GLOBAL binlog_format = ‘ROW’;
mysql> SET GLOBAL binlog_format = ‘MIXED’;

两种模式各自的优缺点:

SBR 的优点:
历史悠久,技能成熟
binlog文件较小
binlog中包含了所有数据库修改信息,可以据此来审核数据库的安全等情况
binlog可以用于实时的还原,而不仅仅用于复制
主从版本可以不一样,从服务器版本可以比主服务器版本高
SBR 的缺点:
不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。
调用具有不确定因素的 UDF 时复制也可能出疑问
运用以下函数的语句也不能被复制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非启动时启用了 –sysdate-is-now 选项)
INSERT … SELECT 会产生比 RBR 更多的行级锁
复制须要执行 全表扫描(WHERE 语句中没有运用到索引)的 UPDATE 时,须要比
RBR 请求更多的行级锁
对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT
语句
对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR
模式下,只会对那个发生变化的记录产生影响
存储函数(不是存储流程 )在被调用的同时也会执行一次 NOW()
函数,这个可以说是坏事也可能是好事
确定了的 UDF 也须要在从服务器上执行
数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错
执行复杂语句如果出错的话,会消耗更多资源

RBR 的优点:
任何情况都可以被复制,这对复制来说是最安全可靠的
和其他大多数数据库系统的复制技能一样
多数情况下,从服务器上的表如果有主键的话,复制就会快了很多
复制以下几种语句时的行锁更少:
* INSERT … SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行 INSERT,UPDATE,DELETE 语句时锁更少
从服务器上采用多线程来执行复制成为可能
RBR 的缺点:
binlog 大了很多
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,而
SBR 只会写一次,这会导致频繁发生 binlog 的并发写疑问
UDF 产生的大 BLOB 值会导致复制变慢
不能从 binlog 中看到都复制了写什么语句(加密过的)
当在非事务表上执行一段堆积的SQL语句时,最好采用 SBR
模式,否则很容易导致主从服务器的数据不一致情况发生
另外,针对系统库 mysql 里面的表发生变化时的处理准则如下:
如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据
binlog_format 的设定而记录
如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何
都采用 SBR 模式记录。
注:采用 RBR 模式后,能处理很多原先出现的主键重复问题。实例:
对于insert into db_allot_ids select * from db_allot_ids 这个语句:
在BINLOG_FORMAT=STATEMENT 模式下:
BINLOG日志信息为:
—————————————–
BEGIN
/*!*/;
# at 173
#090612 16:05:42 server id 1 end_log_pos 288 Query thread_id=4
exec_time=0 error_code=0
SET TIMESTAMP=1244793942/*!*/;
insert into db_allot_ids select * from db_allot_ids
/*!*/;
—————————————–

在BINLOG_FORMAT=ROW 模式下:
BINLOG日志信息为:
—————————————–
BINLOG ‘
hA0yShMBAAAAMwAAAOAAAAAAAA8AAAAAAAAAA1NOUwAMZGJfYWxsb3RfaWRzAAIBAwAA
hA0yShcBAAAANQAAABUBAAAQAA8AAAAAAAEAAv/8AQEAAAD8AQEAAAD8AQEAAAD8AQEAAAA=
‘/*!*/;
—————————————–

清理日志步骤
1.查找日志档案
mysql> show binary logs;
+—————-+———–+
| Log_name       | File_size |
+—————-+———–+
| ablelee.000001 | 150462942 |
| ablelee.000002 |       125 |
| ablelee.000003 |       106 |
+—————-+———–+
2.删除bin-log(删除ablelee.000003之前的而没有包含ablelee.000003)
mysql> purge binary logs to ‘ablelee.000003’;
Query OK, 0 rows affected (0.16 sec)

3.  查询结果(现在只有一条记录了.)

mysql> show binlog events\G
*************************** 1. row
***************************
   Log_name: ablelee.000003
        Pos: 4
 Event_type: Format_desc
  Server_id: 1
End_log_pos: 106
       Info: Server ver: 5.1.26-rc-log, Binlog ver: 4
1 row in set (0.01 sec)
(ablelee.000001和ablelee.000002已被删除)
mysql> show binary logs;
+—————-+———–+
| Log_name       | File_size |
+—————-+———–+
| ablelee.000003 |       106 |
+—————-+———–+
1 row in set (0.00 sec)
 
(删除的其它格式运用!)
   PURGE {MASTER | BINARY} LOGS TO ‘log_name’
  PURGE {MASTER | BINARY} LOGS BEFORE ‘date’
  用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件中的清单中被删除,这样被给定的日志成为第一个。
  例如:
  PURGE MASTER LOGS TO ‘mysql-bin.010’;
  PURGE MASTER LOGS BEFORE ‘2008-06-22 13:00:00’;
    清除3天前的 binlog
    PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY);
  BEFORE变量的date自变量可以为’YYYY-MM-DD
hh:mm:ss’格式。MASTER和BINARY是同义词。
  如果您有一个活性的从属服务器,该服务器当前正在读取您正在试图删除的日志之一,则本语句不会起作用,而是会失败,并伴随一个错误。不过,如果从属服务器是休止的,并且您碰巧清理了其想要读取的日志之一,则从属服务器启动后不能复制。当从属服务器正在复制时,本语句可以安全运行。您不需要停止它们。
  要清理日志,需按照以下步骤:
  1. 在每个从属服务器上,使用SHOW SLAVE
STATUS来检查它正在读取哪个日志。
  2. 使用SHOW MASTER LOGS获得主服务器上的一系列日志。
  3.
在所有的从属服务器中判定最早的日志。这个是目标日志。如果所有的从属服务器是更新的,这是清单上的最后一个日志。

  4.
制作您将要删除的所有日志的备份。(这个步骤是自选的,但是建议采用。)

  5. 清理所有的日志,但是不包括目标日志

自动清理binlog日志的方法,mysqlbinlog
说明: 开启MySQL
binlog日志的服务器,如果不设置自动清理日志,默认binlog日志一直保留着,时间一…

发表评论

电子邮件地址不会被公开。 必填项已用*标注

标签:
网站地图xml地图