图片 7

Server中的谓词和运算符,O开销分析

刚处理完“挖矿”事件,在做最后一个MySQL
NBU备份的时候,发现从库有问题,好奇的是怎么主从状态异常没有告警呢?先不管这么多了,处理了这个问题再完善告警内容。

一.概述

  IO 内存是sql
server最重要的资源,数据从磁盘加载到内存,再从内存中缓存,输出到应用端,在sql
server
内存初探中有介绍。在明白了sqlserver内存原理后,就能更好的分析I/O开销,从而提升数据库的整体性能。
在生产环境下数据库的sqlserver服务启动后一个星期,就可以通过dmv来分析优化。在I/O分析这块可以从物理I/O和内存I/O二方面来分析,
重点分析应在内存I/O上,可能从多个维度来分析,比如从sql
server服务启动以来
历史I/O开销总量分析,自执行计划编译以来执行次数总量分析,平均I/0次数分析等。

  sys.dm_exec_query_stats:返回缓存的查询计划,缓存计划中的每个查询语句在该视图中对应一行。当sql
server工作负载过重时,该dmv也有可以统计不正确。如果sql
server服务重启缓存的数据将会清掉。这个dmv包括了太多的信息像内存扫描数,内存空间数,cpu耗时等,具体查看msdn文档。

  sys.dm_exec_sql_text:返回的 SQL
文本批处理,它是由指定sql_handle,其中的text列是查询的文本。

1.1 按照物理读的页面数排序 前50名

SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

  如下图所示:

  total_physical_reads:计划自编译后在执行期间所执行的物理读取总次数。

  execution_count :计划自上次编译以来所执行的次数。

  [avg I/O]:    平均读取的物理次数(页数)。

  creation_time:编译计划的时间。 

        query_text:执行计划对应的sql脚本

       后面来包括所在的数据库ID:dbid,数据库名称:dbname

图片 1

 1.2 按照逻辑读的页面数排序 前50名

SELECT TOP 50
 qs.total_logical_reads,
 qs.execution_count,
  qs.max_elapsed_time,
 qs.min_elapsed_time,
 qs.total_logical_reads/qs.execution_count AS [AVG IO],
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1 
 THEN LEN(CONVERT(NVARCHAR(max),qt.text)) *2
  ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) 
  AS query_text,
 qt.dbid,
 dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
  creation_time,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_logical_reads DESC

如下图所示:

图片 2

  通过上面的逻辑内存截图来简要分析下:

  从内存扫描总量上看最多的是8311268次页扫描,自执行编译后运行t-sql脚本358次,这里的耗时是毫秒为单位包括最大耗时和最小耗时,平均I/O是23215次(页),该语句文本是一个update
修改,该表数据量大没有完全走索引(权衡后不对该语句做索引覆盖),但执行次数少,且每次执行时间是非工作时间,虽然扫描开销大,但没有影响白天客户使用。

  从执行次数是有一个43188次, 内存扫描总量排名39位。该语句虽然只有815条,但执行次数很多,如里服务器有压力可以优化,一般是该语句没有走索引。把文本拿出来如下

SELECT  Count(*)  AS TotalCount FROM [MEM_FlagshipApply]
 WITH(NOLOCK) Where (((([Status] = 2) AND ([IsDeleted] = 1)) AND ([MemType] = 0)) AND ([MEMID] <> 6))

下面两图一个是分析该语句的执行计划,sqlserver提示缺少索引,另一个是i/o统计扫描了80次。

图片 3

图片 4

 新建索引后在来看看

 CREATE NONCLUSTERED INDEX ix_1
ON [dbo].[MEM_FlagshipApply] ([Status],[IsDeleted],[MemType],[MEMID])

  图片 5

   
  图片 6

 

  

一、错误信息

   谓词和运算符配合使用是我们得到理想数据的最佳途径。

从库show slave status \G看到的错误信息如下:

 

Slave_IO_Running: No
Slave_SQL_Running: Yes
Last_IO_Errno: 1236
Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Client requested master to start replication from impossible position; the first event 'mysql-bin.000081' at 480141113, the last event read from './mysql-bin.000081' at 4, the last byte read from './mysql-bin.000081' at 4.'

一、浅谈谓词

二、错误原因

  谓词的概念:一个运算结果为True、False或Unknown的逻辑表达式。它的运用范围有:where子句、Having子句、Check约束、联接查询的联接条件等。

这里看到从库的io_thread已经终止,错误编号是1236,具体是由于读取主库的binlog日志位置(the first event ‘mysql-bin.000081’ at 480141113, the
last event read from ‘./mysql-bin.000081’ at
4)不对导致主从失败建立失败。

示例1,用于实施数据完整性为数据表添加约束:在员工表中,仅允许工资大于0的员工存储在表中。其中的谓词是“工资大于0”(SQL表达式:工资>0)。

三、解决方案

示例2,用于查询筛选数据的条件:查询员工表要求只返回销售部的员工。其中谓词是“部门等于销售部”(SQL表达式:部门=’销售部’)。

1.检查从库状态以及读取、执行的binlog信息

  

mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: 
                  Master_Host: xx.xx.xx.xx
                  Master_User: username
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000081
          Read_Master_Log_Pos: 480141113
               Relay_Log_File: mysql9017-relay-bin.000163
                Relay_Log_Pos: 480141259
        Relay_Master_Log_File: mysql-bin.000081
             Slave_IO_Running: No
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 480141113
              Relay_Log_Space: 480141462
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 1236
                Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Client requested master to start replication from impossible position; the first event 'mysql-bin.000081' at 480141113, the last event read from './mysql-bin.000081' at 4, the last byte read from './mysql-bin.000081' at 4.'
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 17
1 row in set (0.00 sec)

  谓词和运算符的相互使用:

2.查看主库的binlog内容

    1.通过逻辑运算符连接多个谓词(逻辑表达式),如使用AND和OR。

[backup]# mysqlbinlog  mysql-bin.000081 >mysql-bin.log

    2.谓词中使用比较运算符,如某个属性值大于或小于某指定个值。

图片 7

  

看到主库binlog日志mysql-bin.000081最大的pos为480140557,但从库要读取的是’mysql-bin.000081′ at
480141113,显然从库要读的pos值比主库本身存在的pos值大,导致读取不到,进而失败。

  SQL Server中有一些关键字可以替代谓词语义的含义,也可以称为SQL
Server中的谓词。

可通过下面语句查看binlog的pos信息和日志内容
mysql> show binlog events in  ‘mysql-bin.000081’ from 480140557 limit
10;       
Empty set (0.04 sec)
3.更改从库的同步位置,完成数据重新同步

  其中常用的包括:

 主库:

    1.IN,在…之内,检查一个值是否存在于指定的集合内。     

mysqlbinlog  mysql-bin.000082  |more

    2.BETWEEN,检查一个值是否在指定的区间范围内,范围包括两个边界值。

从库:

    3.LIKE,判断字符串是否满足指定的格式,例如,查询名字姓氏为黄的员工(where
name like ‘黄%’)。

change master to master_host='xx.xx.xx.xx',master_user='username',master_port=3306,master_password='password',master_log_file='mysql-bin.000082',master_log_pos=4;

 

start slave;

 

show slave status \G

二、运算符

主从同步正常

    比较运算符:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

标签:
网站地图xml地图