返回目录：win7问题
内容导航：
一、数据库集群自动重启？Linux 硬件错误日志立大功！
请及时关注“高效运维(微信ID：greatops)”公众号，并置顶公众号，以免错过各种干货满满的原创文章。
环境：两台某想R680的物理机搭建一套2节点RAC，数据库版本为ORACLE 11.2.0.4
一、故障问题现象
节点2频繁发生重启，从1月至2月发生多次重启，甚至一天内3次重启，让人头疼。
点击可查看高清大图
二、问题分析处理过程
1、检查是否时间同步问题
首先怀疑是时间不同步造成的。
观察现象是该服务器的ntp时间同步offset过大（下图offset为11376）
点击可查看高清大图
并在数据库的CTSS日志出现不正常的返回值
点击可查看高清大图
在这里发现一个问题，就是时间源指向旧的时间源服务器10.33.144.18和10.33.144.19，而服务器在新的数据中心，所以修改为新数据的时间源服务器11.8.13.1和11.8.13.9，并修改了BIOS时钟，使系统时钟和硬件时钟时间一致。
至此，时间同步问题排除。
2、检查数据库日志反应的问题
通过查ALERT日志，发现有节点驱逐
点击可查看高清大图
又查CSSD日志发现
点击可查看高清大图
显示有磁盘的心跳，但无网络的心跳。
此时判断：node 2 节点老是频繁重启，私网出问题的概率会较大，因此从网络处查。
node 2 每次重启完以后，都能顺利加入rac集群，更不是时间同步的问题。
补充：
如果集群中的节点连续丢失磁盘心跳或网络心跳，该节点就会被从集群中驱逐，也就是节点重启。组管理导致的节点重启，我们称之为node kill escalation（只有在11gR1以及以上版本适用）。
重启需要在指定的时间（reboot time,一般为3秒）内完成。
网络心跳：ocssd.bin进程每秒钟向集群中的各个节点通过私网发送网络心跳信息，以确认各个节点是否正常。
如果某个节点连续丢失网络心跳达到阀值，misscount（默认为30秒，如果存在其他集群管理软件则为600秒），集群会通过表决盘进行投票，使丢失网络心跳的节点被主节点驱逐出集群，即节点重启。
如果集群只包含2个节点，则会出现脑裂，结果是节点号小的节点存活下来，即使是节点号小的节点存在网络问题。
磁盘心跳：ocssd.bin进程每秒钟都会向所有表决盘（Voting File）注册本节点的状态信息，这个过程叫做磁盘心跳。
如果某个节点连续丢失磁盘心跳达到阀值disk timeou(一般为200秒)，则该节点会自动重启以保证集群的一致性。
另外，CRS只要求[N/2]+1个表决盘可用即可，其中N为表决盘数量，一般为奇数。
3、核查是否网络的问题
这套RAC的心跳网是由ETH13和ETH15两块网卡组成，对应两个交换机的两个端口。
先后采取激活宕掉交换机两个端口和网卡口没有解决问题，最后又采用换线、单独拉线等解决办法，发现线的光衰有点大，但重启问题没有最终解决。
4、检查是否是硬件的问题
问题至此陷入了困境，换个思路既然网络和数据库都可能不是问题，那么硬件真的能独善其身，超然之外么？
答案是否定的，那就是硬件的问题。
在节点发生重启时，数据库的日志里有中断的现象，那么会不会是CPU和内存的问题呢？检查下MCELOG日志就知道了。
MCELOG：不容忽视的日志
mcelog 是 x86 的 Linux 系统上用来检查硬件错误，特别是内存和CPU错误的工具。它的日志就是MCELOG.
一般来说大内存的服务器容易出现内存上的问题，现在内存控制器都是集成在cpu里，内存的校验错误和CPU的问题易引起服务器的重启。
好了，下面我们看看MCELOG日志的错误提示
点击可查看高清大图
ORACLE官方对MCELOG事件的解释：
点击可查看高清大图
至此，问题浮出水面。和硬件厂商联系，刷主板固件程序，更换一根内存后问题最终解决。
三、问题总结与思考
1、不能忽视监控的作用。这次内存硬件的问题，在服务器硬件监控平台没有被发现，这个需要联系厂商，继续完善服务器硬件监控的细粒度和敏感性
2、从日志、网络、数据库、系统、硬件等方面全面排查，问题终会被发现。
3、解决问题靠的是耐心和细心，进一步再进一步，问题终会被解决。
END.
重新定义运维
让运维成为企业核心竞争力
2 天60 位运维行业顶级大咖，倾情奉献！
现在报名可享受8折优惠，欲购从速！
↓↓↓ 点击"阅读原文" 【直接报名】
二、服务器mysql数据库老自动停止，请问怎么回事
服务器mysql数据库老自动停止是因为在设置时出现了问题，解决方法为：
1、首先登陆服务器。
2、登陆MySQL数据库；命令如下：mysql -u root -p pwd。
3、查询MySQL数据库是否允许远程ip访问。
4、开启远程访问操作。命令如下：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '111qqqpwd' WITH GRANT OPTION;FLUSH PRIVILEGES。
5、打开navicate客户端，新建mysql链接。
6、输入远程MySQL数据库链接信息，点击测试链接。数据库链接成功。
注意事项：
MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。
三、mysql的主从复制，linux重启后遇到问题。
1、编辑数据库配置文件my.cnf,一般在/etc/目录下。#vi /etc/my.cnf
在[mysqld]的下面加入下面代码：
log-bin=mysql-bin
server-id=1
innodb_flush_log_at_trx_commit=1
sync_binlog=1
binlog-do-db=wordpress
binlog_ignore_db=mysql
server-id=1中的1可以任定义，只要是唯一的就行。
binlog-do-db=wordpress是表示只备份wordpress。
binlog_ignore_db=mysql表示忽略备份mysql。
不加binlog-do-db和binlog_ignore_db，那就表示备份全部数据库。
2、然后重启MySQL:
#service mysqld restart
3、登录MySQL服务器。
#mysql -uroot -p
在主服务器新建一个用户赋予“REPLICATION SLAVE”的权限。你不需要再赋予其它的权限。在下面的命令，把X.X.X.X替换为从服务器的IP。
mysql>CREATE USER 'user'@ 'X.X.X.X' IDENTIFIED BY 'password';
mysql>GRANT REPLICATION SLAVE ON *.* TO 'user'@'X.X.X.X' IDENTIFIED BY 'password';
4、执行以下命令锁定数据库以防止写入数据。
mysql>FLUSH TABLES WITH READ LOCK;
5、退出mysql命令行，导出数据库
#mysqldump -u root -p123456 --all-databases --lock-tables=false -- > /root/all.sql
6、使用scp命令传输数据库文件all.sql到从服务器。
#scp /root/all.sql root@
7、再次连接数据库进入mysql命令行查看master状态。
mysql>SHOW MASTER STATUS;
请记下显示的信息，配置从服务器会用到。
+——————+———-+————–+——————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+——————+———-+————–+——————+
| mysql-bin.000003 | 1001741 | dbispconfig | mysql |
+——————+———-+————–+——————+
1 row in set (0.00 sec)
8、解锁数据表。
mysql>UNLOCK TABLES;
配置从服务器(slave)
登录从服务器。
1、导入主服务器的数据库。
#mysql -u root -p123456 < /root/all.sql
2、编辑配置文件my.cnf,在[mysqld]下面加入：
server-id=2
2可以自己定义，只要保证唯一的就行。
3、保存文件并重启mysqld。
#service mysqld restart
4、登录mysql服务器，执行以下命令。
mysql>CHANGE MASTER TO
MASTER_HOST='X.X.X.X',
MASTER_USER='user',
MASTER_PASSWORD='password',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=98,
MASTER_CONNECT_RETRY=10;
MASTER_HOST:主服务器的IP。
MASTER_USER：配置主服务器时建立的用户名
MASTER_PASSWORD：用户密码
MASTER_PORT：主服务器mysql端口，如果未曾修改，默认即可。
5、启动slave进程。
mysql>START SLAVE;
6、查看mysql的日志，一般在/var/log/目录下的mysqld.log，如果启动成功，你应该会看到类似下面的日志。
[root@localhost ~]# vi /etc/my.cnf
091104 8:42:02 [Note] Slave I/O thread: connected to master ‘root@X.X.X.X:3306?, replication started in log ‘mysql-bin.000001? at position 98
现在主服务器和从服务器已经配置好了。另外可能需要设置主服务器的数据库二进制日志的过期时间，可以在配置文件中使用参数expire_logs_days来设定。
四、linux出现数据库错误怎么解决
在新的服务器上要导入备份，那么操作之前要新建一个数据库；
创建数据库给予相应权限--》导入数据库
比如：数据库名称和用户都为test123,数据库密码mima123
mysql -uroot -p
createdatabase test123;
grantall privileges on test123.*to'test123'@'localhost' identifiedby'mima123';flushprivileges;quit
mysql -uroot -p test123