ASKDBA

本文为mongoDB 4.0 副本集的详细安装配置文档。 1. 服务器基础环境优化ulimit设置1234567echo "" > /etc/security/limits.d/90-nproc.confecho "* hard nproc 150000" >> /etc/security/limits.d/90-nproc.confecho "* soft nproc 150000" >> /etc/security/limits.d/90-nproc.confecho "* hard nofile 250000" >> /etc/security/limits.d/90-nproc.confecho "* soft nofile 250000" >> /etc/security/limits.d/90 ...

blog 搭建所需工具 Git 客户端 Node.js hexo 工具安装hexo 安装1npm install -g hexo-cli 创建站点修改npm源npm config set registry “https://registry.npm.taobao.org“ 初始化站点进入要创建的文件夹，如 D:\proj 123hexo init myblogcd myblog npm install 本地运行如果只是想看在本地运行，可直接 12hexo generatehexo server (或 hexo server -p 9090) Github Pages 运行创建新 rep 1xxj123go.github.io 修改 _config.yml1234deploy: type: git #部署的类型 repository: https://github.com/xxj123go/xxj123go.github.io.git # 仓库地址 branch: master #分支名称 安装插件1npm install hexo-deployer-git -- ...

percona 5.7 版本已经将 tokudb 集成进去中，并且原生支持了热备，民间方案可以退役了。 安装    1.ps-admin -uroot -p’123456’ -S /tmp/mysql_5001.sock  –defaults-file=/etc/my_5001.cnf –enable-tokubackup    2.配置文件添加 innodb_use_native_aio = 0    3.restart mysql    4.ps-admin -uroot -p’123456’ -S /tmp/mysql_5001.sock  –defaults-file=/etc/my_5001.cnf –enable-tokubackup    5.创建备份文件夹(次文件夹必须存在，且为空，否则备份将报错)  mkdir /data0/backup/5001_tokudb ; chown -R mysql:mysql  /da ...

以前mysql恢复误删数据用的比较多的是基于原始binlog或binlog2sql，昨天又遇到一例开发误删的问题，这次用用美团开源的工具 MyFlash试试。用下来效果还是不错的，基于库 or 表的过滤可以有效的筛选出来目标sql。 项目地址https://github.com/Meituan-Dianping/MyFlash/ 实现原理1https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651747096&idx=1&sn=e561ce9254f69c3fcd04c73b44e56e69&chksm=bd12aa558a65234332298e1d611da408ec45afb2d08ecd22078a600379525e75b2fa13149fb0&mpshare=1&scene=23&srcid=1116o1gBWoNf47Rv1E1ngYir#rd 限制         1. binlog格式必须为row,且binlog_row_image=ful ...

目的复制环境中 master 宕机，提升一台 slave（slave1） 作为新的 master  演示环境master  slave1 slave2 slave3 前提条件所有 slave 都具备如下配置     开启 –log-bin      关闭 –log-slave-updates (如果 slave 开启了这个参数，会导致在它成为 master 之后，将他收到的 binlog 传给其他 slave ) 切换流程1. 在所有 slave 上执行    1.1 stop slave io_thread;    然后查看 SHOW PROCESSLIST 输出，确保提示 Has read all relay log，这时候就可以选新 master 了。2. 在新主 slave1 上执行    2.1 stop slave ;    2.2 reset master ;3. 在其他从库 slave2 和 slave3 上执行    3.1 stop slave ;     3.2 change master to master_host=’slave1’(还有 us ...

数据是时序的，一定带有时间戳：联网的设备按照设定的周期，或受外部的事件触发，源源不断的产生数据，每一个数据点是在一时间点产生的，这个时间对于数据的计算和分析十分重要，必须要记录。 数据是结构化的：网络爬虫的数据、微博、微信的海量数据都是非结构化的，可以是文字、图片、视频等等。但物联网设备产生的数据往往是结构化的，而且是数值型的，比如智能电表采集的电流、电压就可以用4字节的标准的浮点数来表示。 数据极少有更新操作：联网设备产生的数据是机器日志数据，一般不容许而且也没有修改的必要。很少有场景，需要对采集的原始数据进行修改。但对于一个典型的信息化或互联网应用，记录是一定可以修改或删除的。 数据源是唯一的：一个物联网设备采集的数据与另外一个设备采集的数据是完全独立的。一台设备的数据一定是这台设备产生的，不可能是人工或其他设备产生的，也就是说一台设备的数据只有一个生产者，数据源是唯一的。 相对互联网应用，写多读少：对于互联网应用，一条数据记录，往往是一次写，很多次读。比如一条微博或一篇微信公共号文章，一次写，但有可能上百万人读。但物联网设备产生的数据不一样，对于产生的数据，一般是计算、分析程序 ...

周五下班前同事要一个权限账号搭建 maxwell，结果导致复制环境不同步。 故障现象收到报警，当前复制环境复制不同步。看了下报错很诡异 12190801 18:16:04 [ERROR] Slave SQL: Error 'Character set '#45' is not a compiled character set and is not specified in the '/usr/local/mysql/share/charsets/Index.xml' file' on query. Default database: 'maxwell'. Query: 'CREATE DATABASE IF NOT EXISTS `maxwell`', Error_code: 22190801 18:16:04 [Warning] Slave: Character set '#45' is not a compiled character set and is n ...

当 linux 系统内核发生崩溃的时候，可以通过 kdump 等方式收集内核崩溃之前的内存，生成一个转储文件 vmcore , crash 是一个广泛使用的内核崩溃转储文件分析工具. Kdump 是一种基于 kexec 的内存转储工具，目前它已经被内核主线接收，成为了内核的一部分，它也由此获得了绝大多数 Linux 发行版的支持。与传统的内存转储机制不同不同，基于 Kdump 的系统工作的时候需要两个内核，一个称为系统内核，即系统正常工作时运行的内核；另外一个称为捕获内核，即正常内核崩溃时，用来进行内存转储的内核。 #### 工具准备 uname -r 2.6.32-696.el6.x86_64拿到内核版本号，去下面链接下载对应的包http://debuginfo.centos.org/6/x86_64/ 12345kernel-debuginfo-2.6.32-696.el6.x86_64.rpmkernel-debuginfo-common-x86_64-2.6.32-696.el6.x86_64.rpmrpm -ivh kernel-debuginfo-2.6.32-696. ...

 很多开发看到如下日志会问dba什么原因导致的，借此机会把所有可能的原因整理出来的，希望可能给你一些排查方向。 [Note] Aborted connection 75782957 to db: ‘unconnected’ user: ‘root’ host: ‘localhost’ (Got timeout reading communication packets) 诊断方向 error log general log show status like ‘%Aborted_%’            关注两个参数值的变化：Aborted_clients 和 Aborted_connects 详解如果是客户端没法连接到服务端，Aborted_connects 值会增加，对应的可能性有： A client attempts to access a database but has no privileges for it. 一个没有权限的客户端对数据库发起访问。 A client uses an incorrect password. 客户端使用了错误的密码。 A connec ...

背景 当异常掉电后，实例启动会报类似如下错误，属于文件级别的损坏，这时候常规的修复方案是没用的，可以使用 wt 进行数据打捞。 123452019-07-10T21:06:05.725-0500 E STORAGE  [initandlisten] WiredTiger (0) [1454119565:724960][1745:0x7f2ac9534bc0], file:WiredTiger.wt, cursor.next: read checksum error for 4096B block at offset 6799360: block header checksum of 1769173605 doesnt match expected checksum of 41760847832019-07-10T21:06:05.725-0500 E STORAGE  [initandlisten] WiredTiger (0) [1454119565:725067][1745:0x7f2ac9534bc0], file:WiredTiger.wt, cursor.next: Wir ...