大数据Canal(二):Canal下载安装

Canal下载安装

一、安装前准备(开启MySQL binlog)

对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,开启Mysql binlog日志步骤如下:


【资料图】

1、登录mysql查看MySQL是否开启binlog日志

[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";

2、开启mysql binlog日志

在/etc/my.cnf文件中[mysqld]下写入以下内容:

[mysqld]# 随机指定一个不能和其他集群中机器重名的字符串,配置 MySQL replaction 需要定#义,不要和 canal 的 slaveId 重复server-id=123 #配置binlog日志目录,配置后会自动开启binlog日志,并写入该目录log-bin=/var/lib/mysql/mysql-bin# 选择 ROW 模式binlog-format=ROW

MySQL binlog-format有三种模式:Row、Statement 和 Mixed 。

Row:不记录sql语句上下文相关信息,仅保存哪条记录被修改。

优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以row level的日志内容会非常清楚的记录下每一行数据修改的细节。

缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容,比如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中。

Statement(默认):每一条会修改数据的sql都会记录在binlog中

这种模式下,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql来再次执行。

优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。

缺点:由于只记录语句,所以,在statement level下 已经发现了有不少情况会造成MySQL的复制出现问题,主要是修改数据的时候使用了某些定的函数或者功能的时候会出现。 例如:update 语句中含有uuid() ,now() 这种函数时,Statement模式就会有问题(update t1 set xx = now() where xx = xx)

Mixed: 混合模式

在Mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志格式,也就是在Statement和Row之间选择一种。如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更。

3、重启mysql 服务,重新查看binlog日志情况

[root@node2 ~]# service mysql restart[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";

二、​​​​​​​下载安装Canal

1、下载Canal

Cannal下载地址如下:Releases · alibaba/canal · GitHub

这里选择Canal 1.1.4版本下载。

2、上传解压

将下载好的Canal安装包上传到node3节点上,解压

#首先创建目录 “/software/canal”[root@node3 ~]# mkdir -p /software/canal#将Canal安装包解压到创建的canal目录中[root@node3 ~]# tar -zxvf /software/canal.deployer-1.1.4.tar.gz  -C /software/canal/

标签:

x 广告
百科大全 我想学做早点可以在哪里学啊

可以学做早点的地方如下:1、早点培训中心,地址在安徽省合肥市瑶海区长江东路953号附近。2、无为早点培训中心,地址在山东省枣庄市滕州市

知识 德国和瑞士远吗

瑞士和德国是邻国,德国位于欧洲西部,东邻波兰、捷克,南接奥地利、瑞士,西接荷兰、比利时、卢森堡、法国,北与丹麦相连并邻北海和波罗的

重磅!2022年自然指数年度榜单揭晓 中国位居第二

6月16日,2022自然指数年度榜单(NatureIndex2022annualtables)揭晓,展示了不同国家和科研机构在自然科学领域的高质量科研产出情况。其中,

最新!科学家开发出半透明载玻片控制光流的能力

据最新一期《自然·光子学》杂志报道,澳大利亚国立大学(ANU)物理学家开发出一种微小的半透明载玻片,通过操纵光在纳米尺度上的传播方向,

重磅!内蒙古自治区部署“十四五”期间节能减排十大重点工程

节能减排是党中央、国务院作出的重大决策部署。近年来,自治区党委、政府高度重视节能减排各项工作,将其作为推动内蒙古自治区经济社会全面

时政现场评丨跟随总书记的脚步 在三晋大地上踏雪迎春

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

第一观察·瞬间 | 两度踏雪 一路为民

春节前夕,习近平总书记赴山西考察调研,看望慰问基层干部群众。总书记走进两个村——霍州市师庄乡冯南垣村、汾西

100的背后是什么?

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

在北京的非洲体育人:准备好为北京冬奥会喝彩

<script src="http: tv people com cn img player v js">< script><script>showPlayer({id:" pvservice xml 202

国网绍兴供电公司:打造新型有源配电网 保障山区用电可靠

1月25日,国网绍兴供电公司通过配电自动化主站平台远程控制位于绍兴南部山区线路末端发电机成功启动,成功以小成

x 广告

Copyright ©  2015-2022 世界城市网版权所有  备案号:琼ICP备2022009675号-1   联系邮箱:435 227 67@qq.com