迹忆客 专注技术分享

我们将学习如何将 ElasticSearch 与 MySQL 集成。 我们还将研究 JSON 格式数据库和关系数据库之间的一些主要区别。

将 ElasticSearch 与 MySQL 集成

众所周知，MySQL 是一种基于关系的数据管理系统，它将数据存储在模式中。

另一方面，Elastic Search (ES) 是基于数据存储的 NoSQL。 它是一个开源的分布式搜索引擎。

它提供实时数据分析。 因此在某些情况下它比 RDBMS 更有效。

它搜索网站/应用程序，收集和分析日志数据，数据分析和可视化。 JSON格式DB和关系数据库的基本术语区别是：数据库等于集群，表等于索引（数据组织机制，在JSON doc中存储复杂的数据结构），行等于文档，列等于字段。

节点的集合称为集群； 分片是数据片段。 这里的先决条件是我们需要安装 MySQL。

可以在 MySQL 社区服务器部分找到开源版本，您可以在 MySQL 下载站点找到它。

接下来，我们在 MySQL 中创建一个表。

CREATE DATABASE info_cus;
DROP TABLE IF EXISTS info_cus;
CREATE TABLE info_cus(
  id integer NOT NULL,
  PRIMARY KEY (id),
  employe_n VARCHAR(32) NOT NULL,
  update_time datetime NOT NULL
);

Insert 语句

现在我们转到 MySQL 服务器并插入这些记录：

INSERT INTO info_cus (id, employe_n,update_time)
VALUES (1,'ali',CURDATE()),
(2,'Ayesha',CURDATE()),
(3,'Rizwan',CURDATE()),
(4,'Tanveer',CURDATE());

现在我们检查：

select * from info_cus;

输出:

id    employe_n    update_time
1    ali            2022-11-13 15:31:05
2    Ayesha        2022-11-13 15:31:05
3    Rizwan        2022-11-13 15:31:05
4    Tanveer        2022-11-13 15:31:05

如果我们得到正确的记录表，我们就可以开始了。

由于ES是基于Java的，所以我们需要下载JDBC连接器来连接两者。 此连接将有助于从数据存储中提取所需的数据并将其移至 Elastic Search。

要下载 JDBC 连接器，请转至此链接。 会有一个jar文件； 因为它是通用的，所以它可以在任何操作系统上运行——Windows、macOS 等。

接下来，我们提取文件并确保我们使用 bin.jar 文件，无论您安装的是什么版本，将此文件复制到根目录，名称为 jdbc.jar。 在 /logstash-7.12.0/ 中，生成一个名为 jdbc_conn.conf 的新文本文件。

在这个新的文本文件中使用下面给出的代码。 它将通过 JDBC 插件创建一个 Logstash 管道。

input {
  jdbc {
    jdbc_driver_library => "<driverpath>/mysql-connector-java-<versionNumber>.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://<MySQL host>:3306/es_db"
    jdbc_user => "<myusername>"
    jdbc_password => "<mypassword>"
    jdbc_paging_enabled => true
    tracking_column => "unix_ts_in__seconds"
    use_column_value => true
    tracking_column_type => "numeric"
    schedule => "*/5 * * * * *"
    statement => "select *, unix_timestamp AS unix_ts_in__seconds FROM elas_table where (unix_timestamp > :sql_last_value AND modification_time < NOW()) ORDER BY modification_time ASC"
  }
}
filter {
  mutate {
    copy => { "id" => "[@metadata][_id]"}
    remove_field => ["id", "@version", "unix_ts_in__seconds"]
  }
}

输出:

{
  stdout { codec =>  "rubydebug"}
}

现在，使用新的 JDBC_conn 配置文件打开 Logstash：bin/logstash -f jdbc_conn.conf。 最后我们去Logstash搬移数据，登录Elastic Search对Kibana中的数据进行鉴权。