分类: bigdata

Pulsar 2.7:集群,认证、授权,函数计算,CDC

一些问题 Apache Pulsar 2.7.1 当 Functions Worker 独立运行时,客户端需要直接 Worker,现在的 Pulsar 还不能通过 broker 找到 Worker 地址。社区已有相应的 PR #6425 修复 当配置了 Pulsar 集群配置了认证/授权,且 connector 使用进程模式运行时,现在 connector 未继承 Functions Worke

Flink Kafka 确定一次消费与写入

Flink Kafka Exactly Once,确定一次消费/写入。示例代码:https://github.com/yangbajing/learn-bigdata/tree/develop/learn-flink/src/main/scala/connector/kafka 。 ConsumerProducerProducer exactly once 需要启用 flink 的检查点,并在实例

PostgreSQL高可用 - PG 11集群

《PostgreSQL从入门到不后悔》 《PostgreSQL高可用:逻辑复制》 《PostgreSQL高可用 - PG 11集群》 高可用性:数据库服务器可以一起工作, 这样如果主要的服务器失效则允许一个第二服务器快速接手它的任务 负载均衡: 允许多个计算机提供相同的数据 本文使用的主要技术有: CentOS 7 x86_64 PostgreSQL 11.4 系统安装、配置1234

PostgreSQL高可用:逻辑复制

《PostgreSQL从入门到不后悔》 《PostgreSQL高可用:逻辑复制》 《PostgreSQL高可用 - PG 11集群》 从PostgreSQL 10(以下简称PG)开始,PG支持逻辑复制能力,可实现仅复制部分表或PG服务器上的部分database。逻辑复制的一大优点是支持跨版本间复制,也不需要主从节点的操作系统和硬件架构相同。例如,我们可以实现一台Linux服务器上的PG 11和

Ambari2.6(HDP2.6.5)安装记要

本文介绍在 CentOS 7 环境下使用 Ambari2.5 (HDP2.6) 搭建大数据环境。 推荐使用如下脚本将 Ambari/HDP 相关软件包下到本地后配置 yum 源安装,在线安装速度太慢会经常遇到包找不到情况。 1234567891011nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updat

PostgreSQL从入门到不后悔

《PostgreSQL从入门到不后悔》 《PostgreSQL高可用:逻辑复制》 《PostgreSQL高可用 - PG 11集群》 安装 PostgreSQL 10下载 PostgreSQL 10,postgresql-10.1-3-linux-x64-binaries.tar.gz。下载地址:https://get.enterprisedb.com/postgresql/postgresq

Elasticsearch备份、恢复

迁移注意事项 保证ES集群不再接受新的数据(如果是备份的话,这一点可以不考虑,但是做数据迁移的话,建议这样做)。同一个repository只应有一个集群可写,其它集群都应以readonly模式连接。 不建议直接在生产环境做这些操作,最好是先在本地搭建一个和生产环境一样的集群环境,创建一些测试数据,把整个过程先跑一遍,然后再到生产环境操作。 dn126 为要备份的源数据节点,而 localhost

PostgreSQL高可用-主/热备集群

高可用性:数据库服务器可以一起工作, 这样如果主要的服务器失效则允许一个第二服务器快速接手它的任务 负载均衡: 允许多个计算机提供相同的数据 本文使用的主要技术有: CentOS 7 x86_64 PostgreSQL 9.6.5 系统安装、配置CentOS 7 安装12[hldev@centos7-001 ~]$ sudo yum -y install https://download

Elasticsearch集群设置

Elasticsearch是一个优秀的全文检索和分析引擎,由Shay Banon发起的一个开源搜索服务器项目,2010年2月发布。具有分布式性质和实时功能。 本文基于5.x版本,需要使用 Java 8 update 20或更新版。 配置Elasticsearch使用很方便,默认开箱即用。不过做为一个集群,还是需要稍做一些配置。整个配置都位于 config 目录,可以看到两个文件:elasticse