zk+kafka+storm クラスターの docker-compose デプロイメントの実装

yum アップデート -y     
yum インストール -y yum-utils デバイスマッパー永続データ lvm2    
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo    
yum インストール docker-ce docker-ce-cli containerd.io   
systemctl ドッカーを起動する

yum で epel-release をインストールします   
python-pip をインストールします   
pip インストール --upgrade pip   
pip で docker-compose をインストールします

vim /etc/hosts   
172.22.12.20 データクラウド0   
172.22.12.21 データクラウド1   
172.22.12.22 データクラウド2   
172.22.12.23 データクラウド3   
172.22.12.24 データクラウド4

動物園:   
    画像: 動物園飼育係:3.4.14   
    再起動: 常に   
    ホスト名: zoo1   
    コンテナ名: zoo1   
    ポート:   
     - 2181:2181   
     -2888:2888   
     -3888:3888   
    ボリューム:   
     - 「./zoo/data:/data」   
     - 「./zoo/datalog:/datalog」   
    環境：   
     動物園ID: 1   
     ZOO_SERVERS: サーバー.1=0.0.0.0:2888:3888 サーバー.2=172.22.12.21:2888:3888 サーバー.3=172.22.12.22:2888:3888

カフカ:   
    画像: wurstmeister/kafka:2.12-2.2.2   
    再起動: 常に   
    ホスト名: kafka1   
    コンテナ名: kafka1   
    ポート:   
     - 「9092:9092」   
    環境：   
     KAFKA_ADVERTISED_LISTENERS: プレーンテキスト://172.22.12.20:9092   
     KAFKA_ADVERTISED_HOST_NAME: 172.22.12.20   
     KAFKA_ADVERTISED_PORT: 9092   
     KAFKA_ZOOKEEPER_CONNECT: 172.22.12.20:2181、172.22.12.21:2181、172.22.12.22:2181   
    ボリューム:   
     - ./kafka/logs:/kafka

インフルエンスDB:   
    画像: influxdb:1.7   
    再起動: 常に   
    コンテナ名: influxdb   
    ポート:   
     - 「2003:2003」   
     - 「8086:8086」   
     - 「8089:8089」   
     - 「8091:8091」   
    ボリューム:   
     - 「./influxdb:/var/lib/influxdb」   
    環境：   
     - INFLUXDB_GRAPHITE_ENABLED = true  

docker-compose [-f <ファイル名>] up -d   
docker-compose [-f <ファイル名>] ダウン

ズクイ:   
    画像: maauso/zkui   
    再起動: 常に   
    コンテナ名: zkui   
    ポート:   
     -9090:9090   
    環境：   
     ZKリスト: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   
   カフドロップ:   
    画像: obsidiandynamics/kafdrop:latest   
    再起動: 常に   
    コンテナ名: kafdrop   
    ポート:   
     - 「9000:9000」   
    環境：   
     KAFKA_BROKERCONNECT: 172.22.12.20:9092、172.22.12.20:9092、172.22.12.20:9092   
   グラファナ:   
    画像: grafana/grafana:master   
    再起動: 常に   
    コンテナ名: grafana   
    ポート:   
     - 「3000:3000」   
    ボリューム:   
     - 「./grafana:/var/lib/grafana」 

ニンバス:
  画像: storm:2.2.0
  コンテナ名: nimbus1
  コマンド: ストームニンバス
  再起動: 常に
  ホスト名: nimbus1
  ポート:
   -6627:6627
  ボリューム:
   - 「./storm.yaml:/conf/storm.yaml」
   - 「./nimbus/data:/data」
   - 「./nimbus/logs:/logs」

 監督者:
  画像: storm:2.2.0
  コンテナ名: supervisor1
  指揮: 嵐の監督者
  ホスト名: supervisor1
  依存:
   -ニンバス
  リンク:
   - ニンバス:ニンバス
  再起動: 常に
  ボリューム:
   - 「./storm.yaml:/conf/storm.yaml」
   - 「./supervisor/data:/data」
   - 「./supervisor/logs:/logs」

storm.zookeeper.servers: 
 - 「172.22.12.20」
 - 「172.22.12.21」
 - 「172.22.12.22」
ニンバスシード:
 - 「ニンバス1」
 - 「ニンバス2」
 - 「ニンバス3」
storm.log.dir: "/logs"
storm.local.dir: "/データ"
storm.cluster.mode: 分散

ストームUI:
  画像: storm:2.2.0
  コンテナ名: storm-ui
  コマンド: storm ui
  依存:
   -ニンバス
  リンク:
   - ニンバス:ニンバス
  再起動: 常に
  ポート:
   - 8080:8080
  ボリューム:
   - 「./storm.yaml:/conf/storm.yaml」
   - 「./ui/data:/data」
   - 「./ui/logs:/logs」 
  追加ホスト:
   - 「ニンバス1:172.22.12.20」
   - 「ニンバス2:172.22.12.21」
   - 「ニンバス3:172.22.12.22」
   - 「スーパーバイザー1:172.22.12.20」
   - 「スーパーバイザー2:172.22.12.21」
   - 「スーパーバイザー3:172.22.12.22」

[mysqld]
log-bin=mysql-bin # binlogを有効にする
binlog-format=ROW # ROWモードを選択 server_id=1 # MySQLの置き換えを構成するには定義が必要です。チャネルのスレーブIDを繰り返さないでください

運河サーバー:
  イメージ: canal/canal-server:v1.1.3
  コンテナ名: 運河サーバー
  ポート:
   - 11111:11111
  環境：
   - キャナルインスタンスmysql.スレーブID=12
   - キャナル自動スキャン=false
   - 運河の目的地=データクラウド
   - キャナルインスタンスマスターアドレス=10.23.16.32:3307
   - canal.instance.dbユーザー名=root
   - canal.instance.dbパスワード=chinaunicom@dengfy
   - canal.instance.filter.regex=river\\..*
  ボリューム:
   - ./canal-server/logs/:/admin/canal-server/logs/

ポーター:
  画像: portainer/portainer:1.24.1
  再起動: 常に
  コンテナ名: portainer_datacloud
  ポート:
   - 「8000:8000」
   - 「9002:9000」
  ボリューム:
   - 「./portainer/data:/data」
   - "/var/run/docker.sock:/var/run/docker.sock"