Cara Sinkronisasi Direktori Secara Real-Time di Linux

https://musaamin.web.id/cara-sinkronisasi-direktori-secara-real-time-di-linux/

Sinkronisasi direktori di Linux dapat dilakukan dengan menggunakan rsync, dengan kombinasi cronjob sinkronisasi dapat berjalan secara otomatis pada waktu yang telah ditentukan. Namun pada situasi tertentu, kita ingin sinkronisasi berjalan secara live atau real-time ketika terjadi perubahan pada direktori atau file. Untuk kasus seperti itu kita bisa menggunakan tool lsyncd. lsyncd memantau perubahan pada direktori kemudian melakukan sinkronisasi ke target atau slave. Sinkronisasi hanya satu arah, dari source ke target.

0. Instalasi lsyncd

Di tutorial ini saya menggunakan distro Linux CentOS 7 untuk percobaan.

Instalasi lsyncd

1
2
3
# yum install epel-release -y
# yum install lsyncd -y
# lsyncd -version 

1. Sinkronisasi di Lokal

File konfigurasi lsyncd berada di /etc/lsyncd.conf. Tersedia contoh konfigurasi di /usr/share/doc/lsyncd-2.2.2/examples.

a. Satu Source Satu Target

Percobaan pertama melakukan sinkronisasi dari folder /var/www/html ke folder /root/backup.

Buka file konfigurasi.

1
# nano /etc/lsyncd.conf

Ubah isinya menjadi seperti di bawah ini.

1
2
3
4
5
6
7
8
9
10
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
sync {
 default.rsync,
 source = "/var/www/html",
 target = "/root/backup",
} 

Aktifkan dan jalankan service.

1
2
# systemctl enable lsyncd
# systemctl start lsyncd 

Sekarang uji dengan melakukan perubahan pada folder /var/www/html dan periksa pada folder /root/backup apakah memiliki data yang sama.

Proses sinkronisasi terjadi di background, kita dapat memeriksa sinkronisasi apa saja yang telah dilakukan dengan membaca file log /var/log/lsyncd/lsyncd.log dan file status /var/log/lsyncd/lsyncd.status.

Jika masih ada folder yang ingin disinkronkan, tambahkan config sync.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
sync {
 default.rsync,
 source = "/root/documents/data1",
 target = "/root/backup1",
}
 
sync {
 default.rsync,
 source = "/root/documents/data2",
 target = "/root/backup2",
}
 
sync {
 default.rsync,
 source = "/root/documents/data3",
 target = "/root/backup3",
} 

Jangan lupa melakukan restart service setelah melakukan perubahan konfigurasi.

1
# systemctl restart lsycnd

b. Satu Source Banyak Target

Percobaan kedua melakukan sinkronisasi dari satu sumber direktori ke lebih dari satu tujuan direktori. Target didefinisikan dalam array dan proses sinkronisasi dimasukkan ke dalam operasi pengulangan for.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
targets = {
 '/root/backup1',
 '/root/backup2',
 '/root/backup3',
}
 
for _, target in ipairs( targets )
do
 sync { 
 default.rsync,
 source='/var/www/html',
 target=target
 }
end

c. Banyak Source Satu Target

Percobaan ketiga, banyak sumber direktori yang disinkronisasi ke satu direktori tujuan.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
sources = {
 '/var/www/html',
 '/root/data1',
 '/root/data2',
}
 
for _, source in ipairs( sources )
do
 sync {
 default.rsync,
 source=source,
 target='/root/backups'
}
end

2. Sinkronisasi ke Remote Server

Selanjutnya sinkronisasi ke remote server. Sebelum melakukan konfigurasi lsyncd, terlebih dahulu mesin Master harus bisa login SSH ke Slave tanpa password.

Terdapat 3 mesin CentOS:

Master: 45.76.180.137
Slave 1: 149.28.153.15
Slave 2: 139.180.208.163

a. Satu Source Satu Target

Pada opsi Target dituliskan nomor IP slave beserta direktorinya. Kemudian pada opsi rsync dituliskan perintah ssh login dengan username root dan private key.

1
2
3
4
5
6
7
8
9
10
11
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
sync {
 default.rsync,
 source="/var/www/html",
 target="149.28.153.15:/var/www/html",
 rsync={rsh = "/usr/bin/ssh -l root -i /root/.ssh/private-key",}
} 

b. Satu Source Banyak Target

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status"
}
 
targets = {
 '149.28.153.15:/var/www/html',
 '139.180.208.163:/var/www/html',
}
 
for _, target in ipairs( targets )
do
 sync {
 default.rsync,
 source="/var/www/html",
 target=target,
 rsync={rsh = "/usr/bin/ssh -l root -i /root/.ssh/private-key",}
}
end

selamat mencoba 🙂

===============================================================

Cara Sinkronisasi File dengan Unison

FOSS

Cara Sinkronisasi File dengan Unison

Unison adalah sebuah tool untuk melakukan sinkronisasi file yang mendukung dua arah sinkronisasi, tersedia untuk sistem operasi Linux, OS X, Unix serta Windows. Unison dikembangkan oleh Benjamin C. Pierce, seorang profesor ilmu komputer di Universitas Pennsylvania, dan bersama kontributor lainnya di GitHub.

Install Unison

Install Unison di Ubuntu.

1
apt install unison 

Sinkronisasi Antar Folder

Membuat dua folder.

1
mkdir folder1 folder2 

Membuat 3 file di dalam folder1.

1
touch folder1/f1-data{1..3}.txt 

Mengecek isi folder1.

1
2
3
4
5
ls -l folder1
 
-rw-r--r-- 1 root root 0 Apr  8 08:07 f1-data1.txt
-rw-r--r-- 1 root root 0 Apr  8 08:07 f1-data2.txt
-rw-r--r-- 1 root root 0 Apr  8 08:07 f1-data3.txt

Sinkronisasi folder1 dengan folder2.

1
unison folder1 folder2 

Tampil pertanyaan.

1
Press return to continue.[<spc>] 

Tekan ENTER.

Dilanjutkan proses sinkronisasi dari folder1 ke (—->) folder2, jawab f.

1
2
3
4
folder1        folder2            
file     ---->            f1-data1.txt  [f] f
file     ---->            f1-data2.txt  [f] f
file     ---->            f1-data3.txt  [f] f

Tampil pertanyaan.

1
Proceed with propagating updates? [] 

Jawab y.

Mengecek isi folder2, apakah file dari folder1 sudah tersinkronisasi ke folder2.

1
2
3
4
5
ls -l folder2
 
-rw-r--r-- 1 root root 0 Apr  8 08:13 f1-data1.txt
-rw-r--r-- 1 root root 0 Apr  8 08:13 f1-data2.txt
-rw-r--r-- 1 root root 0 Apr  8 08:13 f1-data3.txt 

Membuat 1 file baru di folder2.

1
touch folder2/f2-data1.txt 

Jalankan sinkronisasi.

1
unison folder1 folder2 

File f2-data1.txt disinkronisasi ke folder1.

Mengecek isi folder1, apakah f2-data1.txt sudah ada.

1
2
3
4
5
6
ls -l folder1
 
-rw-r--r-- 1 root root 0 Apr  8 08:12 f1-data1.txt
-rw-r--r-- 1 root root 0 Apr  8 08:12 f1-data2.txt
-rw-r--r-- 1 root root 0 Apr  8 08:12 f1-data3.txt
-rw-r--r-- 1 root root 0 Apr  8 08:16 f2-data1.txt 

Menambahkan teks ke dalam file f1-data1.txt yang berada di dalam folder2.

1
echo "ini teks dari folder2" > folder2/f1-data1.txt 

Jalankan sinkronisasi.

1
unison folder1 folder2 

Tampilkan isi dari file f1-data1.txt yang berada di folder1, untuk memastikan file sudah tersinkronisasi.

1
cat folder1/f1-data1.txt 

Menghapus file f1-data3.txt yang berada di dalam folder2.

1
rm folder2/f1-data3.txt 

Jalankan sinkronisasi.

1
unison folder1 folder2 

Mengecek isi folder1, apakah file f1-data3.txt sudah terhapus.

1
2
3
4
5
ls -l folder1
 
-rw-r--r-- 1 root root 22 Apr  8 08:20 f1-data1.txt
-rw-r--r-- 1 root root  0 Apr  8 08:12 f1-data2.txt
-rw-r--r-- 1 root root  0 Apr  8 08:16 f2-data1.txt 

Sinkronisasi Antar Server

Untuk sinkronisasi antar server, kita akan mencoba sinkronisasi file yang berada di folder /var/www/html.

Ada 2 server yang digunakan, keduanya memakai Ubuntu Server 20.04.

server01 = 128.199.153.187
server02 = 128.199.208.184

Install Unison dan Apache

Install unison dan Apache di kedua server.

1
apt install unison apache2 -y 

Membuat 3 file di server01.

1
2
touch /var/www/html/srv01-file{1..3}.html
chown -R www-data.www-data /var/www/html 

Login SSH dengan Key

Setting server01 agar bisa login SSH ke server02 dengan menggunakan key.

server01
Membuat key.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
ssh-keygen
 
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): ENTER             
Enter passphrase (empty for no passphrase): ENTER
Enter same passphrase again: ENTER
Your identification has been saved in /root/.ssh/id_rsa
Your public key has been saved in /root/.ssh/id_rsa.pub
The key fingerprint is:
SHA256:NLuPO/kPTk7C1vWCpmjuLqwLZ3uUygAq46iAGSyeiGs root@server01
The key's randomart image is:
+---[RSA 3072]----+
|                 |
|                 |
|        o        |
|o      . o       |
|=.   .  S   .    |
|@o. o  . o o .   |
|@*o+    =.B . .  |
|oEo.+ .oo@ . .   |
|= ++ *= ++=..    |
+----[SHA256]-----+

Copy key ke server02.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
ssh-copy-id -i .ssh/id_rsa root@128.199.208.184
 
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: ".ssh/id_rsa.pub"
The authenticity of host '128.199.208.184 (128.199.208.184)' can't be established.
ECDSA key fingerprint is SHA256:pdF1SBUoLkx/aFPZ7FDhxD3cgJCPLdqx8F+K+gJfyVc.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@128.199.208.184's password: 
 
Number of key(s) added: 1
 
Now try logging into the machine, with:   "ssh 'root@128.199.208.184'"
and check to make sure that only the key(s) you wanted were added. 

Tes login SSH dengan key.

1
ssh root@128.199.208.184 

Membuat Unison Profile

Membuat file Unison profile yang berisi konfigurasi sinkronisasi.

1
nano ~/.unison/web.prf

Isi dari file web.prf.

1
2
3
4
5
6
7
8
9
10
root = /var/www/html
root = ssh://128.199.208.184//var/www/html
 
auto=true
batch=true
fastcheck=true
group=true
owner=true
prefer=newer
times=true 

Tes jalankan sinkronisasi dari profile web.prf.

1
unison web.prf 

Sinkronisasi antar server

Cek isi folder /var/www/html di server02, apakah sudah tersinkronisasi.

1
2
3
4
5
6
ls -l /var/www/html
 
-rw-r--r-- 1 www-data www-data 10918 Apr  8 23:41 index.html
-rw-r--r-- 1 www-data www-data     0 Apr  9 00:13 srv01-file1.html
-rw-r--r-- 1 www-data www-data     0 Apr  9 00:13 srv01-file2.html
-rw-r--r-- 1 www-data www-data     0 Apr  9 00:13 srv01-file3.html

Membuat file di server02.

1
2
touch /var/www/html/srv02-file{1..3}.html
chown -R www-data.www-data /var/www/html 

Jalankan kembali unison, lalu cek di server01 apakah file yang dibuat di server02 sudah tersinkronisasi.

Sinkronisasi file baru dari server02 ke server01

Tambahkan teks di dalam file srv02-file1.html di server02.

1
echo "hello world" > /var/www/html/srv02-file1.html 

Jalankan kembali unison, lalu cek di server01 apakah file yang diubah di server02 sudah tersinkronisasi.

Sinkronisasi ubah file antar server dari server02 ke server01

Menghapus file srv02-file3.html di server02.

1
rm /var/www/html/srv02-file3.html 

Jalankan kembali unison, lalu cek di server01 apakah file yang dihapus di server02 sudah tersinkronisasi.

Sinkronisasi hapus file antar server dari server02 ke server01

Penjadwalan Sinkronisasi

Unison belum bisa secara otomatis melakukan sinkronisasi ketika ada perubahan file. Tapi, kita masih bisa melakukan penjadwalan sinkronisasi dengan cron job sehingga tidak perlu menjalankan unison secara manual.

Membuat cron job.

1
crontab -e 

Jalankan unison setiap 5 menit.

1
*/5 * * * * /usr/bin/unison web.prf &> /dev/null 

Lakukan perubahan file dan cek kembali filenya setelah 5 menit.

Selamat mencoba 🙂

Gratis saldo $100 untuk pendaftaran akun baru di Vultr. Daftar di sini.

# linux # sync # sysadmin # ubuntu server

Kumpulan Tutorial Kito

Rabu, 07 Juni 2023

LSYNC-ubuntu multi server

Cara Sinkronisasi Direktori Secara Real-Time di Linux

0. Instalasi lsyncd

1. Sinkronisasi di Lokal

a. Satu Source Satu Target

b. Satu Source Banyak Target

c. Banyak Source Satu Target

2. Sinkronisasi ke Remote Server

a. Satu Source Satu Target

b. Satu Source Banyak Target

Cara Sinkronisasi File dengan Unison

Install Unison

Sinkronisasi Antar Folder

Sinkronisasi Antar Server

Install Unison dan Apache

Login SSH dengan Key

Membuat Unison Profile

Penjadwalan Sinkronisasi

Tidak ada komentar:

Posting Komentar