Apa itu NoSQL Database ?

  NOSQL adalah istilah untuk menyatakan berbagai hal yang didalamnya termasuk database sederhana yang berisikan key danvalue seperti Memcache, ataupun yang lebih canggih yaitu non-database relational seperti MongoDBCassandraCouchDB, dan yang lainnya.

Wikipedia menyatakan NoSQL adalah sistem menejemen database yang berbeda dari sistem menejemen database relasional yang klasik dalam beberapa hal. NoSQL mungkin tidak membutuhkan skema table dan umumnya menghindari operasi join dan berkembang secara horisontal. Akademisi menyebut database seperti ini sebagai structured storage, istilah yang didalamnya mencakup sistem menejemen database relasional.

Database relasional sudah ada semenjak tahun 70-an sehingga teknologi mereka sudah sangat matang. Secara umum mereka mendukung operasi transaksi, yang mengijinkan kita merubah sebagian data, melakukan kontrol terhadap operasi database, support terhadap constraint seperti unique, primary key, foreign key dan check. Mereka juga memiliki bahasa SQL atau Simplified Query Language untuk mengakses data, merubah data seperti operasi insert, update dan delete.

Walaupun SQL dalam arti sesungguhnya adalah simple atau sederhana, dan developer selama bertahun tahun menggunakannya, tetapi mereka merasa kurang puas bahkan cenderung tidak menyukainya. Alasan lainnya, RDBMS atau Relational Database Management System tidak dapat berkembang horisontal secara baik. Seringnya kita mendapatkan database yang berkembang tetapi secara read-only melalui kemampuan replikasi database dan untuk mendapatkan database yang berkembang horisontal secara read-write itu sangat sulit. Oracle saja sampai perlu membangun ORACLE RAC atau Real Application Cluster, yang menemui banyak tantangan untuk melakukan sinkronisasi data di internal cache melalui inter-koneksi khusus. Faktanya, perubahan data yang terjadi itu memerlukan waktu untuk mengirimkannya ke berbagai sistem. Selama data tersebut belum terkirimkan, kita memakai data yang tidak valid atau stale data/delta data.

Adanya database NoSQL seperti MongoDB yang mencoba untuk menyelesaikan permasalahan ini. Disini, Data tidak ditulis/dibaca dari database dengan menggunakan bahasa SQL, tetapi menggunakan metode object-oriented yang lebih disukai oleh developers. Kelebihan lainnya adalah adanya dukungan adanya banyaknya tipe index yang berbeda beda untuk lookupsterhadap data tertentu. Mereka juga memiliki kemampuan clustering secara default.

Setelah sekian lama muncul, database NoSQL tidak serta merta memiliki banyak penggemar. Untuk pastinya, banyak perusahaan besar yang menggunakan NoSQL database, tetapi secara umum mereka menggunakannya untuk kebutuhan kebutuhan yang spesial. Mereka perlu melihat apakah database ini bisa berkembang dengan kapasitas data yang sangat besar dan banyak dipergunakan di berbagai applikasi, jika tidak, mereka tidak melihat alasan untuk berpindah.

Lain kesempatan akan saya coba membahas satu persatu feature yang dimiliki database database NoSQL ini.

Pgfouine menganalisa PostgreSQL Log

  Setelah kita mengaktifkan fasilitas log dari database Postgresql, maka di dalam direktori log akan muncul file *.log. File *.log ini jika kita dapat kita baca dengan menggunakan text editor, isinya bisa bermacam macam bergantung setting parameter yang kita lakukan pada file postgresql.conf. Untuk DBA yang sudah berpengalaman, mereka dapat membaca isi file log ini dengan cepat untuk mendapatkan gambaran mengenai isi file log tersebut. Tetapi apabila file log tersebut sudah berukuran cukup besar, tentu saja mereka akan kesulitan untuk membaca dan memahami file log tersebut.

Umumnya logging di PostgreSQL tidak dilakukan dalam waktu yang lama. Waktu selama 3 jam sudah cukup lama untuk ukuran database yang aktif. Karena proses logging ini dapat membuat sistem database menjadi lambat, sehingga mengaktifkan fasilitas logging harus dilakukan dengan hati hati dan dengan penuh pertimbangan.

Komunitas Postgresql telah menyediakan suatu tools untuk menganalisa file log yang dihasilkan, namanya pgfouine. Tools ini akan membantu menganalisa isi file log yang telah dihasilkan. Tools ini dibuat melalui bahasa pemrograman php, sehingga anda perlu menginstall php sebelum menggunakan file ini.

Berikut adalah step untuk melakukan analisa file log postgresql di sistem saya, Ubuntu 11.04 :

    1. aktifkan fasilitas log di postgresql
    2. edit file postgresql.conf

      $ sudo vim /etc/postgresql/postgresql.conf

      Dan ubah parameter parameter berikut ini :

      1. log_destination = 'stderr'
      2. silent_mode = on
      3. log_min_duration = 0
      4. log_duration = on
      5. log_statement = 'all'
      6. log_line_prefix = '%t [%p]: [%l-1] '
      7. lc_messages = 'en_GB.utf8'
    3. restart database postgresql

$ sudo /etc/init.d/postgresql restart

    1. download tools pgfouine dari website pgfouine, ambil file yang tarball (*tar.gz)
    2. extract pgfouine di direktory anda, dan berpindahlah ke direktory tersebut


1. $ tar -xfs pgfouine.tar.gz
2. $ cd pgfouine

  1. jalankan pgfouine

    sudo ./pg_fouine.php -logtype stderr -file /var/log/postgresql/pgsql.log > report.html
  2. buka file report.html melalui browser anda

Didalam file report tersebut, anda bisa melihat query mana saja yang lambat, query mana saja yang dieksekusi berulang ulang dan seterusnya. Untuk query yang lambat tersebut anda harus mencari solusinya dengan cara melakukan tuning. Umumnya solusi untuk tuning 1 query akan berbeda untuk query yang lainnya. Kita akan mempelajari tuningnya dilain kesempatan.

Thank you.

Aktivasi PostgreSQL Log

  Setelah sekian lama menggunakan postgresql, saya masih penasaran dengan bagaimana cara postgresql melakukan log terhadap semua sql statement yang di jalankannya. Akhirnya saya coba untuk mengaktifkan feature loggind di database postgresql 9 di local komputer saya untuk memastikan apakah semua applikasi yang saya pakai memakai prepared statement.

Berikut adalah langkah langkah setting postgresql.conf untuk menaktifkan log :

  • Edit file postgresql.conf, di ubuntu saya lokasinya seperti ini :

    sudo vim /etc/postgresql/9.0/main/postgresql.conf
  • Setelah itu ubah nilai parameter parameter berikut :

    log_destination = 'stderr'
    logging_collection = 'on'
    log_directory = '/var/log/postgresql'
    log_filename = 'pgsql-%Y-%m-%d_%H%M%S.log'
    log_connections = on
    log_disconnections = on
    log_error_verbositu = verbose
    log_statement = on
  • setelah itu restart database postgresql kita:

    sudo /etc/init.d/postgresql restart
  • perhatikan direktory /var/log/postgresql, akan muncul 1 file baru dengan awalan pgsql-XXX.log, nah file inilah yang akan kita pergunakan untuk melihat isi file log yang di hasilkan oleh postgres, :

    sudo tail -f /var/log/postgresql/pgsql-XXX.log
  • Kemudian jalankan applikasi kita yang menggunakan database, dan amati perubahan yang terjadi di dalam file log tersebut. Berikut adalah hal-hal yang biasanya saya amati didalam file log :
    • error message
    • warning message
    • prepare statement
    • client connection / disconnection
  • Thank you

Postgresql 9 Stream Replication

  Stream Replication adalah feature terbaru dari Postgresql 9. Stream Replication termasuk dalam kategory Standby Database, yang artinya database replikasi ini berada dalam mode standby, read-only, tidak dipergunakan untuk transaksi.

Stream Replication di postgresql melakukan sinkronisasi data background prosess yang sebut walsender dan walreceiver. Background process inilah yang bertanggung jawab mengirimkan perubahan data melalui network port.
Perubahan yang terjadi di master server akan dengan cepat diimplementasikan di slave server.

Jadi, transaksi database tetap dilakukan di server master, seperti insert, delete, update dan seterusnya. Server
slave dipergunakan untuk transaksi read-only, seperti query, export data dan seterusnya. Apabila terjadi suatu hal terhadap server master, misalnya terjadi kerusakan sistem, maka server slave bisa disetting untuk menggantikan master server.

Persiapan :

  1. Siapkan 2 server linux ubuntu. Saya menggunakan IP address 192.168.0.1 untuk master dan 192.168.0.2 untuk slave servernya. Stream Replication hanya bisa berjalan apabila versi postgresql sama dan menggunakan operating system dengan versi yang sama pula.
  2. Matikan postgresql yang sedang berjalan, baik di master maupun di slave, agar tidak ada user yang melakukan transaksi ke database :

    $ sudo /etc/init.d/postgresql stop
  3. pastikan versi linux anda berjalan pada arsitektur yang sama, 32 bit atau 64 bit :

    $ sudo uname -m

    jika yang keluar adalah x86_64 berarti 64 bit, jika yang keluar adalah i386 / i686 berarti 32 bit.

Master Server :

  1. buat direktori archive di dalam data_directory untuk menampung file wal. Default data_directory postgresql 9 di ubuntu adalah di direktori /var/lib/postgresql/9.0/main.

    $ sudo mkdir /var/lib/postgresl/9.0/main/archive
    $ sudo chown postgres:postgres /var/lib/postgresl/9.0/main/archive
     
  2. buka file postgresql.conf yang menyimpan informasi parameter inisialisasi :

    $ sudo nano /etc/postgresql/9.0/main/postgresql.conf
     
  3. ubah parameter yang ada menjadi seperti ini dan save filenya :
                     listen_address = '*'
                     wal_level = hot_standby
                     checkpoint_segment = 16                 
                     archive_mode = on
                     archive_command = 'cp -i %p /var/lib/postgresql/9.0/main/archive/%f <dev/null'
                     max_wal_senders = 3
                     wal_keep_segments = 32
    
                
  4. buka file pg_hba.conf, yang menyimpan konfigurasi koneksi ke database :

    $ sudo nano /etc/postgresql/9.0/main/pg_hba.conf
     
  5. tambahkan baris konfigurasi seperti ini, untuk memastikan agar slave dapat terkoneksi ke master server, dan save filenya :

    host replication all 192.168.0.2/32 trust 

Slave Server :

  1. buka file postgresql.conf yang menyimpan informasi parameter inisialisasi :

    $ sudo nano /etc/postgresql/9.0/main/postgresql.conf
     
  2. ubah parameter yang ada menjadi seperti ini dan save filenya :

    listen_address = '*'
    hot_standby = on
     
  3. buat file recovery.conf di direktory data_directory. Default data_directory postgresql 9 di ubuntu adalah di direktori /var/lib/postgresql/9.0/main. :

    $ sudo nano /var/lib/postgresql/9.0/main/recovery.conf
     
  4. tambahkan parameter berikut ini dan save filenya:

    standby_mode = 'on'
    primary_conninfo = 'host=192.168.0.1 port=5432 user=postgres password=postgres'
    restore_command = 'cp /path/for/backups/%f %p'
     

Sinkronisasi :

  1. Setelah master dan slave server selesai di konfigurasi, maka langkah berikutnya adalah melakukan sinkronisasi data. Lakukan step step berikut ini dengan cepat.
  2. Start database postgresql di MASTER SERVER :

    $ sudo /etc/init.d/postgresql start
     
  3. Login ke postgresql di MASTER SERVER :

    $ sudo psql -U postgres
     
  4. Jalankan perintah backup di MASTER SERVER :

    postgres# select pg_start_backup('clone', true);
     
  5. copy file database di MASTER SERVER ke SLAVE SERVER :

    postgres# \! rsync -av --exclude pg_xlog --exclude postgresql.conf --exclude postgresql.pid /var/lib/postgresql/9.0/main/* 192.168.0.2:/var/lib/postgresql/9.0/main/
     
  6. stop backup database di MASTER SERVER :

    postgres# select pg_stop_backup();
     
  7. copy direktory pg_xlog di MASTER SERVER ke SLAVE SERVER:

    postgres# \! rsync -av /var/lib/postgresql/9.0/main/pg_xlog 192.168.0.2:/var/lib/postgresql/9.0/main/
     
  8. Start database postgresql di SLAVE SERVER :

    $ sudo /etc/init.d/postgresql start
     
  9. Nah sekarang anda dapat melakukan testing melalui master server, buatlah tabel kosong dan lakukan semua perintah insert, delete, update ke dalam tabel tersebut, dan insert kan beberapa record kedalamnya, dan lihat hasilnya di slave server.

Thank you.

Install postgresql 9 di Ubuntu 10.10

  Postgresql telah melepas postgresql 9. Saatnya kita mencoba kemampuannya. Berikut cara instalasi postgresql di ubuntu 10.10.

Tutorial :

  1. Kita perlu menambahkan repository postgres 9.0, maka edit file source.list

    $ sudo vim /etc/apt/source.list
  2. Tambahkan baris perintah berikut, dan kemudian simpan :

    deb http://ppa.launchpad.net/pitti/postgresql/ubuntu maverick main
    deb-src http://ppa.launchpad.net/pitti/postgresql/ubuntu maverick main
  3. Kemudian update repository anda :

    $ sudo apt-get update
  4. Kemudian install postgres database :

    $ sudo apt-get install postgresql-9.0 libpq-dev postgresql-contrib-9.0
  5. Done.