Lebih Tahu Google dengan Google

Berbicara mengenai Google, pasti tidak aka nada habisnya. Perusahaan yang didirikan oleh Larry Page dan Sergey Brin pada tahun 1998 ini telah berkembang menjadi perusahaan raksasa yang bahkan masyarakat menyebutnya seperti tuhan yang dapat menjawab segala pertanyaan manusia. Tentu, bukan semuanya dapat diakses, namun sebagian besar aktifitas masyarakat terkait dengan Google, seperti mencari tempat makan, mengerjakan tugas, menyimpan dokumen, traveling, bahkan aktifitas mencari informasi di internet beralih dari “searching” menjadi “Googling”. Untuk membaca lebih lanjut mengenai awal mula Google lahir di dunia, anda dapat membukanya di https://www.google.com/intl/en/about/our-story/ .

Google adalah perusahaan raksasa yang bergerak di bidang IT dan telah menerapkan sistem komputerisasi yang sangat canggih, server-server google juga merupakan server terbesar di dunia dan memiliki sistem database canggih yang dapat membantu manusia mencari di search enginenya. Pencarian tanpa henti untuk mendapatkan jawaban yang lebih baik terus menjadi inti dari semua hal yang dilakukan google. Saat ini, dengan lebih dari 60.000 karyawan di 50 negara yang berbeda, Google membuat ratusan produk yang digunakan oleh miliaran orang di seluruh dunia, mulai dari YouTube dan Android hingga Smartbox dan, tentu saja, Google Search. Google tidak hanya menyediakan database untuk mesin pencarinya berupa kata-kata, tapi juga gambar, Video, Maps, Shopping, layanan E-mail, google translate, dan masih banyak lagi.

Perusahaan ini memprakarsai pengembangan sistem operasi Android untuk telepon genggam dan Google Chrome OS. Untuk jajaran netbook ada ChromeBook. Google sudah beralih ke perangkat keras komunikasi. Mereka bekerja sama dengan berbagai produsen elektronik besar untuk memproduksi perangkat Nexus-nya dan mengakuisisi Motorola Mobility pada Mei 2012 Tahun 2012, infrastruktur serat optik dipasang di Kansas untuk memfasilitasi layanan Internet pita lebar Google Fiber.

Perusahaan ini diperkirakan mengoperasikan lebih dari satu juta server di beberapa pusat data di seluruh duni dan memproses lebih dari satu miliar kueri pencarian dan sekitar 24 petabita data buatan pengguna setiap harinya Pada bulan Desember 2012, Alexa menyebut google.com sebagai situs web paling banyak dikunjungi di dunia. Situs-situs Google dalam bahasa lain masuk peringkat 100 teratas, sebagaimana halnya situs milik Google seperti Youtube dan Blogger. Google menempati peringkat kedua di basis data ekuitas merek BrandZ. Pada tahun 2014, Google juga mendapat penghargaaan dari Business Indeed sebagai perusahaan yang memiliki merk paling bernilai. Basis data perusahaan Google diakses oleh sejumlah pegawai perusahaan dalam sebuah lokasi. Basis data seperti ini disimpan dalam sebuah server dan para pemakai dapat mengakses dari masing-masing komputer yang berkedudukan sebagai client.

Server merupakan sebuah sistem komputer yang difungsikan untuk memberikan layanan, membatasi dan juga mengontrol akses pada klien di sebuah jaringan komputer yang ada. Biasanya, komputer yang bertindak sebagai server ini menyediakan resource yang dapat digunakan untuk komputer lain yang bertindak sebagai komputer client. Sebuah komputer server harus memiliki spesifikasi yang tinggi dari aspek software maupun hardware yang digunakan. selain itu, pada komputer ini juga terdapat sebuah operasi khusus yang disebut dengan “Network Operating System”.

Perangkat keras (Hardware)

Perangkat keras asli (sekitar tahun 1998) yang digunakan oleh Google saat berada di Stanford University meliputi:

a.      Sun Microsystems Ultra II dengan prosesor dual 200 MHz, dan RAM 256 MB. Ini adalah mesin utama untuk sistem Backrub asli.

b.      Server dual Pentium II 2 × 300 MHz yang disumbangkan oleh Intel, mereka menyertakan RAM 512 MB dan hard drive 10 × 9 GB di antara keduanya. Di situlah pencarian utama berlari.

c.       F50 IBM RS / 6000 disumbangkan oleh IBM, termasuk 4 prosesor, memori 512 MB dan hard disk drive 8 × 9 GB.

d.      Dua kotak tambahan termasuk hard drive 3 × 9 GB dan hard disk drive 6 x 4 GB masing-masing (penyimpanan asli untuk Backrub). Ini dilekatkan pada Sun Ultra II.

e.       Kotak ekspansi disk SDD dengan drive hard disk 8 × 9 GB lainnya yang disumbangkan oleh IBM.

f.       Kotak disk buatan sendiri yang berisi hard disk drive 10 × 9 GB SCSI.

Perangkat keras produksi

Google digunakan pada tahun 2014, versi Debian (GNU / Linux) yang sangat disesuaikan. Mereka bermigrasi dari sistem berbasis Red Hat secara bertahap pada 2013.
Tujuan pengaturan ini adalah untuk membeli generasi CPU yang menawarkan kinerja terbaik per dolar, bukan kinerja absolut. Bagaimana ini diukur tidak jelas, tapi kemungkinan akan memasukkan biaya operasional keseluruhan server, dan konsumsi daya CPU bisa menjadi faktor yang signifikan. Server pada 2009-2010 terdiri dari sistem open-top custom-made yang berisi dua prosesor (masing-masing dengan beberapa core), sejumlah besar RAM tersebar di 8 slot DIMM yang memiliki DIMM setinggi dua kali, dan paling sedikit dua SATA keras disk drive yang terhubung melalui unit catu daya ATX berukuran non-standar. Server dibuat terbuka dibagian atas sehingga lebih banyak server bisa masuk ke dalam rak. Menurut CNET dan sebuah buku oleh John Hennessy, setiap server memiliki baterai 12 volt baru untuk mengurangi biaya dan meningkatkan efisiensi daya.

Menurut Google, operasi pusat data global mereka daya listrik berkisar antara 500 dan 681 megawatt. Kekuatan pemrosesan gabungan dari server ini mungkin telah mencapai 20 sampai 100 petaflops pada tahun 2008.

Topologi jaringan

Rincian jaringan pribadi Google di seluruh dunia tidak tersedia untuk umum namun publikasi Google membuat rujukan ke laporan "Atlas Top 10" yang memberi peringkat Google sebagai ISP terbesar ketiga di belakang Level 3. Untuk menjalankan jaringan besar seperti itu dengan koneksi langsung ke sebanyak mungkin ISP dengan biaya serendah mungkin, Google memiliki kebijakan pengintaian yang sangat terbuka. Jaringan Google dapat diakses dari 67 titik pertukaran publik dan 69 lokasi berbeda di seluruh dunia. Per Mei 2012 Google memiliki 882 Gbit/s konektivitas publik (tidak termasuk perjanjian pengintaian pribadi yang dimiliki Google dengan ISP terbesar). Jaringan publik ini digunakan untuk mendistribusikan konten ke pengguna Google sekaligus merangkak Internet untuk membangun indeks pencariannya.

Baru-baru ini Google menunjukkan bahwa mereka menggunakan router ubahsuaian dengan radius 128 × 10 yang sesuai (high-radix switch-routers) dengan jaringan berkapasitas 128 × 10 GB Ethernet) untuk jaringan area luas. Menjalankan tidak kurang dari dua router per datacenter (untuk redundansi), kita dapat menyimpulkan bahwa skala jaringan Google di kisaran terabit per detik (dengan dua router terisi penuh jumlah bandwidth dua arah menjadi 1.280 Gbit / s). Router switch khusus ini terhubung ke perangkat DWDM untuk menghubungkan pusat data dan titik kehadiran (PoP) melalui serat gelap.

Dari tampilan datacenter, jaringan mulai di tingkat rak, di mana rak 19 inci dibuat khusus dan berisi server 40 sampai 80 (20 sampai 40 server 1U di kedua sisi, sementara server baru adalah sistem rackmount 2U.  Masing-masing rak memiliki tombol). Server terhubung melalui link Ethernet 1 Gbit / s ke bagian atas rak saklar (TOR). TOR switch kemudian terhubung ke gigabit cluster switch menggunakan beberapa gigabit atau sepuluh gigabit uplinks. Cluster switch sendiri saling berhubungan dan membentuk kain interkoneksi datacenter (kemungkinan besar menggunakan desain capung daripada kupu-kupu klasik atau tata rias kupu-kupu yang rata).

Dari sudut pandang operasi, saat komputer klien mencoba terhubung ke Google, beberapa server DNS menyelesaikan www.google.com ke beberapa alamat IP melalui kebijakan Round Robin. Selanjutnya, ini bertindak sebagai tingkat pertama penyeimbangan beban dan mengarahkan klien ke kumpulan Google yang berbeda. Sebuah cluster Google memiliki ribuan server, dan sekali klien telah terhubung ke server, load balancing tambahan dilakukan untuk mengirimkan query ke server web yang paling sedikit dimuat. Hal ini membuat Google salah satu jaringan pengiriman konten terbesar dan paling kompleks.

Perangkat lunak

Sebagian besar tumpukan perangkat lunak yang digunakan Google di server mereka dikembangkan secara internal. Menurut seorang karyawan, C ++, Java, Python dan (yang lebih baru) Go, lebih disukai daripada bahasa pemrograman lainnya. Misalnya, bagian belakang Gmail ditulis di Java dan bagian belakang Google Search ditulis di C ++.  Google telah mengakui bahwa Python telah memainkan peran penting sejak awal, dan terus melakukannya saat sistem tumbuh dan berkembang.

 

Semua domain yang mengarah ke google semuanya menggunakan OS Linux. (http://netcraft.com/)

Perangkat lunak yang menjalankan infrastruktur Google mencakup:

1.      Google Web Server (GWS) - server Web berbasis Linux yang digunakan Google untuk layanan daringnya.

2.       Sistem penyimpanan:

-          Google File System dan penggantinya, Colossus

-          BigTable - penyimpanan terstruktur yang dibangun di atas GFS / Colossus

-          Spanner - sistem penyimpanan terstruktur skala planet, generasi berikutnya dari tumpukan BigTable

-          Google F1 - DBMS kuasi-kuadrat terdistribusi berdasarkan Spanner, menggantikan versi kustom MySQL.

-          Chubby mengunci layanan

3.       Bahasa pemrograman MapReduce dan Sawzall

4.       Pengindeksan / sistem pencarian:

-          TeraGoogle - indeks pencarian besar Google (diluncurkan pada awal 2006), dirancang oleh Anna Patterson dari ketenaran Cuil.

-          Kafein (Percolator) - sistem pengindeksan terus menerus (diluncurkan pada tahun 2010).

-          Hummingbird - update indeks pencarian utama, termasuk penelusuran yang rumit dan pencarian suara.

-          Borg deklaratif proses penjadwalan perangkat lunak

Google telah mengembangkan beberapa abstraksi yang digunakannya untuk menyimpan sebagian besar datanya:

a.       Buffer Protokol - "bahasa lingua franca untuk data", format serialisasi biner yang banyak digunakan di dalam perusahaan.

b.      SSTable (Sorted Strings Table) - peta yang gigih, teratur, tidak berubah dari kunci ke nilai, di mana kedua tombol dan nilai adalah string byte acak. Ini juga digunakan sebagai salah satu blok bangunan BigTable.

c.       RecordIO - urutan catatan berukuran variabel.

Sebagian besar operasi hanya bisa dibaca. Bila pembaruan diperlukan, kueri diarahkan ke server lain, sehingga menyederhanakan masalah konsistensi. Untuk mengurangi efek kegagalan perangkat keras, perangkat lunak dirancang agar tidak toleran. Jadi, ketika sebuah sistem turun, data masih tersedia di server lain, yang meningkatkan kehandalan.

Seperti kebanyakan mesin pencari lainnya, Google mengindeks dokumen dengan membangun struktur data yang dikenal dengan indeks terbalik. Indeks seperti itu mendapatkan daftar dokumen dengan kata query. Indeksnya sangat besar karena banyaknya dokumen yang tersimpan di server. Indeks dipartisi oleh ID dokumen menjadi banyak bagian yang disebut pecahan yang direplikasi ke beberapa server. Google menangani peningkatan volume permintaan dengan meningkatkan jumlah replika setiap pecahan sehingga meningkatkan jumlah server. Segera mereka menemukan bahwa mereka memiliki cukup banyak server untuk menyimpan salinan keseluruhan indeks dalam memori utama (walaupun dengan replikasi rendah atau tidak ada replikasi sama sekali), dan pada awal tahun 2001 Google beralih ke sistem indeks memori dalam memori.

Infrastruktur server Google dibagi menjadi beberapa jenis:

1.      Server web mengkoordinasikan eksekusi kueri yang dikirim oleh pengguna, lalu format hasilnya menjadi halaman HTML. Eksekusi terdiri dari pengiriman kueri ke server indeks, menggabungkan hasilnya, menghitung rangking mereka, mengambil ringkasan untuk setiap klik (menggunakan server dokumen), meminta saran dari server ejaan, dan akhirnya mendapatkan daftar iklan dari server iklan.

2.      Server pengumpulan data secara permanen didedikasikan untuk menjelajah Web. Perayap web Google dikenal sebagai GoogleBot. Mereka memperbarui database indeks dan dokumen dan menerapkan algoritme Google untuk menetapkan peringkat ke halaman.

3.      Setiap server indeks berisi sekumpulan pecandu indeks. Mereka mengembalikan daftar ID dokumen ("docid"), sehingga dokumen yang sesuai dengan dokumen tertentu berisi kata kueri. Server ini membutuhkan lebih sedikit ruang disk, namun memiliki beban kerja CPU terbesar.

4.      Dokumen server menyimpan dokumen. Setiap dokumen disimpan di puluhan server dokumen. Saat melakukan pencarian, server dokumen mengembalikan ringkasan untuk dokumen berdasarkan kata-kata kueri. Mereka juga bisa mengambil dokumen lengkap saat ditanya. Server ini membutuhkan lebih banyak ruang disk.

5.      Server iklan mengelola iklan yang ditawarkan oleh layanan seperti AdWords dan AdSense. Sebagian besar laba Google berasal dari AdWords

6.      Server ejaan memberi saran tentang ejaan kueri.

Batere pada masing masing server Google

Tiap masing masing server google memiliki 12-volt battery untuk men supply power jika terjadi masalah pada pusat listrik. Google telah menggunakan teknologi ini sejak tahun 2005, data center ini telah di desain sedemikian rupa yang berukuran sebesar sebuah container yang didalamnya terdapat 1,160 server, untuk konsumsi daya, dapat mencapai 250 kilowatts.

Google ternyata telah lama fokus terhadap efisiensi energy yang kini mereka memberikan sedikit bocoran tentang pengalaman mereka. Bersamaan dengan terjadinya resesi mengakibatkan google harus menurunkan budget operation, ditambah lagi isu environmental dan harga energy yang terus meningkat membuat Google harus berubah menjadi efficiency evangelism, kata Urs Hoelzle, Google’s vice president dari operation division.

Akibat hal ini google harus memfokuskan data center mereka agar lebih efisien dalam hal menangani distribusi energi/daya, pendinginan, dan memastikan semuanya berjalan dengan benar dan efisien kata Chris Malone, yang terlibat dalam data center design and efficiency measurement. Google data center saat ini telah mencapai level yang efisien terhadap Environmental Protection Agency hingga 2011 tentunya dengan menggunaakn teknologi yang lebih advance.

Warna pipa yang berbeda-beda digunakan untuk mengidentifikasi fungsi tiap pipa dengan cepat (Gambar: Connie Zhou/ Google)

server google (Gambar: Connie Zhou/ Google)

Sources :

https://en.wikipedia.org/wiki/Google_Data_Centers
Edwin, 2011 http://edwincool07.blogspot.co.id/2011/07/teknologi-atau-server-yang-digunakan.html