makalah statmat 2 nih

BAB I

PENDAHULUAN

A.    Latar Belakang

Sebagian besar orang pasti sudah lumayan familier bila mendengar kata statistika. Jika ditanya sejak kapan mereka mengenal statistika mungkin sebagian besar orang akan menjawabnya “ oh saat saya mulai sekolah, hmm mungkin sekitar SMP atau SMA”. Tetapi sadarkah Anda, sebenarnya kita mengenal statistika semenjak kita lahir. Tanpa kita sadari saat lahir, kita sudah dikenalkan yang namanya statistika.

Hal yang paling sederhana misalnya : berat dan panjang badan kita saat lahir. Namun karena saat itu kita masih sangat kecil dan belum bisa berpikir, dan merasakan apa-apa jadi kita tidak mengetahuinya.

Seringkali kita tidak menyadari bahwa dalam kehidupan kita sehari-hari kita seringkali sudah melakukan penelitian, misalnya dalam membeli suatu barang yang berharga mahal seperti komputer, kita tentu saja melakukan penelitian ke toko-toko komputer untuk membandingkan harga, fitur, maupun jaminannya.

Memilih pacar ataupun calon suami/istri mungkin juga bisa digolongkan sebagai penelitian. Namun tentu saja kedua macam penelitian ini berbeda dengan penelitian yang biasa kita baca di jurnal ilmiah, karena mungkin dalam melakukan penelitian tersebut kita seringkali tidak menggunakan metode ilmiah melainkan terkadang hanya emosi saja, terlebih lagi dalam hal mencari pacar. untuk itu akan dijabarkan secara garis besar dalam makalah ini.

Sebelum bicara lebih lanjut tentang statistika, kita perlu mencari tau apa sebenarnya statistika itu. Statistika adalah ilmu yang mempelajari bagaimana merencanakan, mengumpulkan, menganalisis, menginterpretasi, dan mempresentasikan data. Singkatnya, statistika adalah ilmu yang berkenaan dengan data. Atau statistika adalah ilmu yang berusaha untuk mencoba mengolah data untuk mendapatkan manfaat berupa keputusan dalam kehidupan.

Istilah ’statistika’ (bahasa Inggris: statistics) berbeda dengan ’statistik’ (statistic). Statistika merupakan ilmu yang berkenaan dengan data, sedang statistik adalah data, informasi, atau hasil penerapan algoritma statistika pada suatu data.

Dari kumpulan data, statistika dapat digunakan untuk menyimpulkan atau mendeskripsikan data; ini dinamakan statistika deskriptif.
Sebagian besar konsep dasar statistika mengasumsikan teori probabilitas. Beberapa istilah statistika antara lain: populasi, sampel, unit sampel, dan probabilitas

Statistika banyak diterapkan dalam berbagai disiplin ilmu, baik ilmu-ilmu alam (misalnya astronomi dan biologi maupun ilmu-ilmu sosial (termasuk sosiologi dan psikologi), maupun di bidang bisnis, ekonomi, dan industri). Statistika juga digunakan dalam pemerintahan untuk berbagai macam tujuan; sensus penduduk merupakan salah satu prosedur yang paling dikenal. Aplikasi statistika lainnya yang sekarang popular adalah prosedur jajak pendapat atau polling (misalnya dilakukan sebelum pemilihan umum), serta jajak cepat (perhitungan cepat hasil pemilu) atau quick count. Di bidang komputasi, statistika dapat pula diterapkan dalam pengenalan pola maupun kecerdasan buatan.

Ada tiga hal yang sangat penting dari statistika yaitu:

1.         Data yang tersedia / data historis.

       Merupakan suatu nilai numerik yang diperoleh dari keterangan masa lampau. Diolah menjadi informasi yang nantinya berguna dalam menentukan keputusan.

2.         Kriteria Keputusan

       Dalam Statistika kita sering dihadapkan pada beberapa pilihan. Masing-masing pilihan memiliki nilai/ manfaat dan konsekuensi yang harus diambil atau dengan kata lain kita harus menentukan keputusan. Dari pilihan-pilihan tersebut akan muncul berbagai kriteria keputusan. Sama halnya dengan pilihan, masing-masing kriteria keputusan memiliki manfaat dan akibat bagi kita

Statistika matematika merupakan cabang dari matematika terapan yang menggunakan teori probabilitas dan analitis matematis untuk mendapatkan dasar-dasar teori statistika. 

Di dalam statistika matematika, yang merupakan dasarnya adalah teori probabilitas, ada empat konsep dasar peluang, antara lain adalah eksperimen, hasil, ruang sampel, kejadian.

Penerapan metode peluang untuk menganalisis dan menginterpretasikan data empiris dikenal sebagai inferensi statistik. Secara lebih spesifik, inferensial staistik dapat diartikan sebagai proses pengambilan kesimpulan (atau generalisasi) dari suatu sampel tertentu, yakni dari suatu himpunan n observasi, untuk populasi teoritis dari mana sampel itu diambil. Bentuk generalisasi itu dapat sangat berbeda-beda tergantung situasinya; mungkin berbentuk taksiran satu nilai tertentu (taksiran interval), atau bahkan jawaban dikolomi ya atau tidak (uji hipotesis).

Kebanyakan model probabilitas, terutama yang cukup luas nilai penggunaanya, tergantung pada beberapa konstan yang dikenal dengan nama parameter. Dalam banyak masalah, keluarga model probabilitassyang menggambarkan suatu fenomena biasanya dianggap diketahui. Tetapi anggota tertentu dari keluarga itu yang dipandang paling tepatmenggambarkan fenomena tersebut mungkin sekali tidak diketahui.dalam hal ini perlu ditaksir berdasarkan data yang diambildari fenomena itu.

Biasanya digunakan lambang μ dan σ untuk parameter mean dan deviasi standar distribusi normal, sedangkan untuk distribusi binomial, diunakan lambang n dan p masing-masing untuk parameter banyak kali usaha (trial) dan peluang sukses dalam tiap usaha. Namun, untuk membicarakan masalah penaksir parameter pada umumnya di gunakan huruf Yunani θ (theta) sebagai lambang parameter. Jadi, f(x;θ₁, . . . , θ_k) akan menunjukkan fungsi probabilitas dengan k parameter (diketahui ataupun tidak) θ₁, . . . , θ_k. Kebanyakan masalah yang dihadapi biasanya hanya memuat satu parameter, sehingga fungsi probabilitasnya dapat ditulis f(x;θ) saja.

Jika dalam masalah, parameter θ tidak diketahui, harus ditaksir dengan menggunakan data sampel. Ini dilakukan melalui suatu fungsi yang dinamakan statistik.

Ada berbagai macam sifat penaksir :

a.       Tak bias dan efisien

b.      Penaksir Variansi-Minimum : Batas Cramer-Rao

c.       Sifat-Sifat Penaksir dan Lain : Konsistensi dan Sufisensi

Model faktor adalah pendekatan statistik yang dapat digunakan untuk menganalisis interrelationship sejumlah variabel dan untuk menjelaskan dimensi-dimensi (disebut faktor) apakah yang melandasi variabel-variabel tersebut dan mereduksinya (Simamora, 2005). Misalnya, aroma sabun, kelembutannya, disainnya, warna-warninya dapat disatukan menjadi faktor daya tarik fisik sabun. Kebersihan kulit, kelembutan kulit, kehalusan kulit dapat disatukan menjadi faktor daya tarik manfaat. Model factor bertujuan untuk menemukan variabel baru yang disebut faktor yang jumlahnya lebih sedikit dibandingkan dengan jumlah variabel asli (Supranto, 2004), dimama variabel baru tersebut memuat sebanyak mungkin informasi yang terkandung di dalam variabel asli. Di dalam proses mereduksi jumlah variabel, informasi yang hilang harus seminimum mungkin. Secara matematis, model faktor mirip dengan regresi linear berganda, yaitu setiap variabel dinyatakan sebagai kombinasi linear dari faktor yang mendasari. Jumlah varian yang disumbangkan oleh suatu variabel dengan variabel lainnya yang tercakup dalam analisis disebut communality. Kovariansi antar variabel yang diuraikan, dinyatakan dalam suatu common faktor (faktor umum) dan faktor yang unik untuk setiap variabel, faktor-faktor ini tidak secara jelas terlihat oleh karena itu sering disebut varibel laten.

Model faktor bisa ditulis sebagai berikut:

                     

Untuk menyelesaikan model di atas yang harus dilakukan adalah melakukan pendugaan terhadap parameter-parameternya, dalam makalah ini metode yang akan digunakan adalah metode maksimum likelihood dan metode momen, salah satu metode untuk memperoleh pendugaan yang memberikan hasil yang baik.

B.     Tujuan

Tujuan dari pembuatan makalah ini adalah untuk memenuhi tugas mata kuliah Statistika Matematika II.

C.     Rumusan Masalah

1.      Bagaimana pengertian Statistika?

2.      Apa sifat penaksiran variansi minimum?

D.    Ruang Lingkup

Pembahasan dalam makalah ini penulis batasi dalam pengertian keluarga eksponensial dan sifat penaksiran minimum.

BAB II

PEMBAHASAN

A.      Pengertian Statistika

Statistika adalah ilmu yang mempelajari bagaimana merencanakan, mengumpulkan, menganalisis, menginterpretasi, dan mempresentasikan data. Singkatnya, statistika adalah ilmu yang berkenaan dengan data..

Istilah 'statistika' (bahasa Inggris: statistics) berbeda dengan 'statistik' (statistic). Statistika merupakan ilmu yang berkenaan dengan data, sedang statistik adalah data, informasi, atau hasil penerapan algoritma statistika pada suatu data.

Dari kumpulan data, statistika dapat digunakan untuk menyimpulkan atau mendeskripsikan data; ini dinamakan statistika deskriptif.

Sebagian besar konsep dasar statistika mengasumsikan teori probabilitas.

Beberapa istilah statistika antara lain: populasi, sampel, unit sampel, dan probabilitas.

Statistika banyak diterapkan dalam berbagai disiplin ilmu, baik ilmu-ilmu alam (misalnya astronomi dan biologi maupun ilmu-ilmu sosial (termasuk sosiologi dan psikologi), maupun di bidang bisnis, ekonomi, dan industri). Statistika juga digunakan dalam pemerintahan untuk berbagai macam tujuan; sensus penduduk merupakan salah satu prosedur yang paling dikenal. Aplikasi statistika lainnya yang sekarang popular adalah prosedur jajak pendapat atau polling (misalnya dilakukan sebelum pemilihan umum), serta jajak cepat (perhitungan cepat hasil pemilu) atau quick count. Di bidang komputasi, statistika dapat pula diterapkan dalam pengenalan pola maupun kecerdasan buatan.

Penggunaan istilah statistika berakar dari istilah istilah dalam bahasa latin modern statisticum collegium ("dewan negara") dan bahasa Italia statista ("negarawan" atau "politikus").

Gottfried Achenwall (1749) menggunakan Statistik dalam bahasa Jerman untuk pertama kalinya sebagai nama bagi kegiatan analisis data kenegaraan, dengan mengartikannya sebagai "ilmu tentang negara (state)". Pada awal abad ke-19 telah terjadi pergeseran arti menjadi "ilmu mengenai pengumpulan dan klasifikasi data". Sir John Sinclair memperkenalkan nama (Statistics) dan pengertian ini ke dalam bahasa Inggris. Jadi, statistika secara prinsip mula-mula hanya mengurus data yang dipakai lembaga-lembaga administratif dan pemerintahan. Pengumpulan data terus berlanjut, khususnya melalui sensus yang dilakukan secara teratur untuk memberi informasi kependudukan yang berubah setiap saat.

Pada abad ke-19 dan awal abad ke-20 statistika mulai banyak menggunakan bidang-bidang dalam matematika, terutama probabilitas. Cabang statistika yang pada saat ini sangat luas digunakan untuk mendukung metode ilmiah, statistika inferensi, dikembangkan pada paruh kedua abad ke-19 dan awal abad ke-20 oleh Ronald Fisher (peletak dasar statistika inferensi), Karl Pearson (metode regresi linear), dan William Sealey Gosset (meneliti problem sampel berukuran kecil).

Penggunaan statistika pada masa sekarang dapat dikatakan telah menyentuh semua bidang ilmu pengetahuan, mulai dari astronomi hingga linguistika. Bidang-bidang ekonomi, biologi dan cabang-cabang terapannya, serta psikologi banyak dipengaruhi oleh statistika dalam metodologinya. Akibatnya lahirlah ilmu-ilmu gabungan seperti ekonometrika, biometrika (atau biostatistika), dan psikometrika.

Meskipun ada kubu yang menganggap statistika sebagai cabang dari matematika, tetapi orang lebih banyak menganggap statistika sebagai bidang yang banyak terkait dengan matematika melihat dari sejarah dan aplikasinya.

Di Indonesia, kajian statistika sebagian besar masuk dalam fakultas matematika dan ilmu pengetahuan alam, baik di dalam departemen tersendiri maupun tergabung dengan matematika.

Dalam mengaplikasikan statistika terhadap permasalahan sains, industri, atau sosial, pertama-tama dimulai dari mempelajari populasi. Makna populasi dalam statistika dapat berarti populasi benda hidup, benda mati, ataupun benda abstrak. Populasi juga dapat berupa pengukuran sebuah proses dalam waktu yang berbeda-beda, yakni dikenal dengan istilah deret waktu.

Melakukan pendataan (pengumpulan data) seluruh populasi dinamakan sensus. Sebuah sensus tentu memerlukan waktu dan biaya yang tinggi. Untuk itu, dalam statistika seringkali dilakukan pengambilan sampel (sampling), yakni sebagian kecil dari populasi, yang dapat mewakili seluruh populasi. Analisis data dari sampel nantinya digunakan untuk menggeneralisasikan seluruh populasi.

Jika sampel yang diambil cukup representatif, inferensial (pengambilan keputusan) dan simpulan yang dibuat dari sampel dapat digunakan untuk menggambarkan populasi secara keseluruhan. Metode statistika tentang bagaimana cara mengambil sampel yang tepat dinamakan teknik sampling.

Analisis statistik banyak menggunakan probabilitas sebagai konsep dasarnya. Sedangkan matematika statistika merupakan cabang dari matematika terapan yang menggunakan teori probabilitas dan analisis matematis untuk mendapatkan dasar-dasar teori statistika.

Ada dua macam statistika, yaitu statistika deskriptif dan statistika inferensial. Statistika deskriptif berkenaan dengan deskripsi data, misalnya dari menghitung rata-rata dan varians dari data mentah; mendeksripsikan menggunakan tabel-tabel atau grafik sehingga data mentah lebih mudah “dibaca” dan lebih bermakna. Sedangkan statistika inferensial lebih dari itu, misalnya melakukan pengujian hipotesis, melakukan prediksi observasi masa depan, atau membuat model regresi.

Statistika deskriptif berkenaan dengan bagaimana data dapat digambarkan dideskripsikan) atau disimpulkan, baik secara numerik (misalnya menghitung rata-rata dan deviasi standar) atau secara grafis (dalam bentuk tabel atau grafik), untuk mendapatkan gambaran sekilas mengenai data tersebut, sehingga lebih mudah dibaca dan bermakna.

Statistika inferensial berkenaan dengan permodelan data dan melakukan pengambilan keputusan berdasarkan analisis data, misalnya melakukan pengujian hipotesis, melakukan estimasi pengamatan masa mendatang (estimasi atau prediksi), membuat permodelan hubungan (korelasi, regresi, ANOVA, deret waktu), dan sebagainya.

B.       Beberapa Metode Menentukan Penaksir : Metode Maksimum Likelihood Dan Metode Momen

Dalam statistika ada dua penaksiran, yaitu penaksiran titik dan penaksiran interval. Penaksiran titik dari sebuah parameter populasi adalah sebuah nilai yang diperoleh dari sampel dan digunakan sebagai penaksir dari parameter yang nilainya tidak diketahui.

Misalkan  adalah peubah acak dengan fungsi kepadatan peluang  dengan parameter populasi . Jika  adalah sampel acak berukuran  dari , maka statiatik  yang berkaitan dengan dinamakan penaksir (estimator) dari . Setelah sampel diambil, nilai-nilai yang dihitung dari sampel tersebut digunakan sebagai taksiran titik bagi . Misalkan peubah acak  berdistribusi normal dngan rerata  yang tak diketahui dan variansi  yang diketahui. Jika kita akan menaksir rerata populasi , maka penaksir titik yang digunakan adalah rerata sampel , ditulis . Kemudian kita mengambil sampel acak dan reratanya   dihitung. Nilai  ini merupakan taksiran titik bagi .

Berikut ini diberikan beberapa taksiran titik yang dihitung dari data sampel untuk populasi yang bersesuaian.

          i.          Rerata populasi

Maka taksiran titiknya adalah  (rerata sampel)

        ii.          Variansi populasi

Maka taksiran titiknya adalah  (variansi sampel)

      iii.          Simpangan baku populasi

Maka taksiran titiknya adalah  (simpangan baku sampel)

      iv.          Proporsi populasi

Maka taksiran titiknya adalah (proporsi sampel)

Dalam hal ini :

a.     ,  Banyak unsur dalam populasi yang diperhatikan,

 Ukuran populasi.

b.      Banyak unsur dalam sampel yang diperhatikan

 Ukuran sampel

        v.          Selisih dua rerata populasi

Maka taksiran titiknya adalah , yaitu selisih dua rerata sampel yang dihitung  dari dua sampel acak yang saling bebas.

      vi.          Selisih dua proporsi populasi

Maka taksiran titiknya adalah , yaitu selisih dua proporsi sampel yang dihitung dari dua sampel acak yang saling bebas.

Sebenarnya ada beberapa penaksir titik untuk sebuah parameter populasi. Misalnya, jika kita ingin menaksir rerata suatu populasi, maka penaksir titiknya bisa berupa: rata-rata sampel, median sampel, atau mungkin rerata dari data yang terkecil atau yang terbesar. Akan tetapi dari beberapa penaksir titik itu ada satu penaksir terbaik yang digunakan sebagai penaksir sebuah parameter populasi. Untuk menentukan penaksir titik yang terbaik, kita harus mempelajari sifat-sifat dan kriteria untuk membandingka penaksirKebanyakan distribusi yang telah kita pelajari termasuk dalam keluarga eksponensial. Jika distribusi x dapat ditulis :

Maka f(x) termasuk keluarga eksponensial 1 parameter, contoh:

1).                          Diketahui        :           x ~ N (0,θ)

Ditanya    :  f(x)= . . . ?

Penyelesaian :

x ~ N (μ,σ²)         

maka :

x ~ N (0,θ)        

                                           = 

                                           = 

                                           = 

                                           = 

Q (θ)   =

T (x)   =

D (θ)   = 0

S (x)   =

2).                Diketahui :           x ~ N (θ,1)

Ditanya    :           f(x)= . . . ?

Penyelesaian :

x ~ N (μ,σ²)         

maka :

x ~ N (θ,1)            

                 =                       

                 =                       

                 =                       

Q (θ)   =  θ

T (x)   =  x

D (θ)   =

S (x)   = 

Dua metode penaksir akan dibicarakan di sini, yakni metode maximum likelihood dan metode momen. Secara teoritis metode maximum likelihood adalah sangat penting, karena penaksir yang diperoleh dengan metode ini biasanya mempunyai sifat-sifat “baik”. Metode maksimum likelihood, salah satu metode untuk memperoleh pendugaan yang memberikan hasil yang baik. Pendugaan metode maksimum likelihood adalah metode yang memaksimumkan fungsi kemungkinan. Misalkan X1, X2, ..., Xn menyatakan contoh acak yang diambil dari suatu fungsi kepadatan probabilitas (pdf ) yang dinyatakan dengan f(x, μ), dimana μ adalah parameter fungsi kepadatan tersebut, maka fungsi likelihood adalah:

Parameter dari model faktor yang akan diduga dengan metode maksimum likelihood adalah faktor loading (Λ) dan faktor unik (δ).

Memaksimumkan fungsi likelihood biasanya dilakukan dengan metode iterasi. Menurut Bollen (1989), pendugaan maksimum likelihood mempunyai sifat-sifat penting yaitu: tak bias secara asimtotis (ada kemungkinan akan berbias pada contoh kecil), konsisten, efisien secara asimtotis, invarian pada skala pengukuran (satuan pengukuran tidak mempengaruhi nilai dugaan parameter model). Ada beberapa metode yang dapat digunakan untuk mendapatkan titik maksimum dari fungsi maksimum likelihood, dalam skripsi ini akan digunakan algoritma EM(Expectation Maximization) karena algoritma EM cukup sederhana dan memenuhi sifat monoton dan jika nilai awalnya positif maka nilai berikutnya positif.

Faktor loading adalah matriks koefisien pengaruh antara variabel dengan faktor; dengan entri konstanta yang belum diketahui, faktor unik adalah vektor yang tidak dapat diukur secara langsung tetapi berhubungan dengan variabel observasi. Masalah yang timbul sekarang adalah bagaimana cara menduga parameter-parameter dalam analisis faktor tersebut, upaya pendugaan parameter-parameter model tersebut memerlukan teknik analisis statistika yang mampu memberikan solusi bagi permasalahan yang ada. Maka menjadi salah satu aspek menarik yang ingin diketahui adalah pendugaan dengan metode kemungkinan maksimum (maximum likelihood, ML) terhadap model faktor tersebut untuk dipelajari secara lebih rinci.

Metode maksimum likelihood merupakan metode terbaik yang dapat digunakan dalam menentukan penaksir titik sebuah parameter. Misalkan X adalah peubah acak kontinu (diskrit) dengan fkp berbentukf (x;θ), dengan θ adalah suatu parameter yang tidak diketahui.

Misalkan X1, X2, …, Xn merupakan sebuah sampel acak berukurann, fungsi likelihood dari sampe lacak itu adalah :

Fungsi likelihood adalah fungsi dari parameter yang tidak diketahui θ. Untuk memudahkan dalam menganalisa maka fungsilikelihood L(θ) diberi ln. Penaksir maksimum likelihood dari θ adalah nilai θ yang memaksimumkan fungsi likelihood L(θ).

Contoh :

Misalkan X1, X2, …, Xn adalah sampel acak berukurann dari distribusi B (1,θ), dengan θ tidak diketahui.

Tentukan penaksir titik untuk θ dengan menggunakan metode maksimum likelihood ?

Contoh :

Dengan menggunakan metode maksimum likelihood Tentukan estimator untuk θ berdasarkan sampel acak X1, X2, …, Xn yang berdistribusi

Pada MME dan MLE parameter-parameter yang akan diestimasi adalah konstanta-konstanta yang tidak diketahui.

Pada Bayesian parameter-parameter yang akan diestimasi dipandang sebagai variabel-variabel random yang mempunyai distribusi awal yaitu distribusi prior λ(θ).

Dua metode ini digunakan karena mempunyai sifat-sifat atau ciri-ciri penaksir yang “sufficient”, misalnya X adalah penaksir yang memanfaatkan seluruh informasi mengenai parameter yang akan diperkirakan, yang terkandung dalam suatu populasi. Secara matematis dapat dirumuskan sebagai berikut:

 merupakan ‘sufficient estimator” dari θ , apabila θˆ mencakup seluruh informasi tentang θ yang terkandung didalam populasi, dengan perkataan lain kalau distribusi bersyarat dari variable   sebagai sample untuk nilai  yang diketahui, tidak tergantung pada parameter θ . Ini berarti fungsi kepadatan peluang bersama dari dapat ditulis sebagai berikut

 fungsi g yang bersyarat tidak tergantung pada θ .

Estimasi maksimum likelihood (MLE) adalah sebuah populer statistik metode yang digunakan untuk fitting model statistik data, dan menyediakan perkiraan untuk model parameter.

Metode kemungkinan maksimum sesuai dengan banyak metode estimasi terkenal dalam statistik. Misalnya, satu mungkin tertarik pada ketinggian jerapah betina dewasa, tetapi tidak mampu karena kendala biaya atau waktu, untuk mengukur tinggi setiap jerapah tunggal dalam populasi. Dengan asumsi bahwa ketinggian yang normal (Gaussian) didistribusikan dengan beberapa tidak diketahui mean dan varians , mean dan varians dapat diperkirakan dengan MLE sementara hanya mengetahui ketinggian dari beberapa sampel dari populasi secara keseluruhan. MLE akan mencapai hal ini dengan mengambil rata-rata dan varians sebagai parameter dan menemukan nilai-nilai khusus untuk ini parameter yang menghasilkan distribusi yang paling mungkin telah menghasilkan hasil-hasil pengamatan (lihat contoh di bawah ini).

Secara umum, untuk satu set data tetap dan model probabilitas yang mendasari, metode maksimum likelihood memilih nilai-nilai parameter model yang menghasilkan distribusi sebagian besar mungkin telah mengakibatkan data yang diamati (yaitu parameter yang memaksimalkan fungsi likelihood ). Estimasi kemungkinan maksimum memberikan pendekatan terpadu untuk estimasi, yang didefinisikan dengan baik dalam kasus distribusi normal dan masalah lainnya. Namun, dalam beberapa masalah yang kompleks, kesulitan memang terjadi : dalam masalah seperti ini estimator maksimum-kemungkinan mungkin tidak sesuai atau bahkan mungkin gagal ada.

Misalkan ada sampel x _1, x _2, ..., x _n n iid pengamatan, berasal dari sebuah distribusi dengan tidak diketahui densitas f ₀ (·). Meskipun demikian menduga bahwa fungsi f ₀ milik keluarga tertentu distribusi {f (· | θ), θ ∈ Θ}, disebut model parametrik , sehingga ƒ ₀ = f (· | θ _0). Nilai θ ₀ tidak diketahui dan disebut sebagai "nilai sebenarnya" dari parameter. Hal ini diinginkan untuk menemukan beberapa penaksir  yang akan menjadi seperti dekat dengan nilai sebenarnya θ ₀ mungkin. Kedua variabel yang diamati x _i dan parameter θ dapat vektor.

Untuk menggunakan metode maksimum likelihood, yang pertama menentukan fungsi kepadatan gabungan untuk semua pengamatan. Untuk iid sampel fungsi kepadatan gabungan akan

Sekarang kita ingin melihat pada fungsi ini di sudut yang berbeda: membiarkan nilai pengamatan x _1, x _2, ..., x _n diperbaiki "parameter" fungsi ini, sedangkan θ akan fungsi's variabel dan dibiarkan bervariasi secara bebas. Dari sudut pandangan ini fungsi distribusi akan disebut kemungkinan :

Dalam prakteknya sering lebih nyaman untuk bekerja dengan logaritma dari fungsi likelihood, yang disebut kemungkinan-log, atau versi skala, yang disebut log rata-rata kemungkinan:

Topi di atas ℓ menunjukkan bahwa itu adalah serupa dengan estimator beberapa. Memang,  memperkirakan diharapkan log-kemungkinan pengamatan tunggal dalam model.

Metode estimasi maksimum likelihood θ ₀ dengan mencari nilai θ yang dapat memaksimalkan . Metode estimasi merupakan estimator maksimum likelihood (MLE) dari θ ₀ :

Perkiraan MLE adalah sama terlepas dari apakah kita memaksimalkan kemungkinan-kemungkinan atau fungsi log, karena log adalah transformasi monoton .

Bagi banyak model, seorang estimator maksimum likelihood dapat ditemukan sebagai fungsi eksplisit dari data yang diamati _1, x ..., x _n . Untuk model lain, bagaimanapun, tidak ada-bentuk larutan tertutup untuk masalah maksimisasi diketahui atau tersedia, dan MLE yang harus ditemukan secara numerik dengan menggunakan optimasi metode . Untuk beberapa masalah, mungkin ada beberapa perkiraan yang memaksimalkan kemungkinan. Untuk masalah lain, tidak ada estimasi maksimum likelihood ada (yang berarti bahwa kemungkinan peningkatan fungsi-log tanpa mencapai supremum nilai).

Dalam eksposisi di atas, diasumsikan bahwa data yang independen dan terdistribusi identik . Metode ini dapat diterapkan namun untuk pengaturan yang lebih luas, selama mungkin untuk menulis fungsi densitas gabungan f (x _1, ..., x _n | θ), dan θ parameternya memiliki dimensi terbatas yang tidak tergantung pada sampel n ukuran. Dalam perpanjangan sederhana, uang saku dapat dibuat untuk data [[Homogenitas (statistik) | heterogenitas]], sehingga kepadatan gabungan sama dengan f ₁ (x ₁ | θ) · f ₂ (x ₂ | θ) · ... · f _n (x _n | θ). Dalam kasus yang lebih rumit dari time series model, asumsi kemerdekaan mungkin harus turun juga.

Kemungkinan maksimum adalah estimator ekstrem didasarkan pada fungsi obyektif

serta sampel analog, log rata-rata kemungkinan . Harapan di sini diambil sehubungan dengan kepadatan yang benar f (· | θ _0). Untuk kelas besar masalah, penaksir maksimum likelihood memiliki sejumlah menarik sifat asimtotik :

·       Konsistensi : estimator menyatu dalam probabilitas untuk nilai yang diperkirakan.

·       Kenormalan asimtotik : sebagai meningkatkan ukuran sampel, distribusi MLE cenderung distribusi Gaussian dengan θ mean dan matriks kovarians sama dengan kebalikan dari informasi Fisher matriks. (see eg Myung & Navarro 2004). (Lihat misalnya Myung & Navarro 2004).

·       Efisiensi , yaitu, mencapai Cramer-Rao batas bawah ketika ukuran sampel cenderung tak terhingga. Ini berarti bahwa tidak ada bias asimtotik estimator telah rendah asimtotik berarti kesalahan squared dari MLE tersebut.

·       Kedua-order efisiensi setelah koreksi bias.

Di bawah kondisi yang diuraikan di bawah ini, estimator maksimum likelihood adalah konsisten . Konsistensi ini berarti bahwa memiliki jumlah yang cukup besar n pengamatan, adalah mungkin untuk menemukan nilai θ ₀ dengan presisi sewenang-wenang. Dalam istilah matematika ini berarti bahwa sebagai n pergi ke : konvergen dalam probabilitas ke nilai sebenarnya:

Dalam kondisi yang sedikit kuat, estimator menyatu hampir pasti (atau sangat) juga:

Untuk menetapkan konsistensi, kondisi berikut cukup:

1.         Identifikasi model:

Dengan kata lain, nilai-nilai parameter yang berbeda θ sesuai dengandistribusi yang berbeda dalam model. Jika kondisi ini tidak berlaku, akan ada beberapa nilai θ 1 sedemikian sehingga θ 0 dan θ 1 menghasilkan distribusi identik dari data yang dapat diobservasi. Maka kita tidak akan bisa membedakan antara kedua parameter bahkan dengan jumlah tak terbatas data - parameter ini akan menjadi observasional setara. Ketika kondisi ini berlaku, kemungkinan membatasi fungsi ℓ (θ | •) memiliki maksimum global yang unik di θ 0.

2.         Kekompakan: yang Θ ruang parameter model ini kompak .

Kondisi identifikasi menetapkan bahwa kemungkinan-log memiliki maksimum global yang unik. Kekompakan menyiratkan bahwa kemungkinan tidak dapat mendekati nilai maksimum sewenang-wenang ditutup pada beberapa titik lain (seperti yang ditunjukkan untuk contoh pada gambar di bawah ini).

Kekompakan adalah hanya suatu kondisi yang cukup dan bukan kondisi yang diperlukan. Kekompakan bisa digantikan oleh beberapa kondisi lain, seperti:

o   baik cekung dari fungsi log-kemungkinan dan kekompakan dari beberapa (tidak kosong) atas set tingkat -kemungkinan dari fungsi log, atau

o   keberadaan lingkungan kompak N θ ₀ seperti di luar N the-kemungkinan fungsi log kurang maksimal oleh setidaknya beberapa ε> 0.

3.         Kontinuitas: di ln fungsi f (x | θ) kontinu di θ untuk hampir semua 's x:

Kontinuitas di sini bisa diganti dengan yang lebih lemah kondisi sedikit dari semi-kontinuitas atas .

4.         Dominasi: terdapat sebuah fungsi integrable d (x) seperti yang

Dengan hukum seragam jumlah besar , kondisi dominasi bersama-sama dengan kontinuitas mendirikan konvergensi seragam dalam probabilitas dari kemungkinan-log:

Kondisi dominasi dapat digunakan dalam kasus iid pengamatan. Dalam kasus non-iid konvergensi seragam dalam probabilitas dapat diperiksa dengan menunjukkan bahwa urutan is stochastically equicontinuous . adalah stokastik equicontinuous .

Jika seseorang ingin menunjukkan bahwa ML estimator converges to θ ₀ almost surely , menyatu untuk θ ₀ hampir pasti , maka kondisi kuat konvergensi seragam hampir pasti harus dikenakan:

Maksimum-likelihood estimator dapat kurangnya asymptotic normality dan dapat konsisten jika ada kegagalan satu (atau lebih) dari di bawah kondisi keteraturan:

Estimasi pada batas. Kadang-kadang estimasi maksimum likelihood terletak di perbatasan dari himpunan parameter mungkin, atau (jika batas tidak, tegasnya, diperbolehkan) kemungkinan akan lebih besar dan lebih besar sebagai parameter pendekatan batas. Standar teori asymptotic kebutuhan asumsi bahwa nilai parameter benar terletak jauh dari perbatasan. Jika kita memiliki data yang cukup, estimasi maksimum likelihood akan menjauhkan dari batas juga. Namun dengan sampel yang lebih kecil, memperkirakan dapat berbohong di tapal batas. Dalam kasus tersebut, teori asimtotik jelas tidak memberikan pendekatan praktis berguna. Contoh di sini akan-komponen model varian, dimana setiap komponen varians, σ^2, harus memenuhi kendala σ ² ≥ 0.

Data batas parameter-dependen. Untuk teori untuk menerapkan dengan cara yang sederhana, himpunan nilai data yang memiliki probabilitas positif (atau kepadatan probabilitas positif) tidak seharusnya tergantung pada parameter yang tidak diketahui. Sebuah contoh sederhana dimana ketergantungan seperti-parameter tidak hold kasus θ estimasi dari satu set independen identik didistribusikan saat distribusi umum adalah seragam pada kisaran (0,θ). Untuk tujuan estimasi kisaran relevan θ θ adalah seperti yang tidak dapat kurang dari observasi terbesar. Karena interval (0, θ) tidak kompak , tidak terdapat maksimum untuk fungsi likelihood: Untuk setiap estimasi theta, ada perkiraan yang lebih besar yang juga memiliki kemungkinan yang lebih besar. Sebaliknya, interval [0, θ] termasuk θ titik akhir dan kompak, dalam hal ini estimator maksimum-likelihood ada. Namun, dalam kasus ini, kemungkinan-estimator maksimum adalah bias . Asimtotik, ini-likelihood estimator maksimum tidak terdistribusi secara normal.  

Parameter Gangguan. Untuk estimasi maksimum likelihood, model mungkin memiliki sejumlah parameter gangguan. Untuk perilaku asimtotik digariskan untuk memegang, jumlah parameter gangguan tidak harus meningkatkan dengan jumlah pengamatan (ukuran sampel). Contoh terkenal dari kasus ini adalah di mana pengamatan terjadi sebagai pasangan, dimana pengamatan dalam pasangan masing-masing memiliki yang berbeda (tidak diketahui) berarti tapi selain pengamatan adalah independen dan Biasanya didistribusikan dengan varians umum. Di sini untuk 2 pengamatan N, N +1 ada parameter. Hal ini juga dikenal bahwa estimasi maksimum likelihood untuk varians tidak konvergen ke nilai sebenarnya dari varians.

Meningkatkan informasi. Untuk asymptotics untuk terus dalam kasus di mana asumsi didistribusikan independen identik pengamatan tidak memegang, persyaratan dasar adalah bahwa jumlah informasi dalam data meningkat tanpa batas waktu sebagai meningkatkan ukuran sampel. Syarat semacam ini mungkin tidak terpenuhi jika salah ada terlalu banyak ketergantungan data (misalnya, jika pengamatan baru pada dasarnya identik dengan pengamatan yang ada), atau jika pengamatan independen baru belum termasuk kesalahan pengamatan meningkat.

Beberapa kondisi yang menjamin keteraturan perilaku ini adalah:

1.         Derivatif pertama dan kedua dari fungsi log-kemungkinan harus didefinisikan.

2.         Informasi Fisher matriks tidak boleh nol, dan harus kontinu sebagai fungsi dari parameter.

3.         Estimator maksimum likelihood adalah konsisten .

Misalkan kondisi untuk konsistensi estimator maksimum likelihood puas, dan ^[3]

1.      θ ₀ ∈ interior (Θ);

2.      f (x | θ)> 0 dan dua kali terus terdiferensialkan di θ dalam beberapa lingkungan N θ _0;

3.      ∫ sup _{θ N ∈} | | ∇ _θ f (x | θ) | | d x <∞, dan ∫ sup _{θ N ∈ |} | ∇ θθ f (x | θ) | | d x <∞;

4.      I = E _[∇ θ ln f (x | θ ₀₎ ln _{θ ∇} f (x | θ ₀₎ '] ada dan nonsingular;

5.      E [sup _{θ N ∈} | | ∇ _θθ ln f (x | θ) | |] <∞.

Kemudian penaksir maksimum likelihood memiliki distribusi asimtotik normal:

Bukti, melewatkan teknis:

Karena fungsi log-likelihood terdiferensialkan, dan θ ₀ terletak pada interior set parameter, di-order maksimum kondisi pertama akan puas:

Ketika kemungkinan-log dua kali terdiferensialkan, ungkapan ini dapat diperluas menjadi deret Taylor disekitar titik θ = ₀ θ:

where mana is some point intermediate between θ ₀ and adalah beberapa titik pertengahan antara ₀ dan θ . Dari pernyataan ini kita dapat memperoleh bahwa

Di sini ungkapan dalam tanda kurung siku menyatu dalam probabilitas untuk H = E [- ∇ _θθ ln f (x | θ ₀)] oleh hukum bilangan besar . The teorema pemetaan kontinyu memastikan bahwa kebalikan dari ekspresi ini juga menyatu dalam probabilitas, untuk H ^-1_. Jumlah kedua, oleh teorema limit sentral , menyatu dalam distribusi normal multivariat dengan mean nol dan varians matriks sama dengan informasi Fisher saya. Dengan demikian, menerapkan Teorema Slutsky dengan ekspresi keseluruhan, kita mendapatkan bahwa

Akhirnya, kesetaraan informasi jaminan bahwa ketika model benar ditentukan, H matriks akan sama dengan informasi Fisher I, sehingga ekspresi varians menyederhanakan hanya aku ^-1_.

Penaksir maksimum likelihood memilih nilai parameter yang memberikan data mengamati probabilitas kemungkinan terbesar (atau probabilitas kerapatan, dalam kasus kontinu). Jika parameter terdiri dari sejumlah komponen, maka kita mendefinisikan penduga kemungkinan maksimum terpisah mereka, sebagai komponen yang berkaitan dengan MLE parameter lengkap. Konsisten dengan ini, jika is the MLE for θ , and if g( θ ) is any transformation of θ , then the MLE for α = g ( θ ) is by definition MLE adalah untuk θ, dan jika g (θ) adalah setiap transformasi θ, maka MLE untuk g = α (θ) adalah dengan definisi

Memaksimalkan kemungkinan profil disebut:

MLE ini juga invarian berkaitan dengan transformasi tertentu dari data. Jika Y = g (X) di mana g adalah satu sampai satu dan tidak tergantung pada parameter yang akan diestimasi, maka fungsi densitas memuaskan

f _Y ( y ) = f _X ( x ) / | g '( x ) | f _Y (y) = f _X (x) / | g '(x) |

dan karenanya fungsi kemungkinan untuk X dan Y berbeda hanya dengan istilah yang tidak tergantung pada parameter model.

Sebagai contoh, parameter MLE dari distribusi log-normal adalah sama dengan distribusi normal dipasang pada logaritma dari data.

Contoh

Distribusi seragam diskrit

Mempertimbangkan kasus di mana tiket n nomor dari 1 sampai n ditempatkan di kotak dan satu dipilih secara acak (lihat distribusi seragam ), dengan demikian, ukuran sampel adalah 1. Jika n tidak diketahui, maka kemungkinan-penaksir maksimum   n adalah m nomor di tiket yang ditarik. (Kemungkinan ini 0 untuk <m n, 1 / n untuk n ≥ m, dan ini akan sangat besar bila n = m. Perhatikan bahwa estimasi maksimum likelihood n terjadi pada ekstrim yang lebih rendah dari nilai yang mungkin {m, m + 1, ...}, daripada di suatu tempat di "tengah" dari rentang nilai yang mungkin, yang akan menghasilkan bias yang lebih sedikit.) nilai yang diharapkan dari m nomor di tiket ditarik, dan oleh karena nilai yang diharapkan , is ( n + 1)/2. , Adalah (n + 1) / 2. Akibatnya, estimator maksimum likelihood untuk n sistematis akan meremehkan n dengan (n - 1) / 2 dengan ukuran sampel 1.

Distribusi diskrit, ruang parameter terbatas

Misalkan kita ingin menentukan seberapa bias sebuah koin tidak adil adalah. Call kemungkinan melempar p HEAD. Tujuannya kemudian menjadi untuk menentukan p.

Misalkan koin dilempar 80 kali: yaitu, sampel mungkin sesuatu seperti x ₁ = H, x ₂ = T, ..., x ₈₀ = T, dan menghitung jumlah KEPALA "H" yang diamati.

Kemungkinan melemparkan ekor adalah 1 - p (jadi di sini p adalah θ atas). Misalkan hasilnya adalah 49 dan 31 ekor KEPALA, dan rasa koin itu diambil dari sebuah kotak yang berisi tiga koin: satu yang memberikan KEPALA dengan probabilitas p = / 3, 1 salah satu yang memberikan KEPALA dengan probabilitas p = 1 / 2 dan lain yang memberikan KEPALA dengan probabilitas p = 2 / 3. Koin telah kehilangan label mereka, sehingga yang satu itu adalah tidak diketahui.

Menggunakan estimasi maksimum likelihood koin yang memiliki kemungkinan terbesar dapat ditemukan, mengingat data yang diamati. Dengan menggunakan fungsi massa probabilitas dari distribusi binomial dengan ukuran sampel sebesar 80, angka keberhasilan sebesar 49 tetapi berbeda nilai p ("probabilitas keberhasilan"), fungsi likelihood (didefinisikan di bawah ini) mengambil salah satu dari tiga nilai:

Kemungkinan ini dimaksimalkan ketika p = 2 / 3, dan jadi ini estimasi maksimum likelihood untuk p.

Distribusi Diskrit, ruang parameter kontinu

Sekarang anggaplah bahwa hanya ada satu koin tapi p-nya bisa saja nilai apapun 0 ≤ p ≤ 1. Fungsi likelihood untuk dimaksimalkan adalah

dan memaksimalkan selesai semua nilai yang mungkin 0 ≤ p ≤ 1. Kemungkinan nilai parameter proporsi yang berbeda untuk proses binomial dengan t = 3 dan =10.

Salah satu cara untuk memaksimalkan fungsi ini adalah dengan membedakan sehubungan dengan p dan pengaturan ke nol:

yang memiliki solusi p = 0, p = 1, dan p = 49/80. Solusi yang memaksimalkan kemungkinan jelas p = 49/80 (sejak p = 0 dan p = 1 mengakibatkan kemungkinan nol). Jadi estimator maksimum likelihood untuk p adalah 49/80.

Hasil ini mudah digeneralisasi dengan menggantikan huruf seperti t tempat 49 untuk mewakili jumlah diamati dari 'keberhasilan' kita percobaan Bernoulli , dan surat seperti n di tempat 80 untuk mewakili jumlah percobaan Bernoulli. Tepat perhitungan yang sama menghasilkan estimator maksimum likelihood t / n untuk setiap urutan n percobaan Bernoulli menghasilkan 't' keberhasilan.

Distribusi continous, ruang parameter

Untuk distribusi normal   yang memiliki fungsi kepadatan probabilitas

yang sesuai fungsi kerapatan probabilitas untuk sampel n independen identik terdistribusi variabel acak normal (kemungkinan) adalah

atau lebih mudah:

adalah mean sampel .

Keluarga ini distribusi memiliki dua parameter: θ = (μ, σ), jadi kita memaksimalkan kemungkinan, . Lebih baik parameter secara bersamaan, atau jika mungkin, secara individual. Karena logaritma adalah kontinu ketat meningkatkan fungsi selama rentang dari kemungkinan tersebut, nilai yang memaksimalkan kemungkinan juga akan memaksimalkan logaritma nya. Sejak memaksimalkan logaritma sering membutuhkan aljabar sederhana, itu adalah logaritma yang dimaksimalkan di bawah ini. (Catatan: kemungkinan-log terkait erat dengan entropi informasi dan informasi Fisher .)

yang diselesaikan dengan

Ini memang maksimum fungsi karena satu-satunya balik dalam μ dan turunan kedua adalah sangat kurang dari nol. Nilai harapan ini sama dengan μ parameter dari distribusi yang diberikan,

yang berarti bahwa estimator maksimum-likelihood is unbiased. adalah bias.

Demikian pula kita membedakan kemungkinan log sehubungan dengan σ dan sama dengan nol:

yang diselesaikan dengan

kita mendapatkan

Untuk menghitung nilai yang diharapkan, akan lebih mudah untuk menulis ulang ekspresi dalam hal acak berarti variabel-nol ( kesalahan statistik )

.

Mengekspresikan estimasi dalam variabel hasil

Menyederhanakan ekspresi di atas, memanfaatkan fakta bahwa  dan , Memungkinkan kita untuk memperoleh

Ini berarti bahwa estimator  adalah bias. Namun,  konsisten.

Secara formal kita mengatakan bahwa estimator maksimum likelihood untuk

θ = (μ, σ ²₎  adalah:

Dalam hal ini MLEs bisa didapat secara individual. Secara umum ini tidak mungkin terjadi, dan MLEs harus diperoleh secara bersamaan.

Non-independent variables Non-variabel independen

Ini mungkin terjadi bahwa variabel tersebut berkorelasi, yaitu, tidak independen. Dua variabel acak X dan Y adalah independen hanya jika probabilitas fungsi kepadatan bersama mereka adalah produk dari fungsi kepadatan probabilitas individu, yaitu

Misalkan satu konstruksi perintah-n keluar vektor variabel acak Gaussian , Di mana setiap variabel berarti diberikan oleh . . Selanjutnya, biarkan matriks kovarians akan dinotasikan dengan Σ,

Fungsi kepadatan probabilitas gabungan dari n variabel acak kemudian diberikan oleh:

Dalam kasus dua variabel, fungsi kepadatan probabilitas gabungan diberikan oleh:

Dalam hal ini dan kasus-kasus lain di mana fungsi kepadatan gabungan ada, fungsi likelihood didefinisikan seperti di atas, di bawah Prinsip, menggunakan kepadatan ini.

Misalkan X adalah peubah acak kontinu (diskrit) dengan fkp berbentuk , dengan θ₁,…, θ_k adalah k buah parameter yang tidak diketahui. Misalkan X1, X2, …, Xn merupakan  sebuah sampel acak berukuran n dan didefinisikan k buah momen sekitar pusat sampel pertama :

Selanjutnya k buah momen sekitar populasi pertama :

Contoh:

Misalkan X peubah acak berdistribusi B (1;θ) dengan θ tidak diketahui. Tentukan penaksir titik untuk θ dengan menggunakan metode momen ?

Contoh:

Dengan menggunakan metode momen, tentukan estimator untuk θ berdasarkan sampel acak X1, X2, …, Xn yang mempunyai fkp :

    

Pertama-tama kita bicarakan metode maximum likelihood. Misalkan X1 , X2 , ... , Xn , sampel random dari           

    

Guna tujuan menentukan penaksir untuk , fungsi probabilitas bersama ini kita fikirkan sebagai fungsi parameter . Sehingga kita tulis

Definisi 8

Misalkan X1 , X2 , ... , Xn , sampel random dari  Apabila L, yakni fungsi probabilitas bersama X1 , ... , Xn , difikirkan sebagai fungsi dan X1 , X2 , ... , Xn , sebagai bilangan tertentu, maka

Dinamakan fungsi likelihood.

Definisi 9

Misalkan X1 , X2 , ... , Xn , sampel random dari  dan  adalah fungsi likelihood-nya. Setiap nilai untuk  yang memaksimumkan , yakni untuk semua  dinamakan penaksir maximum likelihood (PML) untuk q. Kerapkali akan kita tulis .

Catatan :

1.      Dalam banyak hal  dapat didiferensialkan, sehingga memaksimalkannya adalah semata-mata masalah kalkulus.

2.      Kerapkali akan lebih mudah tidak memaksimalkan  melainkan . Hal ini boleh kita lakukan karena transformasi logaritma adalah monoton.

3.      Apabila fungsi probabilitas yang kita gunakan adalah fungsi k parameter yang tidak diketahui, maka vektor penduga maximum likelihood  diperoleh dengan menyelesaikan sistem persamaan

4.      Penaksir maximum likelihood tidak selalu dapat kita peroleh dengan pendiferensialan, melainkan harus dengan argumentasi tertentu seperti yang akan kita lihat pada contoh di belakang.

Contoh 11

Misalkan X1 , X2 , ... , Xn, sampel random dari distribusi Poisson

Maka fungsi likelihood-nya adalah

Dan log-likelihood-nya :

dan

Persamaan likelihood-nya

Jadi PML adalah 

Contoh 12

Dilakukan Bernoulli Trials sebanyak kali diperlukan sampai diperoleh sukses. Maka fungsi probabilitas K = banyak kali trials itu doperlukan, adalah distribusi geometrik  dimana p adalah probabilitas sukses pada setiap trial. Jika n eksperimen dilakukan, maka diamati n banyak trials . Untuk memperoleh PML untuk p kita lakukan hitungan sebagai berikut.

Persamaan likelihoodnya :

Jadi, PML untuk  :

Metode maksimum likelihood merupakan suatu metode statistika yang sangat sesuai untuk memecahkan salah satu masalah tentang seismologi. Bila suatu fungsi distribusi probabilitas bergantung pada parameter θ didefinisikan sebagai:  bersesuaian dengan fungsi likelihood yang didefinisikan sebagai :

Dimana:

P : Fungsi Likelihood

Bahwa estimasi maksimum likelihood dari θ adalah nilai fungsi maksimum , untuk perhitungan yang bersesuaian. Penurunan dari log  yang umumnya untuk mendapatkan nilai maksimum dari P(θ ) , yaitu :

Lebih jelasnya, jika ada satu atau lebih penyelesaian dari persamaan

  maka persamaan tersebut menjadi benar, jika ada, maksimum. Dengan catatan bahwa ada nilai θ yang maksimum yang juga akan memaksimumkan loglikelihood, ln θ , sehingga untuk mempermudah penaksiran selalu digunakan

bentuk persamaan maksimum likelihood:.

Menurut Aki (1965) bahwa metode ini dipergunakan untuk masalah hubungan antara frekuensi gempa dan magnitudo.

Contoh 13

     Misalkan  sampel random dari distribusi uniform . Maka fungsi likelihoodnya :

Di sini tidak dapat kita gunakan metode dengan peendiferensialan untuk memperoleh PML. Tetap dapat kita katakan bahwa karena setiap x_i harus lebih kecil dari θ, maka rentang θ berkisar dari x_max  sampai tak berhingga. Selanjunya, L(θ;) akan maksimum apabila θ minimum, dan ini dicapai apabila = x _max : Jadi PML untuk θ adalah

Prosedur kedua untuk menaksir parameter, yang kerapkali lebih mudah kita terapkan dari pada metode maximum likelihood apabila bentuk f(x;θ₁, θ₂, ... , θ_k ) cukup rumit, adalah metode momen.

Tetapi praktis kadang-kadang sulit diterapkan, karena untuk  tertentu persamaan likelihood yang timbul untuk menghitung penaksirnya berbentuk tak linier yang penyelesaiannya hanya dapat diselesaikan secara pendekatan. Dalam keadaan seperti ini kadang-kadang metode momen dapat diterapkan secara baik. Meskipun penaksir yang diperoleh dengan metode momen tidak selalu sufisien atau tak bias, namun biasanya dapat diperoleh dengan hitungan yang cukup mudah.

Misalkan X adalah peubah acak kontinu (diskrit) dengan fkp berbentuk f(x;θ1,…,θk), dengan θ1,…,θk adalah k buah parameter yang tidak diketahui. Misalkan X1,X2,…,Xn merupakan sebuah sampel acak berukuran n dan didefinisikan k buah momen sekitar pusat sampel pertama:

Selanjut nyak buah momen sekitar populasi pertama :

Sebuah metode untuk menentukan distribusi probabilitas dengan momen-nya (cf. moment ) tersebut. Secara teoritis metode saat ini didasarkan pada keunikan dari solusi dari masalah saat : Jika  adalah konstanta, kemudian di bawah kondisi apa terdapat distribusi yang unik  sehingga

adalah momen P  untuk semua n ? Ada berbagai jenis syarat cukup untuk distribusi yang akan unik ditentukan oleh saat-saat tersebut, misalnya, kondisi Carleman

Penggunaan metode momen dalam pembuktian teorema batas dalam teori probabilitas dan statistik matematika didasarkan pada korespondensi antara momen dan konvergensi distribusi: Jika   merupakan urutan fungsi distribusi dengan momen terbatas  order apapun , Dan jika , Sebagai , Untuk setiap , Maka   adalah saat-saat fungsi distribusi ; Jika   secara unik ditentukan oleh momen, maka sebagai , Yang  bertemu lemah untuk . Metode momen dalam kasus konvergensi untuk distribusi normal pertama kali dirawat oleh PL Chebyshev (1887), dan bukti dari teorema limit sentral dengan metode saat ini dilakukan oleh AA Markov (1898).

Metode momen dalam statistik matematika merupakan salah satu metode umum untuk menemukan statistik estimator parameter yang tidak diketahui dari suatu distribusi probabilitas dari hasil pengamatan. Metode saat pertama kali digunakan untuk mengakhiri ini dengan K. Pearson ( 1894 ) untuk memecahkan masalah pendekatan dari distribusi empiris oleh sistem distribusi Pearson (lih. Pearson distribusi .)

Prosedur dalam metode saat ini: Momen dari distribusi empiris ditentukan (momen sampel ), sama jumlahnya dengan jumlah parameter yang akan diestimasi, mereka kemudian disamakan dengan saat-saat yang berkaitan dengan distribusi probabilitas, yang merupakan fungsi dari parameter yang tidak diketahui, sistem persamaan sehingga diperoleh diselesaikan untuk parameter dan solusi yang yang dibutuhkan perkiraan.

Dalam prakteknya metode momen sering menyebabkan perhitungan yang sangat sederhana. Di bawah kondisi yang cukup umum metode momen memungkinkan seseorang untuk menemukan asimtotik estimator yang normal, memiliki harapan matematis yang berbeda dari nilai sebenarnya dari parameter hanya dengan kuantitas order  dan standar deviasi yang menyimpang oleh kuantitas order . Namun, penduga ditemukan oleh metode tidak perlu saat-saat terbaik dari sudut pandang efisiensi: varian mereka tidak perlu minimal. Untuk distribusi normal metode saat mengarah ke estimator yang bertepatan dengan penduga dari metode-kemungkinan maksimum , yaitu, dengan-efisien-bias asimtotik estimator asimtotik.

Dengan metode ini himpunan parameter yang tidak diketahui ditaksir dengan menyatakan momen X teoritis dengan momen sampel yang bersesuaian.

Kita ingat bahwa k momen X yang pertama adalah _(j) = E(X^j) = dx ; j = 1, 2, . . . , k

Ini berarti bahwa _(j)  adalah fungsi  sehingga dapat kita tulis

.

.

.

Analog dengan  dapat kita definisikan k momen sampel sebagai berikut.

Tentu saja, nilai-nilai  ini kira-kira akan sama dengan  yang bersesuaian apabila model probabilitas  merupakan model yang cukup memadahi untuk datarnya. Hal inilah yang memberikan motivasi pada metode momen.

Definisi 10

Misalkan  sampel random dari .

Misalkan pula  dan  masing-masing k momen sampel yang pertama. Sebagai prosedur umum untuk menaksir , kita akan menyelesaikan sistem persamaan.

 

Penyelesaiannya, , dinamakan taksiran metode momen. Kadang-kadang untuk  digunakan lambang .

Contoh 14

Misalkan  sampel random dari

Kita ingin menghitung penaksir metode momen untuk θ. Pertama-tama kita hitung  sebagai berikut :

 

Maka dengan menggunakan  momen sampel yang pertama kita peroleh

Misalkan ω menunjukkan nilai θ yang memenuhi persamaan di atas, maka

Ini adalah penaksir metode momen untuk θ.

Contoh 15

Misalkan  sampel random dari distribusi uniform

Dapat kita hitung

 dan

Maka kita punyai persamaan :

1)     

2)     

Sistem persamaan itu dapat kita sederhanakan menjadi

1)     

2)       dan

Maka penaksir metode momen adalah

 dan

BAB III

PENUTUP

A.    Kesimpulan

1.      Statistika adalah ilmu yang mempelajari bagaimana merencanakan, mengumpulkan, menganalisis, menginterpretasi, dan mempresentasikan data. Singkatnya, statistika adalah ilmu yang berkenaan dengan data. Statistika Inferensial adalah statistika yang dengan segala informasi dari sampel digunakan untuk menarik kesimpulan mengenai karakteristik populasi darimana sampel tu diambil. 

2.      Inferensial staistik dapat diartikan sebagai proses pengambilan kesimpulan (atau generalisasi) dari suatu sampel tertentu, yakni dari suatu himpunan n observasi, untuk populasi teoritis dari mana sampel itu diambil. Bentuk generalisasi itu dapat sangat berbeda-beda tergantung situasinya; mungkin berbentuk taksiran satu nilai tertentu (taksiran interval), atau bahkan jawaban dikolomi ya atau tidak (uji hipotesis).

3.      Macam-macam penaksiran:

a.       Penaksiran Titik

b.      Penaksiran Interval

4.      Sifat-sifat penaksir:

a.       Tak Bias

b.      Variansi Minimum

B.     Saran

Saran yang dapat penulis berikan adalah agar mahasiswa pendidikan matematika lebih memahami tentang statistika terutama mengenai sifat-sifat penaksir, terutama mengenai sifat penaksir konsisten dan sifat penaksir statistik cukup.

DAFTAR PUSTAKA

Herrhyanto,Nor. 2003. Statistik Lanjutan. CV Pustaka Setia: Bandung

Pramudjono. 2008. Statistika Dasar(Aplikasi Untuk Penelitian) Edisi IV. FKIP Universitas Mulawarman: Samarinda

R.W, Jefferson. _____. Teori Kemungkinan. FKIP Universitas Mulawarman: Samarinda

Sudijono, Anas. 2004. Pengantar Statistik Pendidikan. Raja Grafindo Persada : Jakarta

Suparman. 1989. Statistik Matematik. CV Rajawali. Jakarta.

ftp://ftp.cs.toronto.edu/pub/zoubin/mfa.tar.gz -

faculty.psy.ohio-state.edu/myung/personal/mle-pub.pdf –

www-clmc.usc.edu/ cs599 an/factor analysis.pdf -