"Hartley-Şennon düsturu" üzrə əsas konspekt. Məlumat, məlumat, siqnallar. İnformasiya mənbələri və onun daşıyıcıları. Məlumatın miqdarı və entropiya. Hartley və Shannon düsturları Hartley düsturundan istifadə edərək məlumatı necə qiymətləndirmək olar

İnformasiyanın həcminin müəyyən edilməsinə yanaşmalar.

Amerikalı mühəndis R.Hartli 1928-ci ildə ᴦ. informasiyanın əldə edilməsi prosesi əvvəlcədən verilmiş N bərabər ehtimallı mesajlar toplusundan bir mesajın seçilməsi kimi qəbul edilmiş və seçilmiş mesajda olan məlumatın miqdarı N-in ikili loqarifmi kimi müəyyən edilmişdir.

Hartlinin düsturu: I = log 2 N

Tutaq ki, birdən yüzə qədər bir sıra nömrələrdən birini təxmin etmək lazımdır. Hartley düsturundan istifadə edərək bunun üçün nə qədər məlumat tələb olunduğunu hesablaya bilərsiniz: I = log 2 100 = 6.644. Bəli, düzgün təxmin edilən nömrə haqqında mesaj təxminən 6,644 məlumat vahidinə bərabər olan məlumat miqdarını ehtiva edir.

Budur digərləri bərabər ehtimal mesajlarının nümunələri:

1. sikkə atıldıqda: "quyruqlar düşdü", "qartal düşdü";

2.kitab səhifəsində: "hərflərin sayı cütdür", "hərflərin sayı təkdir".

İndi mesajların olub olmadığını müəyyən edək "binanın qapısından çıxan ilk qadın" və "binanın qapısından ilk çıxan kişi olacaq"... Bu suala birmənalı cavab vermək mümkün deyil. Hamısı hansı binadan danışdığımızdan asılıdır. Əgər bu, məsələn, kinoteatrdırsa, o zaman qadın və kişi üçün əvvəlcə qapıdan çıxmaq ehtimalı eynidir, əgər bu, hərbi kazarmadırsa, kişi üçün bu ehtimal qadından qat-qat yüksəkdir.

Bu cür tapşırıqlar üçün amerikalı alim Klod Şennon 1948-ci ildə təklif edilmişdir. topludakı mesajların mümkün qeyri-bərabər ehtimalını nəzərə alaraq məlumatın miqdarını təyin etmək üçün başqa bir düstur.

Şennon düsturu: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 +... + P N log 2 p N), harada səh i- ehtimalı tam olaraq i Bu mesaj N mesaj dəstində seçilir.

Ehtimallar olarsa bunu görmək asandır səh 1, ..., p N bərabərdir, onda onların hər biri bərabərdir 1 / N, və Şennonun düsturu Hartlinin düsturuna çevrilir.

Məlumatın miqdarını təyin etmək üçün nəzərdən keçirilən iki yanaşmaya əlavə olaraq, başqaları da var. Yadda saxlamaq lazımdır ki, hər hansı nəzəri nəticələr yalnız ilkin fərziyyələrlə qeyd olunan müəyyən bir sıra hallara aiddir.

Məlumat vahidi olaraq Klod Şennon birini götürməyi təklif etdi az (İngilis dili. az - bi nary digi t - ikili rəqəm).

bitinformasiya nəzəriyyəsində- eyni dərəcədə ehtimal olunan iki mesajı (məsələn, "başlar" - "quyruqlar", "cüt" - "tək" və s.) fərqləndirmək üçün son dərəcə vacib olan məlumatların miqdarı. Hesablamada bit, verilənlərin və təlimatların maşında daxili təsviri üçün istifadə olunan iki "0" və "1" simvollarından birini saxlamaq üçün tələb olunan kompüter yaddaşının ən kiçik "hissəsidir".

Bit çox kiçik ölçü vahididir. Praktikada daha böyük bir vahid tez-tez istifadə olunur - bayt səkkiz bitə bərabərdir. Kompüter klaviaturasının əlifbasının 256 simvolundan hər hansı birini kodlaşdırmaq üçün tam olaraq səkkiz bit tələb olunur (256 = 2 8).

Daha böyük əldə edilmiş məlumat vahidləri də geniş istifadə olunur:

1 kilobayt (KB) = 1024 bayt = 2 10 bayt,
1 Meqabayt (MB) = 1024 KB = 2 20 bayt,
1 Gigabayt (GB) = 1024 MB = 2 30 bayt.

Son zamanlar, işlənmiş məlumatların miqdarının artması ilə əlaqədar olaraq, əldə edilən vahidlər:

1 Terabayt (TB) = 1024 GB = 2 40 bayt,
1 Petabayt (PB) = 1024 TB = 2 50 bayt.

Bir məlumat vahidi üçün, məsələn, eyni dərəcədə ehtimal olunan on mesajı fərqləndirmək üçün son dərəcə vacib olan məlumatın miqdarını seçmək olar. O, ikilik (bit) deyil, ondalıq (dit) məlumat vahidi olacaq.

1.6. Məlumatla nə edə bilərsiniz?

Məlumat ola bilər:

İnformasiya ilə müəyyən əməliyyatlarla bağlı olan bütün bu proseslərə informasiya prosesləri deyilir.

1.7. İnformasiya hansı xüsusiyyətlərə malikdir?

Məlumat xüsusiyyətləri:

Məlumat etibarlı, işlərin həqiqi vəziyyətini əks etdirirsə. Qeyri-dəqiq məlumat anlaşılmazlıqlara və ya yanlış qərarlara səbəb ola bilər.

Vaxt keçdikcə etibarlı məlumat etibarsız ola bilər, çünki köhnəlmək xüsusiyyətinə malikdir, yəni işlərin həqiqi vəziyyətini əks etdirməyi dayandırır.

Məlumat dolu, anlamaq və qərar qəbul etmək üçün kifayətdirsə. Həm natamam, həm də lazımsız məlumatlar qərar qəbul etməyə mane olur və ya səhvlərə səbəb ola bilər.

Məlumatın dəqiqliyi obyektin, prosesin, hadisənin və s.-nin real vəziyyətinə yaxınlıq dərəcəsi ilə müəyyən edilir.

Dəyər informasiya problemin həlli üçün nə dərəcədə vacib olmasından, eləcə də insan fəaliyyətinin hər hansı bir növündə tətbiqini daha nə dərəcədə tapacağından asılıdır.

Yalnız vaxtında alınan məlumat gözlənilən faydaları verə bilər. Həm məlumatın vaxtından əvvəl təqdim edilməsi (hələ ki, onu mənimsəmək mümkün olmadıqda), həm də gecikdirilməsi eyni dərəcədə arzuolunmazdır.

Dəyərli və vaxtında verilən məlumat anlaşılmaz şəkildə ifadə olunarsa, faydasız ola bilər.

Məlumat o zaman başa düşülən olur ki, o, məlumatın nəzərdə tutulduğu şəxslərin danışdığı dildə ifadə edilir.

Məlumat əlçatan (qavrayış səviyyəsinə görə) formada təqdim edilməlidir. Bu səbəbdən də məktəb dərsliklərində, elmi nəşrlərdə eyni suallar müxtəlif formada verilir.

Eyni məsələ ilə bağlı məlumat qısa (qısa, əhəmiyyətsiz təfərrüatlar olmadan) və ya uzun (ətraflı, ətraflı) təqdim edilə bilər. İstinad kitablarında, ensiklopediyalarda, dərsliklərdə, bütün növ təlimatlarda məlumatın qısalığı zəruridir.

Nəzarət sualları:

1. “İnformatika” termini nə deməkdir və mənşəyi nədir?

2. 1978-ci ildən rəsmi olaraq “informatika” anlayışına hansı bilik sahələri aid edilmişdir?

3. İnformatika insan fəaliyyətinin hansı sahələrinə və nə dərəcədə təsir göstərir?

4. İnformatikanın əsas komponentləri və onun tətbiqinin əsas istiqamətləri hansılardır.

5. “İnformasiya” anlayışı dedikdə məişət, elmi-texniki mənada nə nəzərdə tutulur?

6. İnsan kimdən (və ya nədən) məlumat alır? Məlumat kimə ötürülür?

7. Məlumatla nə edə bilərsiniz?

8. İnformasiyanın insan tərəfindən işlənməsinə misallar göstərin. Bu emalın nəticələri hansılardır?

9. İnformasiyanın toplanması və emalı üçün texniki qurğu və sistemlərə nümunələr göstərin.

10. İnsanın qəbul etdiyi mesajın informativliyini nə müəyyənləşdirir?

11. Nə üçün mesajdakı məlumatın həcmini obyekt haqqında biliklərin artması dərəcəsi ilə deyil, onun haqqında biliklərimizin qeyri-müəyyənliyinin azalma dərəcəsi ilə qiymətləndirmək daha əlverişlidir?

12. İnformasiyanın miqdarının ölçü vahidi necə müəyyən edilir?

13. Mesajda olan məlumatın miqdarını hansı hallarda və hansı düsturla hesablaya bilərsiniz?

14. Hartli düsturunda nə üçün 2 rəqəmi loqarifmin əsası kimi götürülür?

15. Hansı şəraitdə Şennon düsturu Hartli düsturuna çevrilir?

16. İnformasiya nəzəriyyəsində və hesablamada “bit” termini nə ilə müəyyən edilir?

17. İnformasiya məzmunu birmənalı olaraq müəyyən edilə bilən mesajlara misallar göstərin.

1928-ci ildə amerikalı mühəndis R.Hartli məlumat əldə etmə prosesini əvvəlcədən verilmiş N bərabər ehtimallı mesajlar toplusundan sonlu bir mesajın seçilməsi hesab etdi və seçilmiş mesajda mənim ehtiva etdiyim məlumatların miqdarı ikili loqarifm kimi təyin olundu. N.

Hartley düsturu: I = log 2 N və ya N = 2 i

Tutaq ki, birdən yüzə qədər bir sıra nömrələrdən birini təxmin etmək lazımdır. Hartley düsturundan istifadə edərək bunun üçün nə qədər məlumat tələb olunduğunu hesablaya bilərsiniz: I = log 2 100> 6.644. Beləliklə, düzgün təxmin edilən nömrə haqqında mesaj təxminən 6644 məlumat vahidinə bərabər olan məlumat miqdarını ehtiva edir.

Başqa misallar verək eyni dərəcədə ehtimal olunan mesajlar :

1. sikkə atanda: “quyruq düşdü”, “başlar düşdü”;

2. kitabın səhifəsində: “hərflərin sayı cütdür”, “hərflərin sayı təkdir”.

İndi olub olmadığını müəyyən edək bərabər ehtimal mesajları « binanın qapısından ilk çıxan qadın olur” və “Binanın qapısından ilk çıxan kişi olur". Bu suala birmənalı cavab vermək mümkün deyil. Hamısı hansı binadan danışdığımızdan asılıdır. Əgər bu, məsələn, bir metro stansiyasıdırsa, o zaman qapını ilk tərk etmə ehtimalı kişi və qadın üçün eynidir və əgər hərbi kazarmadırsa, kişi üçün bu ehtimal qadından qat-qat yüksəkdir. .

Bu cür problemlər üçün amerikalı alim Klod Şennon 1948-ci ildə başqa bir düstur təklif etdi komplektdə mesajların mümkün qeyri-bərabər ehtimalını nəzərə alaraq məlumatın həcminin müəyyən edilməsi .

Şennon düsturu: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 +... + P N log 2 p N),

burada p i i-ci mesajın N mesaj dəstində seçilmə ehtimalıdır.

Asanlıqla görmək olar ki, əgər p 1, ..., p N ehtimalları bərabərdirsə, onda onların hər biri 1/N-ə bərabərdir və Şennon düsturu Hartli düsturuna çevrilir.

kimi məlumat vahidləri Klod Şennon birini götürməyi təklif etdi az(İngilis biti - binary digit - binary digit).

bit informasiya nəzəriyyəsində - eyni ehtimal olunan iki mesajı (məsələn, "başlar" - "quyruqlar", "cüt" - "tək" və s.) fərqləndirmək üçün tələb olunan məlumatların miqdarı.

Hesablamada bit verilənlərin və təlimatların maşındaxili təsviri üçün istifadə olunan iki "0" və "1" simvollarından birini saxlamaq üçün tələb olunan kompüter yaddaşının ən kiçik "hissəsidir".

Daha böyük əldə edilmiş məlumat vahidləri də geniş istifadə olunur:

1 kilobayt (KB) = 1024 bayt = 210 bayt,

1 Meqabayt (MB) = 1024 KB = 220 bayt,

1 Gigabayt (GB) = 1024 MB = 230 Bayt.

Son zamanlar, işlənmiş məlumatların miqdarının artması ilə əlaqədar olaraq, əldə edilən vahidlər:

1 Terabayt (TB) = 1024 GB = 240 Bayt,

1 Petabayt (PB) = 1024 TB = 250 Bayt.

Məlumat vahidi üçün, məsələn, eyni dərəcədə ehtimal olunan on mesajı ayırd etmək üçün tələb olunan məlumat miqdarını seçmək olar. O, ikili (bit) deyil, onluq ( dit) informasiya vahidi.

Mesajda olan məlumatların miqdarı bu mesajın onu qəbul edən şəxsə daşıdığı biliklərin miqdarı ilə müəyyən edilir. Mesajda olan məlumat bu şəxs üçün yeni və başa düşüləndirsə, bir şəxs üçün məlumat ehtiva edir və buna görə də onun biliklərini artırır.

İnsanın əldə etdiyi məlumatı biliyin qeyri-müəyyənliyini azaltmaq ölçüsü hesab etmək olar. Əgər hansısa mesaj biliklərimizin qeyri-müəyyənliyinin azalmasına gətirib çıxarırsa, o zaman belə bir mesajın informasiya ehtiva etdiyini deyə bilərik.

İnformasiya vahidi olaraq qeyri-müəyyənlik 2 dəfə azaldıqda əldə etdiyimiz məlumatın miqdarını götürürük. Belə bir vahid adlanır az.

Kompüterdə məlumat ikili kodda və ya əlifbası iki rəqəmdən (0 və 1) ibarət olan maşın dilində təqdim olunur. Bu rəqəmlər iki eyni ehtimallı vəziyyət kimi qəbul edilə bilər. Bir binar bit yazarkən iki mümkün vəziyyətdən birinin (iki rəqəmdən biri) seçimi həyata keçirilir və buna görə də bir ikili bit 1 bitdə məlumatın miqdarını daşıyır. İki binar bit məlumat daşıyır 2 bit, üç bit - 3 bit və s.

İndi tərs məsələni qoyaq və müəyyən edək: "I ikili rəqəmlərdən istifadə etməklə neçə müxtəlif N ikili ədədi yazmaq olar?" Bir ikili rəqəmlə siz 2 fərqli ədəd yaza bilərsiniz (N = 2 = 2 1), iki ikili rəqəmlə dörd ikilik rəqəm yaza bilərsiniz (N = 4 = 2 2), üç ikili rəqəmlə səkkiz ikili rəqəm yaza bilərsiniz ədədlər (N = 8 = 2 3) və s.

Ümumiyyətlə, müxtəlif ikili ədədlərin sayını düsturla müəyyən etmək olar

N - mümkün hadisələrin sayı (eyni dərəcədə ehtimal olunur) !!!;

Riyaziyyatda eksponensial tənliyi həll edən funksiya var, bu funksiyaya loqarifm deyilir. Bu tənliyin həlli formaya malikdir:

Əgər hadisələr bərabər ehtimal , onda məlumatın miqdarı bu düsturla müəyyən edilir.

ilə hadisələr üçün məlumat miqdarı müxtəlif ehtimallar tərəfindən müəyyən edilir Şennon düsturu :

burada I məlumatın miqdarıdır;

N - mümkün hadisələrin sayı;

P i - ayrı-ayrı hadisələrin baş vermə ehtimalı.

Misal 3.4

Lotereya tamburunda 32 top var. Mesajda ilk çəkilmiş nömrə haqqında nə qədər məlumat var (məsələn, 15 nömrəsi buraxılıb)?

Həll:

32 topdan hər hansı birini çıxarmaq eyni dərəcədə mümkün olduğundan, çəkilmiş bir nömrə haqqında məlumatın miqdarı tənlikdən tapılır: 2 I = 32.

Ancaq 32 = 2 5. Beləliklə, I = 5 bit. Aydındır ki, cavab hansı nömrənin gəldiyindən asılı deyil.

Misal 3.5

Həmsöhbətinizə hansı ayda doğulduğunu dəqiq müəyyən etmək üçün ona neçə sual vermək kifayətdir?

Həll:

12 ayı 12 mümkün hadisə kimi nəzərdən keçirək. Müəyyən bir doğum ayı haqqında soruşsanız, onda 11 sual verməli ola bilərsiniz (əgər ilk 11 sual mənfi cavab aldısa, 12-ci sual lazım deyil, çünki bu düzgün olacaqdır).

“İkili” suallar, yəni yalnız “hə” və ya “yox” cavabı verilə bilən suallar vermək daha düzgündür. Məsələn, "İlin ikinci yarısında doğulmusan?" Hər bir belə sual seçimlər dəstini iki alt qrupa bölür: biri “bəli” cavabı, digəri isə “yox” cavabı üçün.

Düzgün strategiya sual verməkdir ki, hər dəfə mümkün variantların sayı iki dəfə azalsın. Onda əldə edilən alt çoxluqların hər birində mümkün hadisələrin sayı eyni olacaq və onların təxmin edilməsi eyni dərəcədə ehtimal olunur. Bu halda, hər addımda cavab ("bəli" və ya "yox") maksimum məlumat miqdarını (1 bit) daşıyacaqdır.

Düstur 2-dən və kalkulyatordan istifadə edərək əldə edirik:

az.

Alınan məlumat bitlərinin sayı verilən sualların sayına uyğundur, lakin sualların sayı tam olmayan ədəd ola bilməz. Daha böyük bir tam ədədə yuvarlaqlaşdırırıq və cavabı alırıq: düzgün strategiya ilə siz təyin etməlisiniz 4 sualdan çox olmamalıdır.

Misal 3.6

Dostlarınızın verdiyi informatika imtahanından sonra qiymətlər ("2", "3", "4" və ya "5") elan edilir. Biletlərin yalnız yarısını öyrənən A tələbəsi üçün qiymətləndirmə mesajı və bütün biletləri öyrənən B tələbəsi üçün qiymətləndirmə mesajı nə qədər məlumat ötürəcək.

Həll:

Təcrübə göstərir ki, A tələbəsi üçün bütün dörd qiymətləndirmə (hadisə) eyni dərəcədə ehtimal olunur və sonra qiymətləndirmə mesajının daşıdığı məlumatın miqdarı (1) düsturu ilə hesablana bilər:

Təcrübəyə əsaslanaraq, həmçinin hesab edə bilərik ki, B tələbəsi üçün ən çox ehtimal olunan qiymət “5” (p 1 = 1/2), “4” qiymət ehtimalı iki dəfə azdır (p 2 = 1/4), və "2 "Və" 3 "qiymətinin ehtimalı iki dəfə azdır (p 3 = p 4 = 1/8). Hadisələr qeyri-bərabər olduğundan, mesajdakı məlumatın miqdarını hesablamaq üçün düstur 2-dən istifadə edəcəyik:

Hesablamalar göstərdi ki, bərabər ehtimallı hadisələrlə biz qeyri-bərabər ehtimal olunan hadisələrdən daha çox məlumat əldə edirik.

Misal 3.7

Qeyri-şəffaf çantada 10 ağ, 20 qırmızı, 30 mavi və 40 yaşıl top var. Vizual mesajda çıxarılan topun rəngi haqqında nə qədər məlumat olacaq.

Həll:

Müxtəlif rəngli topların sayı eyni olmadığından, çantadan çıxarılan topun rəngi ilə bağlı vizual mesajların ehtimalları da fərqlidir və verilmiş rəngli topların sayının topların ümumi sayına bölünməsinə bərabərdir. :

P b = 0,1; P k = 0,2; P c = 0,3; P s = 0,4.

Hadisələr qeyri-bərabərdir, buna görə də topun rəngi ilə bağlı mesajda olan məlumatların miqdarını müəyyən etmək üçün 2-ci düsturdan istifadə edəcəyik:

Loqarifmləri ehtiva edən bu ifadəni hesablamaq üçün kalkulyatordan istifadə edə bilərsiniz. Mən "1.85 bit.

Misal 3.8

Şennonun düsturundan istifadə etməklə 256 müxtəlif simvolu kodlaşdırmaq üçün nə qədər məlumat bitinin və ya ikili rəqəmin lazım olduğunu müəyyən etmək kifayət qədər asandır. 256 müxtəlif simvolu 256 müxtəlif bərabər ehtimal vəziyyəti (hadisələri) kimi qəbul etmək olar. Məlumatın miqdarını ölçmək üçün ehtimal yanaşmasına uyğun olaraq, 256 simvoldan ibarət ikili kodlaşdırma üçün tələb olunan məlumat miqdarı bərabərdir:

I = log 2 256 = 8 bit = 1 bayt

Buna görə də, 1 simvolun ikili kodlaşdırılması üçün 1 bayt məlumat və ya 8 ikili bit tələb olunur.

Məsələn, “Müharibə və Sülh” romanının mətnində, Rafaelin freskalarında və ya insanın genetik kodunda nə qədər məlumat var? Elm bu suallara cavab vermir və çox güman ki, tezliklə də verməyəcək. İnformasiyanın həcmini obyektiv ölçmək mümkündürmü? İnformasiya nəzəriyyəsinin ən mühüm nəticəsi aşağıdakı nəticədir: “Müəyyən, çox geniş şəraitdə informasiyanın keyfiyyət xüsusiyyətlərinə məhəl qoymamaq, onun miqdarını ədədlə ifadə etmək, həmçinin müxtəlif məlumat qruplarında olan məlumatların miqdarını müqayisə etmək olar”.

Hazırda “informasiyanın miqdarı” anlayışının müəyyənləşdirilməsinə fakta əsaslanan yanaşmalar mesajdakı məlumatın yeniliyi mənasında sərbəst şərh oluna biləcəyini və ya başqa sözlə, obyekt haqqında biliklərimizin qeyri-müəyyənliyini azaltdığını. Bu yanaşmalarda ehtimal və loqarifmin riyazi anlayışlarından istifadə edilir.

Hartlinin düsturu: I = log 2 N

Tutaq ki, birdən yüzə qədər bir sıra nömrələrdən birini təxmin etmək lazımdır. Hartley düsturundan istifadə edərək bunun üçün nə qədər məlumat tələb olunduğunu hesablaya bilərsiniz: I = log 2 100  6.644. Beləliklə, düzgün təxmin edilən nömrə haqqında mesaj təxminən 6644 məlumat vahidinə bərabər olan məlumat miqdarını ehtiva edir.

Budur digərləri bərabər ehtimal mesajlarının nümunələri:

sikkə atarkən: "quyruqlar düşdü", "qartal düşdü";

kitab səhifəsində: "hərflərin sayı cütdür", "hərflərin sayı təkdir".

İndi müəyyən edək mesajlar bərabər ehtimal olunur "binanın qapısından çıxan ilk qadın" və "binanın qapısından ilk çıxan kişi olacaq". Bu suala birmənalı cavab vermək mümkün deyil.... Hamısı hansı binadan danışdığımızdan asılıdır. Əgər bu, məsələn, bir metro stansiyasıdırsa, o zaman qapını ilk tərk etmə ehtimalı kişi və qadın üçün eynidir və əgər hərbi kazarmadırsa, kişi üçün bu ehtimal qadından qat-qat yüksəkdir. .

Bu cür tapşırıqlar üçün amerikalı alim Klod Şennon 1948-ci ildə dəstdə mesajların mümkün qeyri-bərabər ehtimalını nəzərə alaraq məlumatın miqdarını təyin etmək üçün başqa bir düstur təklif etdi.

Şennon düsturu: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 +... + P N log 2 p N),
harada səh i- ehtimalı tam olaraq i-ci mesaj N mesaj dəstində seçilir.

Ehtimallar olarsa bunu görmək asandır səh 1, ..., p N bərabərdir, onda onların hər biri bərabərdir 1 / N, və Şennonun düsturu Hartlinin düsturuna çevrilir.

Məlumat vahidi olaraq Klod Şennon birini götürməyi təklif etdi az (İngilis dili. az - bi nary digi t - ikili rəqəm).

bit informasiya nəzəriyyəsində- eyni dərəcədə ehtimal olunan iki mesajı (məsələn, "başlar" - "quyruqlar", "cüt" - "tək" və s.) fərqləndirmək üçün tələb olunan məlumatların miqdarı.

Hesablamada bit, verilənlərin və əmrlərin maşındaxili təsviri üçün istifadə olunan iki "0" və "1" simvollarından birini saxlamaq üçün tələb olunan kompüter yaddaşının ən kiçik "hissəsidir".

Bit çox kiçik ölçü vahididir. Praktikada daha böyük bir vahid tez-tez istifadə olunur - bayt bərabərdir səkkiz bit. Kompüter klaviaturasının əlifbasının 256 simvolundan hər hansı birini kodlaşdırmaq üçün tam olaraq səkkiz bit tələb olunur (256 = 2 8).

Həmçinin geniş istifadə olunur daha böyük əldə edilmiş məlumat vahidləri:

1 kilobayt (KB) = 1024 bayt = 2 10 bayt,

1 Meqabayt (MB) = 1024 KB = 2 20 bayt,

1 Gigabayt (GB) = 1024 MB = 2 30 bayt.

Son zamanlar, işlənmiş məlumatların miqdarının artması ilə əlaqədar olaraq, əldə edilən vahidlər:

1 Terabayt (TB) = 1024 GB = 2 40 bayt,

1 Petabayt (PB) = 1024 TB = 2 50 bayt.

Məlumatla nə edə bilərsiniz?

Məlumat ola bilər:

İnformasiya ilə müəyyən əməliyyatlarla əlaqəli bütün bu proseslər deyilir informasiya prosesləri.

Məlumatın xüsusiyyətləri.

Məlumat xüsusiyyətləri:

etibarlılıq;

dəyər;

vaxtlılıq; başa düşülənlik;

mövcudluq;

qısalıq;

Məlumat işin həqiqi vəziyyətini əks etdirirsə etibarlıdır... Qeyri-dəqiq məlumat anlaşılmazlıqlara və ya yanlış qərarlara səbəb ola bilər.

Etibarlı məlumatlar zamanla qeyri-dəqiq ola bilər, mülkü olduğu üçün köhnəlmək, yəni işlərin həqiqi vəziyyətini əks etdirməyi dayandırır.

Məlumat başa düşmək və qərar qəbul etmək üçün kifayətdirsə, tamdır... Həm natamam, həm də lazımsız məlumatlar qərar qəbul etməyə mane olur və ya səhvlərə səbəb ola bilər.

Məlumatın dəqiqliyi obyektin, prosesin, hadisənin və s.-nin real vəziyyətinə yaxınlıq dərəcəsi ilə müəyyən edilir.

İnformasiyanın dəyəri onun problemin həlli üçün nə dərəcədə vacib olmasından asılıdır., həm də faktdan nə qədər sonra insan fəaliyyətinin hər hansı bir növündə tətbiq tapacaqdır.

Yalnız vaxtında alınan məlumat gözlənilən faydaları verə bilər... kimi eyni dərəcədə arzuolunmazdır məlumatların vaxtından əvvəl təqdim edilməsi(hələ assimilyasiya oluna bilmədikdə), belədir gecikmə.

Əgər dəyərli və vaxtında məlumat anlaşılmaz şəkildə ifadə edilirsə, o ola bilər faydasız.

Məlumat aydın olur məlumatın nəzərdə tutulduğu şəxslərin danışdıqları dildə ifadə edilirsə.

Məlumat əlçatan formada təqdim edilməlidir(qavrayış səviyyəsinə görə) formasıdır. Ona görə də məktəb dərsliklərində, elmi nəşrlərdə eyni suallar müxtəlif formada verilir.

Eyni məsələ ilə bağlı məlumat ümumiləşdirmək olar(qısa, əhəmiyyətsiz təfərrüatlar olmadan) və ya uzun müddətdir(ətraflı, ətraflı). İstinad kitablarında, ensiklopediyalarda, dərsliklərdə, bütün növ təlimatlarda məlumatın qısalığı zəruridir.

Verilənlərin emalı.

Verilənlərin emalı- bəzi alqoritmləri yerinə yetirməklə bəzi informasiya obyektlərinin digər informasiya obyektlərindən alınması.

Emal informasiya üzərində yerinə yetirilən əsas əməliyyatlardan biri, informasiyanın həcmini və çeşidini artıran əsas vasitədir.

İnformasiya emal vasitələri bəşəriyyət tərəfindən yaradılmış hər cür cihaz və sistemlərdir və ilk növbədə kompüter informasiyanın emalı üçün universal maşındır.

Artıq qeyd etdik ki, Hartli düsturu bərabər ehtimal olunan alternativlər üçün Şennonun düsturunun xüsusi halıdır.

Əvəzində düstur (1) ilə əvəz edilməsi səh i bu (equimable halda, asılı olmayaraq i) dəyəri əldə edirik:

Beləliklə, Hartlinin düsturu çox sadə görünür:

(2)

Buradan aydın olur ki, alternativlərin sayı nə qədər çox olarsa ( N), qeyri-müəyyənlik nə qədər böyük olarsa ( H). Bu kəmiyyətlər (2) düsturunda xətti deyil, ikili loqarifm vasitəsilə əlaqələndirilir. 2-ci bazaya loqarifm və variantların sayını məlumat ölçmə vahidlərinə - bitlərə aparır.

Qeyd edək ki, entropiya yalnız əgər tam ədəd olacaqdır N 2-nin gücüdür, yəni. əgər N seriyasına aiddir: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

düyü. 10. Entropiyanın bərabər ehtimal olunan seçimlərin (ekvivalent alternativlərin) sayından asılılığı.

Loqarifmin nə olduğunu xatırlayaq.

düyü. 11. Loqarifmin tapılması b səbəblə a tapır dərəcə qurmaq istədiyiniz yerə a, əldə etmək b.

Loqarifm bazası 2 adlanır ikili:

log 2 (8) = 3 => 2 3 = 8

log 2 (10) = 3.32 => 2 3.32 = 10

Loqarifm bazası 10 - çağırılır onluq:

log 10 (100) = 2 => 10 2 = 100

Loqarifmin əsas xüsusiyyətləri:

log (1) = 0, çünki sıfır dərəcəyə qədər istənilən ədəd 1 verir;

log (a b) = b * log (a);

log (a * b) = log (a) + log (b);

log (a / b) = log (a) -log (b);

log (1 / b) = 0-log (b) = - log (b).

Qeyri-müəyyənlik məlum olduqda tərs məsələləri həll etmək üçün ( H) və ya onun silinməsi nəticəsində əldə edilən məlumatların miqdarı ( I) və bu qeyri-müəyyənliyin meydana gəlməsinə neçə bərabər ehtimal olunan alternativin uyğun olduğunu müəyyən etmək lazımdır, daha da sadə görünən tərs Hartley düsturundan istifadə edin:

(3)

Məsələn, bizi maraqlandıran Kolya İvanovun ikinci mərtəbədə yaşadığının müəyyən edilməsi nəticəsində 3 bit məlumat alındığı məlumdursa, o zaman evdəki mərtəbələrin sayını (3) düsturla müəyyən etmək olar. ), kimi N=2 3 = 8 mərtəbə.

Sual: "8 mərtəbəli bir evdə, bizi maraqlandıran Kolya İvanovun ikinci mərtəbədə yaşadığını biləndə nə qədər məlumat aldıq?", düsturu (2) istifadə etməlisiniz: I= log 2 (8) = 3 bit.

Mesaj prosesi zamanı alınan məlumatların miqdarı

İndiyə qədər entropiyanın (qeyri-müəyyənliyin) hesablanması üçün düsturlar vermişik. H olduğunu göstərir H ilə əvəz edilə bilər Içünki alınan məlumatların miqdarı tam çıxarılması iləqeyri-müəyyənliklər müəyyən bir vəziyyətin, kəmiyyətcə bu vəziyyətin ilkin entropiyasına bərabərdir.

Amma qeyri-müəyyənlik yalnız qismən aradan qaldırıla bilər, belə ki, məlumat miqdarıI bəzi mesajlardan alınan kimi hesablanır əldə edilməsi nəticəsində entropiyanın azalması verilmişdir mesajlar.

(4)

Ehtimal olunan vəziyyət üçün, entropiyanı hesablamaq üçün Hartley düsturundan istifadə edərək əldə edirik:

(5)

İkinci bərabərlik loqarifmin xassələrindən alınır. Beləliklə, bərabər ehtimal olunan vəziyyətdə I asılıdır neçə dəfə nəzərdən keçirilən variantların sayı (müxtəliflik nəzərə alınmaqla) dəyişdi.

(5) əsasında aşağıdakı nəticəyə gələ bilərik:

Əgər
, sonra
- qeyri-müəyyənliyin tam aradan qaldırılması, mesajda alınan məlumatların miqdarı mesajın qəbulundan əvvəl mövcud olan qeyri-müəyyənliyə bərabərdir.

Əgər
, sonra
- qeyri-müəyyənlik dəyişməyib, ona görə də heç bir məlumat daxil olmayıb.

Əgər
, sonra
=>
, əgər
,
=>
... Bunlar. mesajın alınması nəticəsində nəzərdən keçirilən alternativlərin sayı azalıbsa, alınan məlumatın miqdarı müsbət, artıbsa mənfi qiymət olacaqdır.

Mesajın alınması nəticəsində nəzərdən keçirilən alternativlərin sayı iki dəfə azalıbsa, yəni.
, sonra I =log 2 (2) = 1 bit. Başqa sözlə, 1 bit məlumat almaq ekvivalent variantların yarısını nəzərdən keçirməkdən kənarlaşdırır.

Nümunə olaraq 36 kartdan ibarət göyərtə ilə bir təcrübəni nəzərdən keçirək.

düyü. 12. 36 kartdan ibarət göyərtə ilə təcrübə üçün illüstrasiya.

Kimsə göyərtədən bir kart çəksin. Bizə maraqlıdır ki, o, 36 kartdan hansını çıxarıb. Formula (2) ilə hesablanmış ilkin qeyri-müəyyənlikdir H= log 2 (36)  5.17 bit... Kartı çəkən şəxs bizə bəzi məlumatları deyir. Formula (5) istifadə edərək, bu mesajlardan nə qədər məlumat aldığımızı müəyyənləşdiririk:

SeçimA... "Okartaqırmızı kostyum”.

I = log 2 (36/18) = log 2 (2) = 1 bit (göyərtədə qırmızı kartların yarısı, qeyri-müəyyənlik 2 dəfə azalıb).

SeçimB... "Okartazirvə kostyum”.

I = log 2 (36/9) = log 2 (4) = 2 bit (kürəklər göyərtənin dörddə birini təşkil edir, qeyri-müəyyənlik 4 dəfə azalıb).

Variant C. "Bu, ən yüksək kartlardan biridir: jak, kraliça, kral və ya as."

I = log 2 (36) –log 2 (16) = 5.17-4 = 1.17 bit (qeyri-müəyyənlik iki dəfədən çox azalıb, ona görə də alınan məlumatın miqdarı bir bitdən çoxdur).

SeçimD... "Bu göyərtədən bir kartdır."

I = log 2 (36/36) = log 2 (1) = 0 bit (qeyri-müəyyənlik azalmayıb - mesaj informativ deyil).

SeçimD... “Bu bir xanımdırzirvə".

I = log 2 (36/1) = log 2 (36) = 5.17 bit (qeyri-müəyyənlik tamamilə aradan qaldırıldı).

Topun üç qabdan birində olduğu apriori məlumdur: A, B və ya C. Mesajın B qabında olması ilə bağlı neçə məlumat bitindən ibarət olduğunu müəyyən edin. Seçimlər: 1 bit, 1.58 bit, 2 bit, 2.25 bit.

Birinci hadisənin baş vermə ehtimalı 0,5, ikinci və üçüncü hadisənin ehtimalı isə 0,25-dir. Belə bir paylanma üçün informasiya entropiyası nədir? Seçimlər: 0,5 bit, 1 bit, 1,5 bit, 2 bit, 2,5 bit, 3 bit.

Müəyyən bir təşkilatın işçilərinin siyahısı:

Aşağıdakı sorğuları yerinə yetirmək üçün çatışmayan məlumatların miqdarını müəyyənləşdirin:

Zəhmət olmasa İvanova zəng edin.

Mən sizin əməkdaşlarınızdan biri ilə maraqlanıram, o, 1970-ci il təvəllüdlüdür.

Hansı mesaj daha çox məlumat daşıyır:

Sikkə atma (başlar, quyruqlar) nəticəsində quyruqlar düşdü.

Svetoforlar (qırmızı, sarı, yaşıl) artıq yaşıldır.

Zərlərin atılması (1, 2, 3, 4, 5, 6) 3 xalla nəticələnir.

Amerikalı mühəndis R.Hartli 1928-ci ildə informasiyanın əldə edilməsi prosesi əvvəlcədən müəyyən edilmiş sonlu çoxluqdan bir mesajın seçilməsi kimi qəbul edilirdi N eyni dərəcədə ehtimal olunan mesajlar və məlumatın miqdarı I seçilmiş mesajda olan ikili loqarifm kimi müəyyən edilmişdir N .

Hartley düsturu:

I = log2 N.

Tutaq ki, birdən yüzə qədər bir sıra nömrələrdən birini təxmin etmək lazımdır. Hartley düsturundan istifadə edərək bunun üçün nə qədər məlumat tələb olunduğunu hesablaya bilərsiniz: I = log2100> 6.644. Beləliklə, düzgün təxmin edilən nömrə haqqında mesaj təxminən 6644 məlumat vahidinə bərabər olan məlumat miqdarını ehtiva edir.

Budur digərləri bərabər ehtimal mesajlarının nümunələri:

1. sikkə atıldıqda: "Quyruqlar düşdü", "Qartal düşdü";

2.kitab səhifəsində: "Hərflərin sayı cütdür", "Hərflərin sayı təkdir".

İndi müəyyən edək mesajlar bərabər ehtimal olunur "Qadın binanın qapısından ilk çıxacaq" və "Binanın qapısından ilk çıxan kişi olacaq". Bu suala birmənalı cavab vermək mümkün deyil.... Hamısı hansı binadan danışdığımızdan asılıdır. Əgər bu, məsələn, bir metro stansiyasıdırsa, o zaman qapını ilk tərk etmə ehtimalı kişi və qadın üçün eynidir və əgər hərbi kazarmadırsa, kişi üçün bu ehtimal qadından qat-qat yüksəkdir. .

Şennon düsturu:

mən = - ( səh 1log2 səh 1 + səh 2 log2 səh 2 +... + səh N log2 pN),

harada pi- ehtimalı tam olaraq i-ci mesaj dəstində seçilir N mesajlar.

Ehtimallar olarsa bunu görmək asandır səh 1, ...,pN bərabərdirsə, onda onların hər biri 1-ə bərabərdir / N, və Şennonun düsturu Hartlinin düsturuna çevrilir.

Klod Şennon müəyyən edilmişdir məlumat , Necə qeyri-müəyyənliyi aradan qaldırdı ... Daha dəqiq desək, məlumat əldə etmək qeyri-müəyyənliyin aradan qaldırılması üçün zəruri şərtdir. Seçim vəziyyətində qeyri-müəyyənlik yaranır. Qeyri-müəyyənliyin aradan qaldırılması zamanı həll olunan vəzifə nəzərdən keçirilən variantların sayının azalması (müxtəlifliyin azalması) və nəticədə mümkün olanlar arasından vəziyyətə uyğun olan variantın seçilməsidir. Qeyri-müəyyənliyin aradan qaldırılması sizə məlumatlı qərarlar qəbul etməyə və hərəkətə keçməyə imkan verir. Bu, məlumatın rəhbər roludur.

Təsəvvür edin ki, mağazaya girib onlardan sizə saqqız satmağı xahiş edirsiniz. Tutaq ki, 16 marka saqqızı olan satıcı qadın qeyri-müəyyənlik içərisindədir. Əlavə məlumat olmadan sorğunuzu yerinə yetirə bilməz. “Orbit” desəniz və satıcı indi 16 ilkin variantdan yalnız 8-ni nəzərdən keçirirsə, siz onun qeyri-müəyyənliyini yarıya endirdiniz (irəliyə baxaraq deyin ki, qeyri-müəyyənliyin yarıya endirilməsi 1 bit məlumatın alınmasına uyğundur ). Əgər daha çox uzatmadan barmağınızı pəncərəyə işarə etsəniz - "bu!", onda qeyri-müəyyənlik tamamilə aradan qaldırıldı. Yenə də qabağa baxaraq deyək ki, bu nümunədəki bu jestlə satıcı xanıma 4 bit məlumat verdiniz.

Vəziyyət maksimum qeyri-müəyyənlik bir neçə təklif edir bərabər ehtimal alternativlər (variantlar), yəni. heç bir varianta üstünlük verilmir. Üstəlik, daha bərabər ehtimal olunan variantlar müşahidə olunarsa, qeyri-müəyyənlik nə qədər çox olarsa, birmənalı seçim etmək bir o qədər çətindir və daha çox məlumat tələb olunur bunun üçün alın. üçün N variantlarda bu vəziyyət aşağıdakı ehtimal paylanması ilə təsvir olunur: (1 / N,1/ N, …,1/ N} .

Minimum qeyri-müəyyənlik 0-dır, yəni. bu vəziyyət tam əminlik , bu o deməkdir ki, seçim edilib və bütün lazımi məlumatlar alınıb. Tam əminlik vəziyyəti üçün ehtimal bölgüsü belə görünür: (1, 0,… 0).

İnformasiya nəzəriyyəsində qeyri-müəyyənliyin miqdarını xarakterizə edən kəmiyyət simvolla işarələnir H və adı var entropiya , daha dəqiq məlumat entropiyası .

entropiya ( H) – qeyri-müəyyənlik ölçüsü , bitlərlə ifadə edilir. Entropiyaya da baxmaq olar paylanmanın vahidliyi ölçüsü təsadüfi dəyişən.

düyü. 3.4 İki alternativ hal üçün entropiyanın davranışı

şək. 3.4, ehtimalların nisbətinin dəyişməsi ilə iki alternativ hal üçün entropiyanın davranışını göstərir ( P, (1-P)).

Hər iki ehtimal bir-birinə bərabər olduqda və 1/2-ə bərabər olduqda entropiya maksimum dəyərinə çatır, entropiyanın sıfır dəyəri hallara uyğun gəlir ( P 0=0, P 1 = 1) və ( P 0=1, P 1=0).

Məlumatların həcmi I və entropiya H eyni vəziyyəti xarakterizə edir, lakin keyfiyyətcə əks tərəflərdən. I, H-ni silmək üçün tələb olunan məlumat miqdarıdır. Leon Brillouin tərəfindən müəyyən edildiyi kimi məlumat mənfi entropiyadır(negentropiya) .

Qeyri-müəyyənlik tamamilə aradan qaldırıldıqda, alınan məlumatların miqdarı Iəvvəldən mövcud olan qeyri-müəyyənliyə bərabərdir H.

Qeyri-müəyyənliyin qismən aradan qaldırılması ilə alınan məlumatın miqdarı və qalan aşkar edilməmiş qeyri-müəyyənlik ilkin qeyri-müəyyənliyə əlavə olunur. Ht + Bu = H(şək. 3.5).

düyü. 3.5 Entropiya ilə məlumatın miqdarı arasında əlaqə

Bu səbəbdən entropiyanın hesablanması üçün aşağıda təqdim olunacaq düsturlar H həm də məlumatın miqdarını hesablamaq üçün düsturlardır I, yəni. gələndə qeyri-müəyyənliyin tam aradan qaldırılması, H ilə əvəz edilə bilər I.

Ümumiyyətlə, entropiya H və qeyri-müəyyənliyin aradan qaldırılması nəticəsində əldə edilən məlumatların miqdarı I nəzərdən keçirilən variantların ilkin sayından asılıdır N və onların hər birinin reallaşmasının aprior ehtimalları P:{səh 0,səh 1, …,pN- 1), yəni. H = F(N,P). Bu vəziyyətdə entropiyanın hesablanması aparılır Şennon düsturu ilə , 1948-ci ildə "Rəbitənin riyazi nəzəriyyəsi" məqaləsində təklif etmişdir.

Xüsusi bir vəziyyətdə bütün variantlar olduqda bərabər ehtimal, yalnız nəzərdən keçirilən variantların sayından asılılıq qalır, yəni. H = F(N). Bu vəziyyətdə Şennon düsturu çox sadələşdirilmiş və üst-üstə düşür Hartley düsturu ilə , ilk dəfə 1928-ci ildə amerikalı mühəndis Ralf Hartley tərəfindən təklif edilmiş, yəni. 20 il əvvəl.

Şennonun düsturu belədir:

(2.1) düsturunda mənfi işarə entropiyanın mənfi olması demək deyil. Bu onunla izah olunur ki pi Tərifinə görə £ 1 və birdən kiçik ədədin loqarifmi mənfidir. Loqarifmin xassəsinə görə, bu düstur ikinci variantda, cəmi işarəsinin qarşısında mənfi olmadan yazıla bilər.

İfadə şəxsi məlumat miqdarı kimi şərh olunur O həyata keçirildiyi halda əldə edilir i-ci variant. Şennonun düsturunda entropiya orta xarakteristikadır - təsadüfi dəyişənin paylanmasının riyazi gözləntisi ( I 0,I 1, …,Mən N- 1} .

Şennonun düsturundan istifadə edərək entropiyanın hesablanmasına bir misal verək. Bəzi müəssisələrdə işçilərin tərkibi aşağıdakı kimi bölüşdürülür: 3/4 - qadınlar, 1/4 - kişilər. Sonra qeyri-müəyyənlik, məsələn, ilk olaraq kiminlə görüşdüyünüz, quruma girdiyiniz zaman, cədvəldə göstərilən bir sıra hərəkətlərlə hesablanacaq. 3.1.

Cədvəl 3.1

pi	1/pi	Ii = log2 (1 / pi),az	pi * log2 (1 / pi),az
F	3/4	4/3	log2 (4/3) = 0,42	3/4 * 0,42=0,31
M	1/4	4/1	log2 (4) = 2	1/4 * 2=0,5
å	H = 0,81az

Artıq qeyd etdik ki, Hartli düsturu bərabər ehtimal olunan alternativlər üçün Şennonun düsturunun xüsusi halıdır.

(2.1) əvəzinə düsturla əvəz edilməsi pi bu (equimable halda, asılı olmayaraq i) dəyərini alırıq:

Beləliklə, Hartlinin düsturu çox sadə görünür:

Buradan aydın olur ki, alternativlərin sayı nə qədər çox olarsa ( N), qeyri-müəyyənlik nə qədər böyük olarsa ( H). 2-ci bazaya loqarifmlərin götürülməsi variantların sayını informasiya vahidlərinə - bitlərə gətirir. Şəkil 3.6-da entropiyanın bərabər ehtimal olunan seçimlərin sayından asılılığı göstərilir.

düyü. 3.6 Entropiyanın bərabər ehtimal olunan seçimlərin sayından asılılığı (ekvivalent alternativlər)

Məsələn, bizi maraqlandıran Kolya İvanovun ikinci mərtəbədə yaşadığının müəyyən edilməsi nəticəsində 3 bit məlumat alındığı məlumdursa, o zaman evdə mərtəbələrin sayını (2.3) düsturu ilə müəyyən etmək olar. ), kimi N = 23= 8 mərtəbə.

Sual belədirsə: "Bir evdə 8 mərtəbə var, bizi maraqlandıran Kolya İvanovun ikinci mərtəbədə yaşadığını biləndə nə qədər məlumat aldıq?", (2.2) düsturu istifadə etməlisiniz: I = log2 (8) = 3 bit.

İndiyə qədər entropiyanın (qeyri-müəyyənliyin) hesablanması üçün düsturlar vermişik. H olduğunu göstərir H ilə əvəz edilə bilər Içünki alınan məlumatların miqdarı qeyri-müəyyənliyin tam aradan qaldırılması ilə bəzi vəziyyət, kəmiyyətcə bu vəziyyətin ilkin entropiyasına bərabərdir.

Amma qeyri-müəyyənlik yalnız qismən aradan qaldırıla bilər, ona görə də məlumatın miqdarı I bəzi mesajlardan alınan kimi hesablanır əldə edilməsi nəticəsində entropiyanın azalması verilmişdir mesajlar.

Ehtimal olunan vəziyyət üçün, entropiyanı hesablamaq üçün Hartley düsturundan istifadə edərək əldə edirik:

(3.5)-ə əsasən aşağıdakı nəticə çıxara bilərik:

Əgər, onda - qeyri-müəyyənliyin tam aradan qaldırılması, mesajda alınan məlumatın miqdarı mesaj qəbul edilməzdən əvvəl mövcud olan qeyri-müəyyənliyə bərabərdir.

Əgər, onda - qeyri-müəyyənlik dəyişməyib, deməli, heç bir məlumat alınmayıb.

Əgər, onda =>,

əgər, onda =>.

Bunlar. mesajın alınması nəticəsində nəzərdən keçirilən alternativlərin sayı azalıbsa, alınan məlumatın miqdarı müsbət, artıbsa mənfi qiymət olacaqdır.

Mesajın qəbulu nəticəsində nəzərdən keçirilən alternativlərin sayı iki dəfə azalıbsa, yəni. I= log2 (2) = 1 az. Başqa sözlə, 1 bit məlumatın alınması ekvivalent variantların yarısını nəzərdən keçirməkdən kənarlaşdırır.

Nümunə olaraq 36 kartdan ibarət göyərtə ilə təcrübəni nəzərdən keçirək (Şəkil 3.7).

düyü. 3.7 36 kartdan ibarət göyərtə ilə təcrübə üçün illüstrasiya

Kimsə göyərtədən bir kart çəksin. Bizə maraqlıdır ki, o, 36 kartdan hansını çıxarıb. (3.2) düsturu ilə hesablanmış ilkin qeyri-müəyyənlikdir H = log2 (36) @ 5.17 az... Kartı çəkən şəxs bizə bəzi məlumatları deyir. Formula (3.5) istifadə edərək, bu mesajlardan nə qədər məlumat aldığımızı müəyyən edirik:

Seçim A. “Bu, qırmızı vərəqədir”.

I= log2 (36/18) = log2 (2) = 1bit (göyərtədə qırmızı kartların yarısı, qeyri-müəyyənlik 2 dəfə azalıb).

Variant B. “Bu, kürək kartıdır”.

I= log2 (36/9) = log2 (4) = 2 bit (kürəklər göyərtənin dörddə birini təşkil edir, qeyri-müəyyənlik 4 dəfə azalıb).

Variant C. "Bu, ən yüksək kartlardan biridir: jak, kraliça, kral və ya as."

I= log2 (36) –log2 (16) = 5.17-4 = 1.17 bit (qeyri-müəyyənlik iki dəfədən çox azalıb, ona görə də alınan məlumatın miqdarı bir bitdən çoxdur).

Seçim D. "Bu göyərtədən bir kartdır."

I= log2 (36/36) = log2 (1) = 0 bit (qeyri-müəyyənlik azalmayıb - mesaj informativ deyil).

Variant E. “Bu, Kürək Kraliçasıdır”.

I= log2 (36/1) = log2 (36) = 5.17 bit (qeyri-müəyyənlik tamamilə aradan qaldırılır).

Məqsəd 1. Qeyri-şəffaf torbada 50 ağ, 25 qırmızı, 25 mavi top varsa, vizual mesaj çıxarılan şarın rəngi haqqında nə qədər məlumat ehtiva edir?

Həll.

1) ümumi toplar 50 + 25 + 25 = 100

2) topların ehtimalı 50/100 = 1/2, 25/100 = 1/4, 25/100 = 1/4

3)I= - (1/2 log21 / 2 + 1/4 log21 / 4 + 1/4 log21 / 4) = - (1/2 (0-1) +1/4 (0-2) +1/4 (0) -2)) = = 1,5 bit

Məqsəd 2. Səbətdə müxtəlif rəngli 16 top var. Ağ top aldığınız mesaj nə qədər məlumat daşıyır?

Həll... Çünki N = 16 top, onda I = log2 N = log2 16 = 4 bit.

Məqsəd 3. Səbətdə qara və ağ toplar var. Onların arasında 18 qara top var. Ağ topun çəkildiyi mesajı 2 bit məlumat daşıyır. Səbətdə neçə top var?

1) 18 2) 24 3) 36 4)48

Həll... Şennonun düsturuna görə ağ topun alınma ehtimalını tapaq: log2N = 2, N = 4, buna görə də ağ topun alınma ehtimalı 1/4 (25%), qara topun alınma ehtimalı isə 3-dür. /4 (75%) müvafiq olaraq. Bütün topların 75% -i qaradırsa, onların sayı 18-dir, onda bütün topların 25% -i ağdır, onların sayı (18 * 25) / 75 = 6-dır.

Səbətdəki bütün topların sayını tapmaq qalır 18 + 6 = 24.

Cavab: 24 top.

Tapşırıq 4. Bəzi ölkələrdə 5 simvoldan ibarət avtomobil nömrə nişanı istənilən qaydada böyük hərflərdən (cəmi 30 hərf) və onluq rəqəmlərdən ibarətdir. Hər bir simvol eyni və minimum mümkün bit sayı ilə kodlanır və hər bir nömrə eyni və minimum mümkün bayt sayı ilə kodlanır. 50 nömrə nişanını saxlamaq üçün lazım olan yaddaşın miqdarını müəyyənləşdirin.

1) 100 bayt 2) 150 bayt 3) 200 bayt 4) 250 bayt

Həll... Nömrəni kodlaşdırmaq üçün istifadə olunan simvolların sayı: 30 hərf + 10 rəqəm = 40 simvol. Bir simvolu daşıyan məlumatın miqdarı 6 bitdir (2I = 40, lakin məlumatın miqdarı kəsr ədəd ola bilməz, ona görə də çox sayda simvola ikinin ən yaxın gücünü alırıq 26 = 64).

Hər bir simvolda olan məlumatın miqdarını tapdıq, nömrədəki simvolların sayı 5-dir, buna görə də 5 * 6 = 30 bit. Hər bir ədəd 30 bit informasiyaya bərabərdir, lakin problemin vəziyyətinə uyğun olaraq hər bir nömrə eyni və minimum mümkün bayt sayı ilə kodlanır, buna görə də 30 bitdə neçə bayt olduğunu öyrənməliyik. 30-u 8-ə bölsək, kəsr ədədi alırıq və hər bir ədəd üçün baytların tam sayını tapmalıyıq, ona görə də bitlərin sayını aşacaq ən yaxın 8 əmsalını tapırıq, bu 4-dür (8 * 4). = 32). Hər nömrə 4 baytla kodlanır.

50 nömrəni saxlamaq üçün sizə lazım olacaq: 4 * 50 = 200 bayt.

"Nömrəni tap" oyununda optimal strategiyanın seçimi."Nömrəni tap" oyununda optimal strategiyanın seçimi, ilk iştirakçının verilmiş intervaldan (məsələn, 1-dən 16-a qədər) tam ədədi (məsələn, 3) təxmin etdiyi maksimum məlumat miqdarının əldə edilməsinə əsaslanır. ), ikincisi isə nəzərdə tutulan nömrəni "təxmin etməlidir". Bu oyunu informasiya baxımından nəzərdən keçirsək, ikinci iştirakçı üçün biliyin ilkin qeyri-müəyyənliyi 16 mümkün hadisədir (düşünülmüş nömrələrin variantları).

Optimal strategiya ilə, nömrələr intervalı həmişə yarıya endirilməli, sonra alınan intervalların hər birində mümkün hadisələrin (rəqəmlərin) sayı eyni olacaq və intervalları təxmin etmək eyni dərəcədə mümkündür. Bu halda, hər addımda birinci oyunçunun cavabı ("Bəli" və ya "Xeyr") maksimum məlumat miqdarını (1 bit) daşıyacaqdır.

Cədvəldən göründüyü kimi. 1.1, 3 rəqəminin təxmin edilməsi dörd addımda baş verdi, hər birində ikinci iştirakçının biliyinin qeyri-müəyyənliyi birinci iştirakçıdan 1 bit məlumat ehtiva edən mesajın alınması səbəbindən iki dəfə azaldı. Beləliklə, 16 rəqəmdən birini təxmin etmək üçün tələb olunan məlumatın miqdarı 4 bit idi.

Nəzarət sualları və tapşırıqlar

1. Topun üç urnadan birində olduğu apriori məlumdur: A, B və ya C. Mesajın B qabında olması ilə bağlı neçə məlumat bitindən ibarət olduğunu müəyyən edin.

Seçimlər bunlardır: 1az, 1,58az, 2az, 2,25az.

2. Birinci hadisənin baş vermə ehtimalı 0,5, ikinci və üçüncü hadisənin ehtimalı isə 0,25-dir. Belə bir paylanma üçün informasiya entropiyası nədir? Seçimlər bunlardır: 0,5az, 1 az, 1,5az, 2az, 2,5az, 3az.

3. Müəyyən bir təşkilatın işçilərinin siyahısı belədir:

Aşağıdakı sorğuları yerinə yetirmək üçün çatışmayan məlumatların miqdarını müəyyənləşdirin:

Zəhmət olmasa İvanova zəng edin.

Mən sizin əməkdaşlarınızdan biri ilə maraqlanıram, o, 1970-ci il təvəllüdlüdür.

4. Mesajlardan hansı daha çox məlumat daşıyır:

· Sikkə atılması nəticəsində (başlar, quyruqlar) quyruq düşdü.

· Svetofor (qırmızı, sarı, yaşıl) artıq yaşıldır.

· Zərbənin atılması (1, 2, 3, 4, 5, 6) 3 xalla nəticələnir.

Kateqoriyalar

Məşhur

"Hartley-Şennon düsturu" üzrə əsas konspekt. Məlumat, məlumat, siqnallar. İnformasiya mənbələri və onun daşıyıcıları. Məlumatın miqdarı və entropiya. Hartley və Shannon düsturları Hartley düsturundan istifadə edərək məlumatı necə qiymətləndirmək olar

Mesaj prosesi zamanı alınan məlumatların miqdarı