نظريه‌ي اطلاعات يك نظريه‌ي عميق و گسترده‌ي رياضي است و كاربردهاي عميق و گسترده‌اي نيز دارد. مفاهيم، روش‌ها، و نتايج نظريه‌ي كدگذاري و نظريه‌ي اطلاعات به‌طور گسترده در رمزنگاري (cryptography) و تحليل رمز (cryptanalysis) به‌كار گرفته مي‌شود. اين دانش هم‌چنين در رشته‌هايي مثل بازيابي اطلاعات (information retrieval)، گردآوري هوش (intelligence gathering)، علم آمار (statistics) و حتا در ساخت قطعه‌هاي موسيقي كاربرد دارد.
نظريه‌ي اطلاعات
نظريه‌ي اطلاعات شاخه‌اي از رياضي كاربردي و مهندسي برق است كه بر كمي‌سازي اطلاعات مبتني است. به لحاظ تاريخي، نظريه ي اطلاعات براي يافتن حد نهايي فشرده‌سازي هرچه بيشتر داده‌هاي مخابراتي - به‌گونه اي كه قابل اعتماد باشند- ايجاد شد. اين نظريه اكنون تا آن‌جا گسترش يافته است كه در زمينه‌هاي ديگري مثل استنباط آماري ، پردازش زبان طبيعي، رمز نگاري ، دانش عصبشناسي، تكامل و عمل‌كرد رمز‌هاي مولكولي، انتخاب مدل در بوم‌شناسي (ecology)، فيزيك گرما، محاسبات كوانتومي، آشكاركردن سرقت‌هاي علمي و ادبي، و هر زمينه‌اي كه به‌نوعي با پردازش و تحليل اطلاعات سر و كار دارد، به‌كار گرفته مي‌شود.
يك شاخص كليدي در نظريه‌ي اطلاعات انترپي اطلاعات (information entropy) است كه برحسب ميانگين تعداد بيت‌هايي كه براي ذخيره‌سازي اطلاعات يا مخابره آن‌ها لازم است تعريف مي‌شود، در واقع انترپي عدم قطعيتي را كه همراه متغيرهاي تصادفي است، كمي مي‌كند. به‌عنوان مثال انترپي تعيين شانس به كمك پرتاب يك سكه(سكه‌ي سالم) از انترپي تعيين شانس به كمك ريختن يك تاس(تاس همگن) كم‌تر است.
كاربردهاي موضوعات اصلي نظريه‌ي اطلاعات شامل موارد زير است: متراكم‌سازي داده‌ها و چگونگي بازسازي آن‌ها بدون از دست رفتن اطلاعات(به عنوان مثال در فايل‌هاي زيپ شده)، فشرده‌سازي اطلاعات با تلف(lossy data comperssion) به عنوان مثال در فايل‌هاي mp3 ، كدگذاري كانال(به عنوان مثال در خطوط DSL).
اين شاخه در فصل مشترك علوم مختلفي هم‌چون رياضي، فيزيك، آمار، علوم كامپيوتر، دانش عصبشناسي و نيز مهندسي برق قرار دارد.
تأثير پيش‌رفت اين شاخه از دانش بر سفر‌هاي پژوهشي در اعماق فضا، اختراع لوح فشرده(CD) ، ايجاد و توسعه‌ي شبكه‌ي جهاني اينترنت، امكان طراحي و بهره‌برداري از تلفن هاي همراه، مطالعه و پژوهش در زمينه‌ي زبان‌شناسي و ادراك انساني، فهم ماهيت سياه چاله‌ها، و بسياري زمينه‌هاي ديگر غيرقابل انكار است. از مهم‌ترين زيرشاخه‌هاي اين رشته مي‌توان كد گذاري منبع، كدگذاري كانال، نظريه‌ي پيچيدگي الگوريتمي، نظريه‌ي اطلاعات الگوريتمي، و پيش‌بيني اطلاعات را نام برد.
درك مفاهيم اساسي‌ي نظريه‌ي اطلاعات در گرو شناخت گسترده‌ترين روش ارتباط انسان يعني زبان است. يك زبان خوب دو نمود مهم دارد:
1. واژه‌هاي متداولي مثل "من" يا "يك" درآن كوتاه‌تر از ساير واژه‌ها كه كم‌تر متداول اند- مثل "سودمند" يا "دانشگاه"- هستند و بنابر اين جمله‌ها در اين‌گونه زبان‌ها بلند نيستند. اين مقايسه‌ي طول واژه ها در زبان‌شناسي مشابه فشرده‌سازي داده‌ها در نظريه‌ي اطلاعات است و به‌ويژه در كدگذاري منبع ظاهر مي‌شود.
2. اگر بخشي از جمله به‌خاطر سروصداهاي موجود در محيط (مثلاً به‌خاطر عبور يك ماشين در آن نزديكي در همان لحظه!) شنيده نشود، شنونده هنوز بتواند محتواي احتمالي‌ي جمله را تشخيص دهد( يا حدس بزند).
لزوم وجود اين توان‌مندي در هر نظام ارتباطي‌ي الكترونيك همانند زبان نيز اساسي به نظر مي‌رسد. ايجاد اين توان‌مندي در ارتباطات به‌كمك كدگذاري كانالها انجام مي شود. كدگذاري منابع و كدگذاري كانالها دو دغدغه‌ي اساسي‌ي نظريه‌ي اطلاعات است. توجه كنيد كه نظريه‌ي اطلاعات نمي‌تواند در مورد مهم بودن پيام‌ها نظري داشته باشد. براي مثال طول عبارت "ممنونم، بازهم بيا" با طول عبارت "يك آمبولانس خبر كنيد" يكسان است. ولي به‌وضوح عبارت دوم بااهميت‌تر و با معني‌تر است. اما نظريه‌ي اطلاعات نمي‌تواند به اهميت و معني‌ي جملات بپردازد زيرا آن‌ها اساساً به كيفيت داده‌ها وابسته هستند و نه به كميت آن‌ها. كيفيت داده‌ها تنها به كمك احتمال مي‌تواند تعيين شود.
| كلود شانون، نخستين پيش‌گام نظريه‌ي اطلاعات |
نظريه‌ي اطلاعات با پژوهش‌هاي پيش‌گامانه‌ي كلود شانون (Claude Shuannon) به عنوان يك نظريه‌ي رياضي براي ارتباطات (A mathematical theory of communication) در سال 1948 بنيان نهاده شد. چارچوب اصلي نظريه‌ي اطلاعات كلاسيك، حل مشكل مهندسي‌ي ارسال اطلاعات از ميان يك كانال شلوغ (noisy channel) است. مهم‌ترين نتايج اين نظريه دو قضيه‌ي زير است:
نظريه‌ي كدگذاري منبع شانون: بر طبق اين قضيه تعداد بيت‌هايي كه براي نمايش نتايج يك روي‌داد غيرحتمي لازم است به‌طور متوسط برابر است با انتروپي آن.
نظريه‌ي كدگذاري كانال شلوغ شانون: بر طبق اين قضيه يك ارتباط مطمئن از ميان يك كانال شلوغ به شرطي امكان‌پذير است كه آهنگ ارتباط پائين‌تر از يك حد آستانه‌ي مشخص به‌نام ظرفيت كانال است.
ظرفيت كانال به طور تجربي با به كار بردن سيستم‌هاي رمزگذاري و رمزگشايي مناسب به‌دست مي‌آيد.
| روش‌هاي اندازه‌گيري اطلاعات |
نظريه‌ي اطلاعات بر علم آمار و احتمالات مبتني است. مهم‌ترين كميت‌هاي اطلاعات انترپي(entropy)،
اطلاعات در متغيرهاي تصادفي (random variable)، و اطلاعات دوطرفه (mutual information) است.
نظريه‌ي اطلاعات هم‌بستگي‌ي نزديكي با رشته‌هايي مثل هوش مصنوعي، سايبرنتيك، سيستم‌هاي پيچيده، انفورماتيك، يادگيري ماشين و... دارد. ويژگي‌ي مشترك همه‌ي آن‌ها اين است كه همه‌گي در نيم قرن گذشته ابداع شده‌اند يا در همين مدت به ميدان كاربرد وارد شده‌اند. نظريه‌ي اطلاعات يك نظريه‌ي عميق و گسترده‌ي رياضي است و كاربردهاي عميق و گسترده‌اي نيز دارد. مفاهيم، روش‌ها، و نتايج نظريه‌ي كدگذاري و نظريه‌ي اطلاعات به‌طور گسترده در رمزنگاري (cryptography) و تحليل رمز (cryptanalysis) به‌كار گرفته مي‌شود. اين دانش هم‌چنين در رشته‌هايي مثل بازيابي اطلاعات (information retrieval)، گردآوري هوش (intelligence gathering)، علم آمار (statistics) و حتا در ساخت قطعه‌هاي موسيقي كاربرد دارد.