آنتروپی اطلاعات. آنتروپی در نظریه اطلاعات معیاری عددی از میزان اطلاعات یا میزان تصادفی بودن یک متغیر تصادفی است. به بیان دقیق تر آنتروپی یک متغیر تصادفی، مقدار متوسط (امید ریاضی) میزان اطلاعات حاصل از مشاهدهٔ آن است (به عبارت ساده تر هرچه آنتروپی یک متغیر تصادفی بیشتر باشد ابهام ما در مورد آن متغیر تصادفی بیشتر می باشد لذا با مشاهده نتیجه قطعی آن متغیر تصادفی اطلاعات بیشتری بدست می آید پس هرچه آ...