Entropie < Physik < Naturwiss. < Vorhilfe
|
| Status: |
(Frage) reagiert/warte auf Reaktion  | | Datum: | 22:58 Sa 15.07.2006 | | Autor: | Bastiane |
Hallo liebe Physiker!
Kann mir jemand mit einfachen Worten sagen, was ich mir unter Entropie vorstellen muss? Es hat wohl irgendwas mit Wärme und mit Energie zu tun. Aber was genau kann ich mir darunter vorstellen?
Viele Grüße
Bastiane
![[cap]](/images/smileys/cap.gif "[cap]")
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 04:16 So 16.07.2006 | | Autor: | yvo001 |
Hallo Bastiane,
ich habe das so erklärt bekommen, dass die Entropie S ein Maß für die Ordnung bzw. Unordnung ist, was von der Temperatur abhängt (je mehr Wärme, deso mehr Bewegung und Unordnung) und umgekehrt.
Unter: http://de.wikipedia.org/wiki/Entropie
steht natürlich noch viel mehr. Vielleicht hilft das noch weiter.
Sonst hat man uns noch erklärt, dass bei gleicher Temperatur in einem kleinem Volumen weniger Unordnung (Entropie) ist als im großem Volumen.
Das Bsp. war ein Kinderzimmer mit vielen Spielsachen.
Da dies wahrscheinlich nicht alles beantwortet, ist diese Frage hiermit teilbeantwortet.
Einen schönen Sonntag, Yvonne
|
|
|
| |
|
| Status: |
(Frage) beantwortet  | | Datum: | 14:31 So 16.07.2006 | | Autor: | Bastiane |
Hallo ihr beiden!
Danke für die Antworten. Ein bisschen hat's schon geholfen, aber den Wiki-Artikel hatte ich selbstverständlich vorher schon entdeckt. Allerdings ist der mir für meine Zwecke zu ausführlich (weil nämlich nicht so ganz einfach), und ich will ja nur eine intuitive Vorstellung davon haben.
Mittlerweile habe ich allerdings festgestellt, dass es in meinem Fall wohl doch noch etwas anderes ist, es geht nämlich um "Entropiecodierung". Auf einer Website habe ich dazu gefunden, dass die Entropiecodierung - im Gegensatz zur Quellencodierung - unabhängig vom Medium ist. Aber vielleicht kann mir noch jemand mehr dazu sagen? Oder gehört die Frage dann doch eher ins Informatik-Forum?
Viele Grüße
Bastiane
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:03 So 16.07.2006 | | Autor: | Infinit |
Hallo Bastiane,
die Entropiecodierung gehört natürlich zur Quellencodierung dazu und ist, da man mit ihrer Hilfe ja Sprach-, Audio- und Videocodierung durchführt, natürlich vom Medium abhängig, was ihre Effizienz betrifft. Die Entropie als Maß der Unsicherheit, - und damit des Nachrichtengehaltes einer Quelle -, sagt einfach aus, wieviel Information (gemessen in Bit) in einem Medium vorhanden ist. Diese Information muss codiert werden, um übertragen oder auch gespeichert werden zu können, und an dieser Stelle benutzt man meistens, - aus Gründen der technischen Realisierbarkeit -, Codierverfahren, die mehr Bit pro Symbol benötigen als es der Entropie der Quelle, die den eigentlichen Informationsgehalt beschreibt, entspricht.
Es gibt zwar Verfahren, die die Entropie der Nachrichtenquelle ohne weitere Redundanz in einen Übertragungscode umsetzen, diese sind aber stark medienabhängig und technisch sehr aufwendig zu realisieren, so dass man gerne darauf verzichtet, sie einzusetzen und lieber ein paar Bruchteile von Bit mehr spendiert für die Entwicklung eines Übertragungscodes.
Die Entropiecodierung einer Quelle bezieht sich also auf den Informationsgehalt dieser Quelle (meist nimmt man ein paar Bit mehr als informationstechnisch unbedingt nötig in Kauf) und beschreibt Codierverfahren, aus denen sich der Datenstrom der Quelle wieder hundertprozentig rekonstruieren lässt. Im Sinne einer Datenreduktion spricht man dann von einer reversiblen Redundanzreduktion. Die Dir wahrscheinlich bekannten Verfahren zur Quellencodierung wie MP3 oder MPEG-2 nutzen diese Art der Redundanzreduktion, kombinieren sie aber mit irreversiblen Methoden (wie beispielsweise einer gesteuerten Quantisierung), durch die, informationstechnisch betrachtet, Information unwiderruflich verlorengeht, wodurch aber der Reduktionsfaktor ansteigt. Die Kunst des Codierers besteht dann darin, diesen irreversiblen Anteil so geschickt zu gestalten, dass es den Empfänger der Information, meist ist dies bei audiovisuellen Medien der Mensch, nicht stört.
Aud diesem Grund findet man häufig die Aussage, dass die heutigen Quellencodierverfahren Methoden zur Redundanzreduktion (sprich Entropiecodierung) und Irrelevanzreduktion (z.B. durch grobe Quantisierung) kombinieren.
Ich hoffe, dieser kleine Ausflug in die Welt der Quellencodierung hat Dir etwas weitergeholfen.
Viele Grüße,
Infinit
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:55 Mi 19.07.2006 | | Autor: | Bastiane |
Hallo Infinit!
Vielen Dank für deine schnelle ausführliche Antwort.
Hab jetzt noch mal in meinen Unterlagen nachgelesen und festgestellt, dass wir zwei Arten der Kompression hatten, nämlich Dokumentenbasierte Kompression und Quellenbasierte Kompression. Zu ersterer steht allerdings so gut wie nichts, außer einem Verweis auf eine Vorlesung im SoSe 2004. Demnach ist das wohl zu komplex, um es in unserer kleinen Vorlesung zu behandeln (behandelt zu haben). So wie ich das hier verstehe, wird die quellenbasierte Kompression auch Entropiecodierung genannt - ist das richtig?
Als Beispiele hatten wir dann den Huffman-Code, Arithmetische Codierung und Lempel-Ziv-Codierung (allerdings auch nur ganz kurz angesprochen). Das gehört doch wohl zur Entropiecodierung dazu, oder? Und das heißt doch dann eigentlich, dass man es in gewisser Weise so macht, wie wenn man sich als Kind eine Geheimschrift ausdenkt. Nur dass man halt nicht unbedingt jedes Zeichen durch ein anderes codiert, sondern auch schon mal mehrere Zeichen durch eins oder wie auch immern - je nach Verfahren halt. Aber immer benötigt man die konkreten Zeichen.
Kannst du vielleicht ganz kurz in wenigen Worten sagen, was es denn dann mit der dokumentenbasierten Kompression auf sich hat? Nur, damit ich weiß, worum es überhaupt geht, wahrscheinlich wird mir dann auch direkt klar, was der Unterschied zwischen beien ist. Das Einzige, was hier noch dazu steht, ist folgendes:
Gegeben: konkretes Dokument sowie geeignete "Programmiersprache"
Ziel: Codiere Dokument durch möglichst kompaktes Programm
Codieraufwand heißt algorithmische- oder Kolmogorov-Komplexität
Was hat es denn mit "Codierung durch kompaktes Programm" auf sich?
Viele Grüße
Bastiane
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:35 Mi 19.07.2006 | | Autor: | Infinit |
Hallo Bastiane,
der erste Teil Deiner Deutung ist richtig, Entropiecodierung und Quellencodierung sind zwei Begriffe für den gleichen Sachverhalt, wie Du ja auch an den Beispielen merkst, die Du aufgeführt hast.
Bei Kolmogorov muss ich leider passen, von Deiner Beschreibung her würde ich aber sagen, dass hiermit die Komplexität eines Algorithmus gemessen werden kann, der für ein zu bearbeitendes Dokument die hierbei notwendigen Schritte mit möglichst geringem Aufwand durchführt. Immer natürlich unter der Voraussetzung, dass erfassbar ist, welches Ergebnis die Anwendung dieses Algorithmus auf das Dokument bringen soll. Ich weiss, dass sich Turing mit ähnlichen Abschätzungen herum geschlagen hat bei der Beschreibung der Turing-Maschine, das Ganze scheint mir aber noch eine Ebene komplexer oder auch abstrakter zu sein als die "bitminimale" Repräsentation physikalischer Signale.
Viele Grüße,
Infinit
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 17:35 Mi 19.07.2006 | | Autor: | Bastiane |
Hallo Infinit!
Trotzdem danke für deine Antwort. Es wird wohl wirklich zu komplex für die Vorlesung gewesen sein, und ich glaube, ich weiß jetzt, womit ich es hier zu tun habe.
Viele Grüße
Bastiane
|
|
|
|
![[]](/images/popup.gif){kind=small}
http://de.wikipedia.org/wiki/Entropie