Solcher Erfahrungsberichte beschreibt die verschiedenen Zeichenkodierungen, hinsichtlich Diese zugeknallt Problemen fuhren beherrschen, Unter anderem entsprechend man Die leser hinein Perl-Programmen stichhaltig berucksichtigt.
Sachverzeichnis
Jeglicher hat dies doch mindestens fruher erlebt: das Kanal, das durch Text arbeitet, funktioniert fantastisch, wahrenddessen man keine Umlaute eingibt. Anderweitig kommt alleinig jedoch Zeichenmull heraus Unter anderem das solange bis zwei keineswegs zutreffend dargestellte Kurzel zu Gunsten von Umlaut.
ASCII
Damit stoned durchsteigen, Wieso es dazu kommt, muss man gegenseitig besuchen, genau so wie „normaler” Songtext weiters wie Umlaute binar abgespeichert seien.
Begonnen hat es 1963 mit ASCII, dem Norm, der 128 Zeichen fur jedes folgende Wert durch 0 erst wenn 127 zuweist, die bei 7 bit kodiert Ursprung konnen.
Festgelegt sie sind Pass away Zahlenwerte z. Hd. lateinische Buchstaben, Ziffern, Satzzeichen Unter anderem Kontrollzeichen wie gleichfalls „Carriage Return” oder „Line Feed”, also Zeilenumbruche.
Zeichen, Wafer im Tretmuhle eines Amerikaners auf keinen fall Verwendung finden, genau so wie Welche deutschen Umlaute, kyrillische Signal Ferner vieles weitere, wurden ausser Achter cool.
Daselbst das Byte alle 8 Bits besteht, ist bei ASCII das erste, „most significant” Bit pauschal 0.
Alternative Zeichenkodierungen
Denn man europaisch anfing Datenverarbeitungsanlage zu zum Einsatz bringen, mussten Pass away benotigten Zeichen irgendwie im Rechner gespeichert werden & dafur benutzte man die verbleibenden 128 Zeichen zu Gunsten von Byte. So sehr entstanden Wafer Kodierungen Latin-1 fur jedes den westeuropaischen Gelass, Latin-2 pro Mitteleuropa und so weiter, sekundar vulgo ISO-8859-1 & ISO-8859-2.
Selbige Zeichensatze Noten As part of den ersten 128 Symbol Mittels ASCII uberein, Perish zweiten 128 Zeichen, also Wafer anhand 1 Alabama erstem Bit, unterscheiden gegenseitig jeweils untereinander.
Pass away adjazieren dieser Zeichensatze Ursprung einem geradlinig unter Zuhilfenahme von eines kein Stuck sic alten Beispieles heiter: durch der Lehrbuch des Euros hatten mehrere Lander ‘ne neue Devisen Ferner indem Der Wahrungssymbol, Dies zigeunern Nichtens Bei den traditionellen Zeichensatzen ausquetschen lie?! (Jenes Problemstellung wurde durch das Einfuhren des Zeichensatzes ISO-8859-15 behoben, dieser sich einzig ein kleines bisschen durch Latin-1 unterscheidet oder welches € -Zeichen enthaltKlammer zu.
Unicode
Welche bisherigen Zeichenkodierungen konnten jeweils nur angewandten kleinen, Schankwirtschaft sinnvollen Cluster aller moglicher Symbol veranschaulichen – wenn man Texte anhand gemischten Zeichensatzen niederschreiben wollte, ging das heillose Durcheinander auf geht’s.
Damit irgendwas Systematik As part of Dies Chaos zugeknallt zugespielt bekommen, hat unser Unicode-Konsortium im Zuge dessen angebrochen, jedem Zeichen, dasjenige As part of irgend verkrachte Existenz Schrift hinein irgend verkrachte Existenz Ausdrucksform vorkommt, die eine eindeutige, ganze Kennziffer & diesseitigen Image zuzuordnen.
Welche Vielheit hei?t „Codepoint” und ist normalerweise Alabama vier- und auch sechsstellige, hexadezimale Kennziffer Bei dieser Gerust U+0041 notiert; welcher dazugehorige Name ware LATIN SMALL SYMBOL A .
Neben Buchstaben weiters anderen „Basiszeichen” existireren es sekundar Akzentuierungen wie gleichfalls den z. B. ACCENT, COMBINING ACUTE , Wafer aufwarts den vorherigen Buchstaben den Akzent einstellen.
Sofern aufwarts ein Basiszeichen die eine akzent oder zusatzliche kombinierende Symbol hinterher gehen, pragen mehrer Codepoints ein logischen Buchstaben, ein sogenanntes Grapheme.
Unicode Metamorphose Formats
Die bis anhin vorgestellten Unicode-Konzepte geschrieben stehen mit allen Schikanen alldem ungeachtet, genau so wie die Unicode-Zeichen kodiert sind nun.
Zu diesem zweck wurden Perish „Unicode Gestaltswandel Formats” definiert, Zeichenkodierungen, Wafer samtliche moglichen Unicode-Zeichen visualisieren im Griff haben. Einer bekannteste Beauftragter war UTF-8, das z. Hd. Perish nach wie vor vergebenen Codepoints 1 bis 4 Bytes gesucht.
Nebensachlich in UTF-8 Orchestermaterial expire ersten 128 Zeichen bei denen durch ASCII uberein.
Durch UTF-8 gibt es zweite Geige eine laxe Anpassung, UTF8 Klammer aufblo? Bindestrich geschrieben), Wafer mindestens zwei mogliche Kodierungen je Ihr Kurzel zulasst. Dasjenige Perl-Modul Encode unterscheidet die Varianten.
UTF-16 kontra nicht frisch je Vorzeichen mindestens zwei Byte, fur enorm hohe Unicode-Codepoints Ursprung untergeordnet hier noch mehr Bytes benotigt.
UTF-32 kodiert jedes mogliche Signal mit vier Bytes.
(unser Vorzeichen in der letzten Zeile war dasjenige Hangul-Zeichen pro Pass away Silbe SU, & werde durch Ihrem Web Browser allein dargestellt, so lange Die Kunden entsprechende asiatische Schriftarten installiert besitzen.schlie?ende runde Klammer
Welches sind „Charsets”Wirkungsgrad
Dies Satzteil charset wurde mit zwei verschiedenen, partiell widerspruchlichen Bedeutungen verwendet.
Sera kommt nicht mehr da DM Englischen, & wird ohne Schei? eine Abkurzung zu Handen character Reihe. Gruppe ist engl. je Gruppe, wenn man dies wortlich nimmt wird also ein Repertoir bei Vorzeichen gemeint, hinsichtlich Unicode eines definiert. Gewiss schranken zweite Geige Kodierungen entsprechend ASCII und Latin-1 den Zeichensatz Ihr, erwischen also neben Kodierungen sekundar Ihr Repertoire und auch zeichensatz denn.
Haufig werde charset beilaufig einfach Alabama Synonym je Zeichenkodierung benutzt, hinsichtlich z. B. inside den HTTP-Headern, Pass away langs unten zum wiederholten Male erwahnt Ursprung.
Perl Ferner Zeichenkodierungen
Perl unterscheidet wohnhaft bei Operationen aufwarts Strings bei solchen, Welche Welche Strings wie Liedertext uberprufen Klammer aufentsprechend z.B. uc , lc Ferner substr sowie regulare Ausdrucke), und solche, Welche Strings wanneer Binardaten etwas unter die Lupe nehmen, entsprechend etwa print Unter anderem unser dechiffrieren aufgebraucht Dateihandles.
Dadurch Perl z. Hd. expire Textoperationen Welche Strings richtig deuten darf, Erforderlichkeit man Die Kunden entschlusseln. Unser kann man mit dem irgendeiner Besonderheit decode hinein einem Core-Modul Encode anfertigen, oder aber durch den unter beschriebenen IO-Layern.
Reziprok Erforderlichkeit man Strings bei Encode::encode kodieren, Damit binare Operationen hinsichtlich print auszufuhren.
Nicht mehr da Textoperationen sollte man in lediglich in Strings ausfuhren, expire zuvor dekodiert wurden, weil danach sekundar Nicht-ASCII-Zeichen triftig behandelt sind 
nun: lc oder uc arbeiten naturgema?, Unter anderem \w inside regularen sagen passt aufwarts jeden Buchstaben, sekundar nach Umlaute, ? weiters allen moglichen Sigel in allen moglichen Sprachen, Perish existent als Element eines Wortes geachtet sind nun.
cmp vergleicht Nicht-ASCII-Zeichen allerdings hinter Unicode-Codepoint, is Nichtens pauschal dasjenige ist und bleibt, welches man z.B. in deutschem Songtext erwartet. Ausschlie?lich Sofern use locale tatig ist, werden sollen sprachspezifische Vergleichsregeln nicht frisch. Denn unser geben durch sort durch cmp definiert wird, gilt Passes away sekundar fur jedes welches gruppieren von Listen.
Parece empfiehlt zigeunern, aus Eingaben direkt zugeknallt lesen, dann mit weiteren Strings bekifft schuften, Unter anderem Die Kunden erst bei welcher Ausgabe (oder aber beim anhaufenschlie?ende runde Klammer wieder hinein Bytestrings drauf kodieren. Falls man zigeunern keineswegs a diese Monatsblutung halt, verliert man im Kanal geradlinig den Uberblick jener Zeichenkette das bereits dekodiert wurde Unter anderem dieser Nichtens.
Perl bietet mit den IO-Layern Mechanismen, mit denen man das kodieren und entziffern an Dateihandles und auch irdisch an allen Handles durchfuhren erlauben vermag.
Sorgfaltig sollte man den Input Layer :utf8 baden in, welcher annimmt, weil Pass away Eingabedatei gultiges UTF-8 wird. Sollte Die Kunden Dies keineswegs coeur (und man hat keine Anlass, dasjenige zu uberprufenKlammer zu, sei unser ‘ne potentielle Vorkommen z. Hd. Sicherheitslucken Klammer aufsiehe diesen Geschlechtswort unter Perlmonks je Feinheitenschlie?ende runde Klammer.
Unser Modul weiters Pragma utf8 erlaubt eres zweite Geige, Nicht-ASCII-Zeichen within Variablennamen stoned verwenden. Hinein Namespaces & Modulenamen sollte man davon einplanen, da parece seiend auf keinen fall zuverlassig funktioniert. Auch sollte man immer beachten, weil Nichtens jeder expire Option hat, beliebige Unicode-Zeichen anhand einer Tastatur einzugeben.
Die Arbeitsumgebung testen
Ausgestattet mit folgendem nachvollziehen darf man abschmecken, ob Dies Endhaltestelle oder locales auf die gleiche Kodierung eingestellt man sagt, sie seien, Ferner aufwarts welche:
Wenn man dieses Sender atomar Endstelle ausfuhrt, wird alleinig die Textzeile akkurat angezeigt werden, Welche gute Spalte dadrin wird sodann Perish Zeichenkodierung des Terminals.
Wie gleichfalls vorher gesagt sei dasjenige Eurozeichen € Nichtens hinein Latin-1 gegenwartig, das U sollte unteilbar Latin-1-Terminal nur richtig angezeigt Ursprung.
Bei Windowsterminals werden nebensachlich Wafer Zeichenkodierungen cp850 Ferner cp858 (Wafer alleinig bei den neuesten Encode-Versionen unterstutzt istschlie?ende runde Klammer ublich, der Ruckstand irgendeiner Betriebsumgebung gebraucht Windows-1252 .
Um den obigen Versuch uff samtliche hinein Perl verfugbaren Zeichenkodierungen auszuweiten, konnte man Pass away Liste irgendeiner Kodierungen durch Encode->encodings(‘:all’Klammer zu austauschen.