Kapitel 11. Konvertering av data

	Tips
	iconv(1) tillhandahålls som en del av libc6-paketet och är alltid tillgängligt på praktiskt taget alla Unix-liknande system för att konvertera kodningen av tecken.

Du kan konvertera kodningar i en textfil med iconv(1) på följande sätt.

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

Kodningsvärdena är skiftlägesokänsliga och ignorerar "-" och "_" vid matchning. Kodningar som stöds kan kontrolleras med kommandot "iconv -l".

	Notera
	Vissa kodningar stöds endast för datakonvertering och används inte som lokala värden (Avsnitt 8.1, ”Lokalen”).

För teckenuppsättningar som ryms i en enda byte, t.ex. ASCII- och ISO-8859-teckenuppsättningar, betyder teckenkodningen nästan samma sak som teckenuppsättningen.

För teckenuppsättningar med många tecken, t.ex. JIS X 0213 för japanska eller Universal Character Set (UCS, Unicode, ISO-10646-1 ) för praktiskt taget alla språk, finns det många kodningsscheman för att passa in dem i byte-datasekvensen.

För dessa finns det tydliga skillnader mellan teckenuppsättning och teckenkodning.

Kodsidan används som synonym till teckenkodningstabellerna för vissa leverantörsspecifika tabeller.

	Notera
	Observera att de flesta kodningssystem delar samma kod med ASCII för 7-bitars tecken. Men det finns några undantag. Om du konverterar gamla japanska C-program och URL-data från kodningsformatet shift-JIS till UTF-8-format ska du använda "CP932" som kodningsnamn i stället för "shift-JIS" för att få förväntat resultat: 0x5C → "\" och 0x7E → "~". Annars konverteras dessa till fel tecken.

	Tips
	recode(1) kan också användas och erbjuder mer än den kombinerade funktionaliteten hos iconv(1), fromdos(1), todos(1), frommac(1) och tomac(1). För mer information, se "info recode".

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
 do
 mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

Variabeln "$ENCDN" anger den ursprungliga kodningen som används för filnamn under äldre operativsystem som i Tabell 11.2, ”Lista över kodningsvärden och deras användning”.

För mer komplicerade fall kan du montera ett filsystem (t.ex. en partition på en hårddisk) som innehåller sådana filnamn med korrekt kodning med alternativet mount(8) (se Avsnitt 8.1.3, ”Kodning av filnamn”) och kopiera hela innehållet till ett annat filsystem som är monterat som UTF-8 med kommandot "cp -a".

$ vim u-file.txt

$ vim '+e ++enc=latin2 pu-file.txt'

$ vim '+e ++enc=eucJP ju-file.txt'

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

Se mbyte.txt "multi-byte text support" i vim on-line help och Tabell 11.2, ”Lista över kodningsvärden och deras användning” för lokala värden som används med "++enc".

Programfamiljen emacs kan utföra motsvarande funktioner.

XML-text ser ut ungefär som HTML. Det gör det möjligt för oss att hantera flera format för utdata för ett dokument. Ett enkelt XML-system är docbook-xsl-paketet, som används här.

Varje XML-fil börjar med en standard XML-deklaration enligt följande.

<?xml version="1.0" encoding="UTF-8"?>

Den grundläggande syntaxen för ett XML-element märks upp enligt följande.

<name attribute="value">content</name>

XML-element med tomt innehåll märks upp i följande korta form.

<name attribute="value" />

Attributet "attribute="value"" i exemplen ovan är valfritt.

Kommentarsfältet i XML är markerat enligt följande.

<!-- comment -->

Förutom att lägga till markeringar kräver XML en mindre konvertering av innehållet med hjälp av fördefinierade enheter för följande tecken.

	Observera
	"<" eller "&" kan inte användas i attribut eller element.

	Notera
	När användardefinierade entiteter i SGML-stil, t.ex. "&some-tag;", används, vinner den första definitionen över de andra. Entitetsdefinitionen uttrycks i "<!ENTITY some-tag "entitetsvärde">".

	Notera
	Så länge XML-markeringen görs konsekvent med en viss uppsättning taggnamn (antingen vissa data som innehåll eller attributvärde), är konvertering till en annan XML en trivial uppgift med hjälp av Extensible Stylesheet Language Transformations (XSLT).

Det finns många verktyg för att bearbeta XML-filer, t.ex. Extensible Stylesheet Language (XSL).

När du har skapat en välformad XML-fil kan du konvertera den till valfritt format med hjälp av Extensible Stylesheet Language Transformations (XSLT).

XSL-FO (Extensible Stylesheet Language for Formatting Objects) är tänkt att vara en lösning för formatering. Paketet fop är nytt i Debians main arkiv på grund av dess beroende av programspråket Java. Så LaTeX-koden genereras vanligtvis från XML med hjälp av XSLT och LaTeX-systemet används för att skapa utskrivbara filer som DVI, PostScript och PDF.

Eftersom XML är en delmängd av Standard Generalized Markup Language (SGML) kan det bearbetas med de omfattande verktyg som finns för SGML, t.ex. Document Style Semantics and Specification Language (DSSSL).

	Tips
	GNOME:s yelp är ibland praktiskt för att läsa DocBook XML-filer direkt eftersom den återges hyfsat på X.

Traditionellt är roff det huvudsakliga textbehandlingssystemet i Unix. Se roff(7), groff(7), groff(1), grotty(1), troff(1), groff_mdoc(7), groff_man(7), groff_ms(7), groff_me(7), groff_mm(7) och "info groff".

Du kan läsa eller skriva ut en bra handledning och referens om "-me" -makro i "/usr/share/doc/groff/" genom att installera groff-paketet.

	Tips
	"groff -Tascii -me -" ger ut vanlig text med ANSI escape-kod. Om du vill få ut manpage-liknande utdata med många "^H" och "_", använd "GROFF_NO_SGR=1 groff -Tascii -me-" istället.

	Tips
	Om du vill ta bort "^H" och "_" från en textfil som genererats av groff filtrerar du den med "col -b -x".

Programvarudistributionen TeX Live erbjuder ett komplett TeX-system. Metapaketet texlive innehåller ett anständigt urval av TeX Live-paketen som bör räcka för de vanligaste uppgifterna.

Det finns många referenser tillgängliga för TeX och LaTeX.

Detta är den mest kraftfulla sättningsmiljön. Många SGML-processorer använder detta som sin backend-textprocessor. Lyx som tillhandahålls av lyxpaketet och GNU TeXmacs som tillhandahålls av texmacs-paketet erbjuder en trevlig WYSIWYG-redigeringsmiljö för LaTeX medan många använder Emacs och Vim som val för källredigeraren.

Det finns många tillgängliga resurser på nätet.

När dokumenten blir större kan TeX ibland orsaka fel. Du måste öka poolstorleken i "/etc/texmf/texmf.cnf" (eller mer lämpligt redigera "/etc/texmf/texmf.d/95NonPath" och köra update-texmf(8)) för att åtgärda detta.

Notera

TeX-källan till "The TeXbook" finns tillgänglig på www.ctan.org tex-archive site for texbook.tex. Denna fil innehåller de flesta av de nödvändiga makron. Jag har hört att man kan bearbeta detta dokument med tex(1) efter att ha kommenterat raderna 7 till 10 och lagt till "\input manmac \proofmodefalse". Det rekommenderas starkt att köpa den här boken (och alla andra böcker av Donald E. Knuth) i stället för att använda onlineversionen, men källan är ett bra exempel på TeX-inmatning!

Även om det är möjligt att skriva en manuell sida (manpage) i det vanliga troff-formatet finns det få hjälppaket för att skapa den.

Kärnan i hanteringen av utskrivbara data är Ghostscript PostScript (PS) -tolken som genererar rasterbilder.

	Tips
	"gs -h" kan visa konfigurationen för Ghostscript.

Du kan slå samman två PostScript (PS) - eller Portable Document Format (PDF) -filer med hjälp av gs(1) i Ghostscript.

$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pswrite -sOutputFile=bla.ps -f foo1.ps foo2.ps
$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sOutputFile=bla.pdf -f foo1.pdf foo2.pdf

	Notera
	PDF, som är ett allmänt använt utskriftsformat för flera plattformar, är i huvudsak det komprimerade PS-formatet med några ytterligare funktioner och tillägg.

	Tips
	För kommandoraden är psmerge(1) och andra kommandon från psutils-paketet användbara för att manipulera PostScript-dokument. pdftk(1) från pdftk-paketet är också användbart för att manipulera PDF-dokument.

Kommandona lp(1) och lpr(1) som erbjuds av Common Unix Printing System (CUPS) ger möjlighet till anpassad utskrift av utskrivbara data.

Du kan skriva ut 3 kopior av en fil som är sorterad med hjälp av något av följande kommandon.

$ lp -n 3 -o Collate=True filename

$ lpr -#3 -o Collate=True filename

Du kan anpassa skrivarfunktionen ytterligare genom att använda skrivaralternativ som "-o number-up=2", "-o page-set=even", "-o page-set=odd", "-o scaling=200", "-o natural-scaling=200", etc., som finns dokumenterade i Command-Line Printing and Options.

Mail(SMTP) bör begränsas till serier av 7-bitarsdata. Binärdata och 8-bitars textdata kodas därför till 7-bitarsformat med hjälp av MIME (Multipurpose Internet Mail Extensions) och val av teckenuppsättning (se Tabell 11.2, ”Lista över kodningsvärden och deras användning”).

Standardlagringsformatet för e-post är mbox formaterat enligt RFC2822 (uppdaterad RFC822). Se mbox(5) (tillhandahålls av mutt-paketet ).

För europeiska språk används vanligtvis "Content-Transfer-Encoding: quoted-printable" med teckenuppsättningen ISO-8859-1 för e-post eftersom det inte finns så många 8-bitars tecken. Om europeisk text är kodad i UTF-8 kommer sannolikt "Content-Transfer-Encoding: quoted-printable" att användas eftersom det mestadels är 7-bitarsdata.

För japanska används traditionellt "Content-Type: text/plain; charset=ISO-2022-JP" för e-post för att hålla texten i 7 bitar. Men äldre Microsoft-system kan skicka e-postdata i Shift-JIS utan korrekt deklaration. Om japansk text kodas i UTF-8 kommer Base64 sannolikt att användas eftersom den innehåller många 8-bitarsdata. Situationen för andra asiatiska språk är liknande.

	Notera
	Om dina e-postdata som inte är Unix är tillgängliga för en klientprogramvara som inte är Debian och som kan prata med IMAP4-servern, kan du kanske flytta ut dem genom att köra din egen IMAP4-server.

	Notera
	Om du använder andra lagringsformat för e-post är det ett bra första steg att flytta dem till mbox-format. Ett mångsidigt klientprogram som mutt(1) kan vara praktiskt för detta.

Du kan dela upp innehållet i brevlådan till varje meddelande med procmail(1) och formail(1).

Varje e-postmeddelande kan packas upp med munpack(1) från mpack-paketet (eller andra specialiserade verktyg) för att få fram det MIME-kodade innehållet.

Följande metapaket är bra utgångspunkter för att söka efter grafiska dataverktyg med aptitude(8). "Packages overview for Debian PhotoTools Maintainers" kan vara en annan startpunkt.

	Tips
	Sök efter fler bildverktyg med hjälp av regex "~Gworks-with::image" i aptitude(8) (se Avsnitt 2.2.6, ”Sök metodalternativ med aptitude”).