chruetertee.ch

Mit Hilfe von csvdiff lassen sich zwei CSV-Dateien vergleichen und deren Unterschiede übersichtlich darstellen. Im FreeBSD Portbaum findet man csvdiff unter textproc/csvdiff:

# cd /usr/ports/textproc/csvdiff && make install clean

Mit der -e Option wird die ursprüngliche, mit der -a Option die veränderte CSV-Datei angegebenen. Möchte man die Spaltennamen anzeigen lassen, erstellt man eine weitere CSV-Datei in der auf einer Zeile die Spaltennamen aufgeführt sind. Diese Datei kann danach mit der -c Option an csvdiff übergeben werden. Standardmässig wird als Trennzeichen ein Komma verwendet, möchte man ein anderes Trennzeichen angeben, kann dies mit der -s Option gemacht werden:

# /usr/local/bin/csvdiff -e kalender.csv -a kalender_neu.csv -c spalten.csv

-------------------------------------------------------------------------------

Record no: 002 is different:
 Actual   line: "1","11/26/05","07:00:00 am","11/27/05","10:00:00 pm","False","False","","","null","null","null","True"
 Expected line: "1","11/26/05","08:00:00 am","11/27/05","10:00:00 pm","False","False","","","null","null","null","True"
  Difference in field no.: 03 - field name: "Start Time"
   Actual  : "07:00:00 am"
   Expected: "08:00:00 am"

-------------------------------------------------------------------------------

Record no: 106 is different:
 Actual   line: "3","11/10/06","01:00:00 am","11/13/06","01:00:00 am","False","False","","","null","","Mailand","True"
 Expected line: "3","11/10/06","01:00:00 am","11/13/06","01:00:00 am","True","False","","","null","","Mailand","True"
  Difference in field no.: 06 - field name: "All day event"
   Actual  : "False"
   Expected: "True"

-------------------------------------------------------------------------------

Record no: 306 is different:
 Actual   line: "6","10/18/08","12:00:00 am","10/20/08","12:00:00 am","True","False","","","null","null","null","True"
 Expected line: "6","10/18/08","12:00:00 am","10/20/08","12:00:00 am","True","False","","","null","null","null","False"
  Difference in field no.: 13 - field name: "Private"
   Actual  : "True"
   Expected: "False"

-------------------------------------------------------------------------------

Record no: 401 is different:
 Actual   line: "E","09/17/09","12:00:00 am","09/21/09","12:00:00 am","True","False","","","null","null","null","False"
 Expected line: "e","09/17/09","12:00:00 am","09/21/09","12:00:00 am","True","False","","","null","null","null","False"
  Difference in field no.: 01 - field name: "Subject"
   Actual  : "E"
   Expected: "e"

===============================================================================

Following lines exists only in actual result kalender_neu.csv:

-------------------------------------------------------------------------------

 Actual 412 line 413 : "Fut","??/??/10","","","","True","False","","","null","null","null","True"

Mehr Informationen und weitere Optionen zu csvdiff erhält man mit der -h Option:

# csvdiff -h

Mit Hilfe von pdfjam können PDF-Dateien auf der Kommandozeile bearbeitet werden. Im FreeBSD Portbaum findet man pdfjam unter print/pdfjam:

# cd /usr/ports/print/pdfjam && make install clean

Mit Hilfe von pdfjoin können mehrere PDF-Dateien aneinandergehängt und in einer neuen PDF-Datei gespeichert werden:

# ls -l *pdf
-rw-r--r--  1 test  wheel   15860 22 Aug 20:30 dokument1.pdf
-rw-r--r--  1 test  wheel  851091 22 Aug 20:30 dokument2.pdf
# pdfjoin dokument1.pdf dokument2.pdf 
This is pdfjoin version 1.21
  Temporary LaTeX file for this job is /var/tmp/pdfjoin.jjSZME/29339.tex
  Calling pdflatex...
  Finished: output is /tmp/dokument2-joined.pdf
# ls -l *pdf
-rw-r--r--  1 test  wheel   15860 22 Aug 20:30 dokument1.pdf
-rw-r--r--  1 test  wheel  978692 22 Aug 20:34 dokument2-joined.pdf
-rw-r--r--  1 test  wheel  851091 22 Aug 20:30 dokument2.pdf

Möchte man ein PDF-Dokument um 90 Grad gegen den Uhrzeigersinn drehen, kann dazu pdf90 verwenden werden:

# pdf90 dokument1.pdf 
This is pdf90 version 1.21
Processing dokument1.pdf...
  Temporary LaTeX file for this job is /var/tmp/pdf90.oMQtaH/29449-1.tex
  Calling pdflatex...
  Finished: output is /tmp/dokument1-rotated.pdf

Sollen immer zwei Seiten eines PDF-Dokumentes auf einer zusammengefasst werden, kann dies mit pdfnup gemacht werden:

# pdfnup dokument2.pdf
This is pdfnup version 1.21
Processing dokument2.pdf...
  Temporary LaTeX file for this job is /var/tmp/pdfnup.HBQi4Y/29485-1.tex
  Calling pdflatex...
  Finished: output is /tmp/dokument2-2x1.pdf

Mehr Informationen zu pdfjam findet man in den Manpages pdfjoin(1), pdf90(1) und pdfnup(1).

Zeichnet man die Terminalausgabe mit script(1) auf so werden die Steuerzeichen von zum Beispiel der Rücktaste oder der Pfeiltasten mitaufgezeichnet was das Bearbeiten einer solchen Datei erschwert:

Script started on Sat Aug 15 15:06:22 2009
# ls -1^M^M
Makefile^M
distinfo^M
files^M
pkg-descr^M
pkg-plist^M
typescript^M
# echo hallo weld^H^[[Kt > testdatei^M^M
# echo hallo welt > testdatei^[[27Dls -1^[[K^M^M
Makefile^M
distinfo^M
files^M
pkg-descr^M
pkg-plist^M
testdatei^M
typescript^M
# exit^H^H
Script done on Sat Aug 15 15:07:09 2009

Möchte man diese entfernen, kann dies mit der -b Option von col gemacht werden. Im folgenden Beispiel wird der bereinigte Inhalt in eine Datei namens ausgabe geschrieben:

# cat typescript | col -b > ausgabe

Danach sind alle Steuerzeichen entfernt und die Datei kann weiter bearbeitet werden:

Script started on Sat Aug 15 15:06:22 2009
# ls -1
Makefile
distinfo
files
pkg-descr
pkg-plist
typescript
# echo hallo welt > testdatei
# echo hallo welt > testdatei
# ls -1
Makefile
distinfo
files
pkg-descr
pkg-plist
testdatei
# exit
Script done on Sat Aug 15 15:07:09 2009

Auf FreeBSD ist col standardmässig im Basissystem vorhanden. Mehr Informationen zu col findet man in der Manpage col(1).

Möchte man Benutzern eine Shell auf einem Rechner zur Verfügung stellen, jedoch festlegen, dass nur gewisse Befehle verwendet werden können, so kann man dazu lshell verwenden. Im FreeBSD Portbaum findet man lshell unter shells/lshell:

# cd /usr/ports/shells/lshell && make install clean

Nun kann die Shell der Benutzer auf lshell gewechselt werden:

# pw usermod -s /usr/local/bin/lshell -n <Benutzer>

In der Datei /usr/local/etc/lshell.conf werden unter allowed die Befehle angegeben, welche von den lshell Benutzern verwendet werden dürfen. Unter forbidden werden Zeichen oder Befehle eingetragen, welche die Benutzer nicht verwenden dürfen. Unter aliases können Abkürzungen für Befehle angegeben werden:

[default]
allowed         : ['ls','echo','cd','ll']
forbidden       : [';', '&', '|','`','>','<']
aliases         : {'ll':'ls -l'}

Meldet sich ein lshell-Benutzer an, kann dieser mit ? oder help seine erlaubten Befehle ansehen. Verwendet der Benutzer ein verbotenes Kommando, so wird er nach dem zweiten Versuch automatisch abgemeldet:

# ssh <Benutzer>@<Server>

You are in a limited shell.
Type '?' or 'help' to get the list of allowed commands
testbenutzer:~$ ?
cd  echo  exit  help  ll  ls
testbenutzer:~$ make
*** unknown syntax: make
testbenutzer:~$ echo test > datei
*** forbidden synthax -> "echo test > datei"
*** You have 0 joker(s) left, before getting kicked out.
This incident has been reported.
testbenutzer:~$ echo test2 > datei
*** forbidden synthax -> "echo test2 > datei"
- Kicked out -
Connection to <server> closed.

Auch können Einstellungen pro Benutzergruppe gemacht werden. Folgendes Beispiel entfernt der Gruppe limited die Berechtigung für ll, fügt jedoch cat zu den erlaubten Befehlen hinzu:

[grp:limited]
allowed         : -['ll'] + ['cat']

Möchte man die Berechtigungen für einen bestimmten Benutzer anpassen, erstellt man eine weitere Sektion in der Konfigurationsdatei, setzt den Benutzernamen in eckige Klammern und fügt danach die Konfiguration für den entsprechenden Benutzer hinzu. Mehr Informationen zu lshell findet man in der Manpage lshell(1).

Mit Hilfe von nl lassen sich die Zeilen innerhalb einer Textdatei durchnummerieren:

# cat testdatei
asdf
foo

bar
blafasel
# nl testdatei
     1  asdf
     2  foo
        
     3  bar
     4  blafasel

Standardmässig werden leere Zeile nicht nummeriert. Soll dies trotzdem gemacht werden, kann dies mit der -b a Option festgelegt werden:

# nl -b a testdatei
     1  asdf
     2  foo
     3  
     4  bar
     5  blafasel

Auf FreeBSD ist nl standardmässig im Basissystem vorhanden. Mehr Informationen zu nl findet man in der Manpage nl(1).

Die FreeBSD Dokumentation kann seit einiger Zeit auch über die Ports installiert werden:

# cd /usr/ports/misc/freebsd-doc-en/ && make install clean

Nun können die Formate ausgewählt werden, welche installiert werden sollen:

[ ] HTML        Single HTML file per document
[X] HTML_SPLIT  The default HTML format used on www.FreeBSD.org 
[X] PDF         PDF format
[ ] PS          PostScript format
[ ] TXT         Plain text

Danach ist die Dokumentation unter /usr/local/share/doc/freebsd/en_US.ISO8859-1 verfügbar. Möchte man lieber die deutsche Übersetzung installieren, kann dies über den Port misc/freebsd-doc-de gemacht werden. Alternativ kann die Dokumentation auch mit Hilfe von CVSup erstellt werden: http://www.chruetertee.ch/blog/archive/2008/10/07/lokale-kopie-der-freebsd-dokumentation.html

Verwendet man auf einem Laptop powerd und legt fest, dass die kleinste verfügbare CPU-Taktfrequenz im Batteriebetrieb verwendet werden soll, so kann das unter Umständen zu langsam sein:

# sysctl dev.cpu.0.freq
dev.cpu.0.freq: 500

Mit der sysctl-Variable debug.cpufreq.lowest kann deshalb die kleinste verfügbare Taktrate festgelegt werden:

# sysctl debug.cpufreq.lowest
debug.cpufreq.lowest: 500

Dazu müssen zuerst die verfügbaren Taktraten ausgelesen werden:

# sysctl dev.cpu.0.freq_levels
dev.cpu.0.freq_levels: 2500/35000 2187/30625 2000/27000 1750/23625 1600/21000 1400/18375 1200/16000 1050/14000 900/12000 800/14000 700/12250 600/10500 500/8750

Danach kann die minimale Frequenz festgelegt werden:

# sysctl debug.cpufreq.lowest=1200
debug.cpufreq.lowest: 500 -> 1200

Möchte man diese Einstellung dauerhaft speichern, so kann dazu ein Eintrag in /etc/sysctl.conf gemacht werden:

debug.cpufreq.lowest=1200

Möchte man FreeBSD auf einem System nur mit ZFS installieren, so kann man dazu von einer FreeBSD LiveFS CD -ROM oder DVD booten und den Fixit -> CDROM/DVD Modus wählen. Nun kann eine GUID-Partitionstabelle auf der Platte erstellt werden, auf der man FreeBSD mit ZFS installieren kann. Im folgenden Beispiel wird die ganze Festplatte für FreeBSD verwendet, wobei diese noch keine Daten enthält:

Fixit# gpart create -s GPT ad0
ad0 created

Zuerst wird eine Boot-Partition erstellt:

Fixit# gpart add -b 34 -s 128 -t freebsd-boot ad0
ad0p1 added

Mit dem restlichen Speicherplatz wird eine Partition für das ZFS erstellt:

Fixit# gpart show ad0
=>       34  156301421  ad0  GPT  (75G)
         34        128    1  freebsd-boot  (64K)
        162  156301293       - free -   (75G)
Fixit# gpart add -b 162 -s 156301293 -t freebsd-zfs ad0
ad0p2 added

Danach kann der Bootstrap-Code in der Bootpartition installiert werden:

Fixit# gpart bootcode -b /mnt2/boot/pmbr -p /mnt2/boot/gptzfsboot -i 1 ad0
ad0 has bootcode

Das erstellte Partitionsschema kann mit gpart show kontrolliert werden:

Fixit# gpart show ad0
=>       34  156301421  ad0  GPT  (75G)
         34        128    1  freebsd-boot  (64K)
        162  156301293    2  freebsd-zfs  (75G)

Als nächstes werden die für eine ZFS-Installation benötigten Kernelmodule geladen:

Fixit# kldload /mnt2/boot/kernel/opensolaris.ko
Fixit# kldload /mnt2/boot/kernel/zfs.ko

Danach wird auf der freien Partition ein ZFS-Pool namens rpool erstellt, von dem das System später gebootet wird:

Fixit# zpool create rpool /dev/ad0p2
Fixit# zpool set bootfs=rpool rpool

Darin werden nun die gewünschten ZFS-Dateisysteme erstellt:

Fixit# zfs create rpool/tmp
Fixit# zfs create rpool/usr
Fixit# zfs create rpool/var

Im ZFS-Pool wird danach ein Swap-Bereich erstellt, welcher im folgenden Beispiel 2GB gross ist:

Fixit# zfs create -V 2gb rpool/swap
Fixit# zfs set org.freebsd:swap=on rpool/swap
Fixit# zfs set checksum=off rpool/swap

Nun werden das Basissystem und der Kernel installiert:

Fixit# cd /dist/8.0-BETA2/base
Fixit# export DESTDIR=/rpool
Fixit# ./install.sh
You are about to extract the base distribution into /rpool - are you SURE
you want to do this over your installed system (y/n)? y
Fixit# cd ../kernels
Fixit# ./install.sh generic
Fixit# cd /rpool/boot
Fixit# cp -Rp GENERIC/* kernel/

Desweiteren müssen noch die FreeBSD-Quelldateien sowie die Manpages installiert werden:

Fixit# cd /dist/8.0-BETA2/src
Fixit# ./install.sh all
Extracting sources into /usr/src...
  Extracting source component: base
  Extracting source component: bin
  Extracting source component: cddl
  Extracting source component: contrib
  Extracting source component: crypto
  Extracting source component: etc
  Extracting source component: games
  Extracting source component: gnu
  Extracting source component: include
  Extracting source component: krb5
  Extracting source component: lib
  Extracting source component: libexec
  Extracting source component: release
  Extracting source component: rescue
  Extracting source component: sbin
  Extracting source component: secure
  Extracting source component: share
  Extracting source component: sys
  Extracting source component: tools
  Extracting source component: ubin
  Extracting source component: usbin
Done extracting sources.
Done extracting sources.
Fixit# cd ../manpages
Fixit# ./install.sh

Danach müssen die entsprechenden Einträge in rc.conf(5) sowie loader.conf(5) gemacht werden, so dass von einem ZFS-Dateisystem gebootet werden kann. Ausserdem muss der ZFS Support für den Bootloader in src.conf(5) gesetzt werden:

Fixit# echo 'zfs_enable="YES"' > /rpool/etc/rc.conf
Fixit# echo 'LOADER_ZFS_SUPPORT="YES"' > /rpool/etc/src.conf
Fixit# echo 'zfs_load="YES"' > /rpool/boot/loader.conf
Fixit# echo 'vfs.root.mountfrom="zfs:rpool"' >> /rpool/boot/loader.conf

Anschliessend kann die zpool.cache-Datei erstellt werden, indem der ZFS-Pool exportiert und wieder importiert wird:

Fixit# mkdir /boot/zfs
Fixit# zpool export rpool && zpool import rpool
Fixit# cp /boot/zfs/zpool.cache /rpool/boot/zfs/

Nun wird im neu installierten System der Bootloader mit ZFS-Support gebaut und installiert. Ausserdem wird eine leere fstab(5) erstellt, damit beim Booten keine Fehlermeldungen angezeigt werden:

Fixit# chroot /rpool
Fixit# mount -t devfs devfs /dev
Fixit# unset DESTDIR
Fixit# cd /usr/src/sys/boot/
Fixit# make obj
Fixit# make depend
Fixit# make
Fixit# cd i386/loader
Fixit# make install
Fixit# umount /dev
Fixit# touch /etc/fstab
Fixit# exit

Zuletzt wird noch festgelegt, wo die ZFS-Dateisysteme gemountet werden sollen. Damit die dynamisch gelinkten Programme danach noch funktionieren, muss zuerst die LD_LIBRARY_PATH -Umgebungsvariable richtig gesetzt werden:

Fixit# export LD_LIBRARY_PATH=/mnt2/lib
Fixit# zfs set mountpoint=legacy rpool
Fixit# zfs set mountpoint=/tmp rpool/tmp
Fixit# zfs set mountpoint=/var rpool/var
Fixit# zfs set mountpoint=/usr rpool/usr

Nun kann das System neu gestartet werden, welches danach von ZFS bootet. Ist das System gebootet, kann man sich als root ohne Passwort anmelden. Jetzt kann das System in der /etc/rc.conf konfiguriert werden sowie Benutzerkonten angelegt und das root-Passwort gesetzt werden.

Eine kleine Einführung in ZFS auf FreeBSD findet man hier: http://www.chruetertee.ch/blog/archive/2007/05/26/zfs-auf-freebsd.html

Dieser Artikel wurde auf der Basis des FreeBSD Wiki Artikels ZFSOnRootWithZFSboot erstellt.

Sucht man nach einem RFC-Dokument oder möchte man etwas darin nachlesen, so kann dies mit RFC Util vereinfacht werden. Im FreeBSD Portbaum findet man RFC Util unter misc/rfc:

# cd /usr/ports/misc/rfc && make install clean

Vor dem ersten Gebraucht muss mit der -i Option ein Index der verfügbaren RFC-Dokumente erstellt werden:

# rfc -i
Modem users one moment, it's about 400k (doesn't need to be updated often)
original lines  = 0     /usr/local/etc/rfc-index
new lines       = 21196 /usr/loca/etc/rfc-index

Mit der -k Option können die RFC-Dokumente nach einem Wort durchsucht werden:

# rfc -k smtp
The Result:
0876 Survey of SMTP implementations. D. Smallberg. September 1983.
     (Format: TXT=37775 bytes) (Status: UNKNOWN)
1047 Duplicate messages and SMTP. C. Partridge. February 1988.
     (Format: TXT=5888 bytes) (Status: UNKNOWN)
1090 SMTP on X.25. R. Ullmann. February 1989. (Format: TXT=6141 bytes)
     (Status: UNKNOWN)

[...]

Gibt man direkt eine RFC-Nummer an, werden Informationen zu diesem RFC angezeigt:

# rfc 5321
The Result:
5321 Simple Mail Transfer Protocol. J. Klensin. October 2008. (Format:
     TXT=225929 bytes) (Obsoletes RFC2821) (Updates RFC1123) (Status:
     DRAFT STANDARD)

Mit der -l Option wird das angegebene RFC-Dokument angezeigt:

# rfc -l 5321

Möchte man das RFC-Dokument in einer Textdatei speichern, kann dies mit der -d Option gemacht werden. Zusätzlich muss noch ein Verzeichnis angegeben werden, in welchem das Dokument erstellt werden soll:

# rfc -d 5321 /tmp/
Making... /tmp/rfc5321.txt
lines = 5323 .. Done.

Mehr Informationen zu RFC Util findet man in der Manpage rfc(1).

Möchte man Befehle via SSH auf mehreren Servern ausführen, so kann dies mit clusterssh vereinfacht werden. Im FreeBSD Portbaum findet man clusterssh unter security/clusterssh:

# cd /usr/ports/security/clusterssh && make install clean

Beim Aufruf von clusterssh müssen alle Rechner angegeben werden, zu denen eine SSH Verbindung aufgebaut werden soll.

# cssh <benutzer>@<rechner> [<benutzer>@<rechner>] [...]

Clusterssh öffnet für jede SSH Verbindung einen xterm und ein clusterssh-Kontrollfenster. In jedem dieser Terminals kann nun wie gewohnt gearbeitet werden. Möchte man jedoch einen Befehl auf allen Rechnern absetzen, gibt man ihn in das Textfeld im clusterssh-Kontrollfenster ein, wodurch dieser zu allen Rechnern gesendet wird:

Mehr Informationen zu clusterssh findet man in der Manpage cssh(1).