Ergebnis 1 bis 4 von 4

Thema: [/bin/bash] - Crawler, Zeilenumbruch in Variable

  1. #1
    Registered User
    Registriert seit
    Feb 2005
    Beiträge
    137
    Renommee
    -9

    [/bin/bash] - Crawler, Zeilenumbruch in Variable

    Hallo zusammen,

    habe das Problem, dass mein Crawler gelegentlich so etwas hier von Webseite "x" in meiner dateibasierten Datenbank ablegt:

    ${NEXT_ENTRY_TEMP}
    Code:
    Feinden####besetzte####Ã
                                                                                                                                                                                                                                                                                                                              gäis-Insel
    Auf der Webseite steht dann folgendes
    Code:
    Feinden besetze Ägäis-Insel
    Habe versucht die Umlaute mit sed zu ersetzen - oder auch die Ausgabe der dateibasierten Datenbank mit echo formieren aber auch das klappt nicht

    Code:
    echo -e "$NEXT_ENTRY_TEMP, \r"
    # oder
    echo "${NEXT_ENTRY_TEMP}" | sed 's/\Ä//g'
    # oder
    echo "${NEXT_ENTRY_TEMP}" | sed 's/Ä//g'
    Grüße,
    teTeX

  2. #2
    Registered User
    Registriert seit
    Feb 2005
    Beiträge
    137
    Renommee
    -9

    AW: [/bin/bash] - Crawler, Zeilenumbruch in Variable

    Nach einigen Tassen Kaffee, fast einer halben Schachtel hab ich nun feststellen müssen, dass irgendwas mit der Datei, die die Funktion beinhaltet nicht stimmt.

    Habe das ganze in eine neue Datei geworfen, ausgeführt und es funktionierte auf Anhieb!

    Das soll mir mal einer erklären -.-

  3. #3
    Registered User
    Registriert seit
    Feb 2005
    Beiträge
    137
    Renommee
    -9

    AW: [/bin/bash] - Crawler, Zeilenumbruch in Variable

    Okay nein. Erstelle ich die Datei auf Windows neu, lade sie auf den Server und führe sie dann aus, funktioniert es nicht.

    PS: File wurde +x gegeben und mit tofrodos / dos2unix in Unix-Format umgewandelt.

    Erstelle ich das File aber auf dem Debian Dateisystem neu, ziehe sie mit SCP, füge den gleichen Inhalt über mein Editor ein und lade sie wieder hoch, funktioniert es!

    Hab trotzdem kei Erklärung dafür

    ----
    edit

    ich stell mich freiwillig in die Ecke....

    ANSI Codierung -.- kp muss wohl irgend ne falsche Tastenkombination im Editor genutzt haben -.-
    Bin wieder auf UTF8 ohne BOM und es geht.
    Geändert von tetex (17.01.2015 um 23:18 Uhr)

  4. #4
    Registered User
    Registriert seit
    Jul 2003
    Beiträge
    249
    Renommee
    520

    Re: [/bin/bash] - Crawler, Zeilenumbruch in Variable

    Für BASH-Scripts gilt:
    (1) Kein BOM am Anfang! [0]
    (2) Nur LF am Zeilenende! Kein CR-LF (M$) oder CR (Apple)! [1]

    Teste, ob es sich bei deinen Scripts tatsächlich um BASH-Scripts handelt:
    Code:
    $ file *Pfad-zum-1.-Script* *Pfad-zum-2.-Script*
    script1: Bourne-Again shell script, ASCII text executable
    script2: Bourne-Again shell script, ASCII text executable
    Teste, ob die Scripts identisch sind mit:
    Code:
    $ md5sum *Pfad-zum-1.-Script* *Pfad-zum-2.-Script*
    [0] http://mywiki.wooledge.org/BashPitfa...arks_.28BOM.29
    [1] http://mywiki.wooledge.org/BashFAQ/052
    thx 4 reading

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Ähnliche Themen

  1. variable aus string und variable erstellen
    Von morlix im Forum UNIX/Linux
    Antworten: 1
    Letzter Beitrag: 04.03.2009, 22:57
  2. Web-Crawler / Web-Spider
    Von kuchen im Forum Technisches Off-Topic
    Antworten: 4
    Letzter Beitrag: 04.10.2007, 20:20
  3. Anti-Crawler-Techniken
    Von IcePic im Forum Studivz Netzwerkanalyse Tool
    Antworten: 0
    Letzter Beitrag: 21.12.2006, 21:56
  4. Variable in document.VARIABLE geht nich!
    Von Ragnarok im Forum Web Development
    Antworten: 5
    Letzter Beitrag: 23.05.2003, 12:18
  5. [php]\n-Zeilenumbruch ...
    Von dschungelratte im Forum PHP, Perl und ASP
    Antworten: 5
    Letzter Beitrag: 23.10.2001, 17:46

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •