Diggernaut scraper

---
config:
    debug: 2
    agent: "Firefox"
do:
- walk:
    to: https://base.apidae-tourisme.com/consulter/recherche-intuitive/99157/resultats?0
    do:
    - find:
        path: div.resultat-item
        do:
        - object_new: item
        - find:
            path: div.titre-outer > div.titre > div.pull-left > a
            do:
            - parse
            - space_dedupe
            - trim
            - object_field_set:
                object: item
                field: titre
        - find:
            path: div.titre-outer > div.titre > div.pull-left > a
            do:
            - parse:
                attr: href
            - space_dedupe
            - trim
            - normalize:
                routine: url
            - object_field_set:
                object: item
                field: url
        - find:
            path: div.titre-outer > div.titre > div.pull-left > span.informations-commune
            do:
            - parse
            - space_dedupe
            - trim
            - object_field_set:
                object: item
                field: commune
        - find:
            path: div.titre-outer > div.titre > div.pull-left > span.objet-touristique-typologie
            do:
            - parse
            - space_dedupe
            - trim
            - object_field_set:
                object: item
                field: typologie
        - find:
            path: 'div.resultat-actions-item > div[style="display: none;"] div.field:haschild(span.libelle:contains("Téléphone")) > span.valeur'
            do:
            - parse
            - space_dedupe
            - trim
            - object_field_set:
                object: item
                field: telephone
        - object_save:
            name: item
    - variable_set:
        field: repeat
        value: 'yes'
    - walk:
        to: 'https://base.apidae-tourisme.com/consulter/recherche-intuitive/99157/resultats?0-1.IBehaviorListener.0-rechercheObjetTouristiqueInfiniteResultatListPanel-container&_=1541861950218'
        headers:
            Wicket-Ajax: 'true'
            Wicket-Ajax-BaseURL: 'consulter/recherche-intuitive/99157/resultats?0'
            X-Requested-With: 'XMLHttpRequest'
        repeat: <%repeat%>
        do:
        - variable_clear: ok
        - find:
            path: div.resultat-item
            do:
            - object_new: item
            - find:
                path: div.titre-outer > div.titre > div.pull-left > a
                do:
                - parse
                - space_dedupe
                - trim
                - object_field_set:
                    object: item
                    field: titre
            - find:
                path: div.titre-outer > div.titre > div.pull-left > a
                do:
                - parse:
                    attr: href
                - space_dedupe
                - trim
                - normalize:
                    routine: url
                - object_field_set:
                    object: item
                    field: url
            - find:
                path: div.titre-outer > div.titre > div.pull-left > span.informations-commune
                do:
                - parse
                - space_dedupe
                - trim
                - object_field_set:
                    object: item
                    field: commune
            - find:
                path: div.titre-outer > div.titre > div.pull-left > span.objet-touristique-typologie
                do:
                - parse
                - space_dedupe
                - trim
                - object_field_set:
                    object: item
                    field: typologie
            - find:
                path: 'div.resultat-actions-item > div[style="display: none;"] div.field:haschild(span.libelle:contains("Téléphone")) > span.valeur'
                do:
                - parse
                - space_dedupe
                - trim
                - object_field_set:
                    object: item
                    field: telephone
            - object_save:
                name: item
            - variable_set:
                field: ok
                value: 1
        - find:
            path: body
            do:
            - variable_get: ok
            - if:
                match: 1
                else:
                - variable_set:
                    field: repeat
                    value: 'no'