Search in sources :

Example 1 with SpiderHtmlParser

use of org.zaproxy.zap.spider.parser.SpiderHtmlParser in project zaproxy by zaproxy.

the class SpiderController method prepareDefaultParsers.

private void prepareDefaultParsers() {
    this.parsers = new LinkedList<>();
    SpiderParser parser;
    // If parsing of robots.txt is enabled
    if (spider.getSpiderParam().isParseRobotsTxt()) {
        parser = new SpiderRobotstxtParser(spider.getSpiderParam());
        parsers.add(parser);
    }
    // If parsing of sitemap.xml is enabled		
    if (spider.getSpiderParam().isParseSitemapXml()) {
        if (log.isDebugEnabled())
            log.debug("Adding SpiderSitemapXMLParser");
        parser = new SpiderSitemapXMLParser(spider.getSpiderParam());
        parsers.add(parser);
    } else {
        if (log.isDebugEnabled())
            log.debug("NOT Adding SpiderSitemapXMLParser");
    }
    // If parsing of SVN entries is enabled
    if (spider.getSpiderParam().isParseSVNEntries()) {
        parser = new SpiderSVNEntriesParser(spider.getSpiderParam());
        parsers.add(parser);
    }
    // If parsing of GIT entries is enabled
    if (spider.getSpiderParam().isParseGit()) {
        parser = new SpiderGitParser(spider.getSpiderParam());
        parsers.add(parser);
    }
    // Redirect requests parser
    parser = new SpiderRedirectParser();
    parsers.add(parser);
    // Simple HTML parser
    parser = new SpiderHtmlParser(spider.getSpiderParam());
    this.parsers.add(parser);
    // HTML Form parser
    parser = new SpiderHtmlFormParser(spider.getSpiderParam(), spider.getExtensionSpider().getValueGenerator());
    this.parsers.add(parser);
    Config.CurrentCompatibilityMode.setFormFieldNameCaseInsensitive(false);
    // Prepare the parsers for OData ATOM files
    parser = new SpiderODataAtomParser();
    this.parsers.add(parser);
    // Prepare the parsers for simple non-HTML files
    parser = new SpiderTextParser();
    this.parsers.add(parser);
    this.parsersUnmodifiableView = Collections.unmodifiableList(parsers);
}
Also used : SpiderHtmlFormParser(org.zaproxy.zap.spider.parser.SpiderHtmlFormParser) SpiderSVNEntriesParser(org.zaproxy.zap.spider.parser.SpiderSVNEntriesParser) SpiderHtmlParser(org.zaproxy.zap.spider.parser.SpiderHtmlParser) SpiderTextParser(org.zaproxy.zap.spider.parser.SpiderTextParser) SpiderParser(org.zaproxy.zap.spider.parser.SpiderParser) SpiderGitParser(org.zaproxy.zap.spider.parser.SpiderGitParser) SpiderSitemapXMLParser(org.zaproxy.zap.spider.parser.SpiderSitemapXMLParser) SpiderRobotstxtParser(org.zaproxy.zap.spider.parser.SpiderRobotstxtParser) SpiderODataAtomParser(org.zaproxy.zap.spider.parser.SpiderODataAtomParser) SpiderRedirectParser(org.zaproxy.zap.spider.parser.SpiderRedirectParser)

Aggregations

SpiderGitParser (org.zaproxy.zap.spider.parser.SpiderGitParser)1 SpiderHtmlFormParser (org.zaproxy.zap.spider.parser.SpiderHtmlFormParser)1 SpiderHtmlParser (org.zaproxy.zap.spider.parser.SpiderHtmlParser)1 SpiderODataAtomParser (org.zaproxy.zap.spider.parser.SpiderODataAtomParser)1 SpiderParser (org.zaproxy.zap.spider.parser.SpiderParser)1 SpiderRedirectParser (org.zaproxy.zap.spider.parser.SpiderRedirectParser)1 SpiderRobotstxtParser (org.zaproxy.zap.spider.parser.SpiderRobotstxtParser)1 SpiderSVNEntriesParser (org.zaproxy.zap.spider.parser.SpiderSVNEntriesParser)1 SpiderSitemapXMLParser (org.zaproxy.zap.spider.parser.SpiderSitemapXMLParser)1 SpiderTextParser (org.zaproxy.zap.spider.parser.SpiderTextParser)1