当前位置:首页 > 编程教程 > java技术文章 > hadoop中实现java网络爬虫(示例讲解)

实例详解hadoop中实现java网络爬虫

  • 发布时间:
  • 作者:码农之家
  • 点击:176

这篇文章主要知识点是关于hadoop、java、的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Java9模块化开发核心原则与实践
  • 类型:Java9大小:112.3 MB格式:PDF作者:桑德·马克
立即下载

hadoop中实现java网络爬虫(示例讲解)

这一篇网络爬虫的实现就要联系上大数据了。在前两篇java实现网络爬虫和heritrix实现网络爬虫的基础上,这一次是要完整的做一次数据的收集、数据上传、数据分析、数据结果读取、数据可视化。

需要用到

Cygwin:一个在windows平台上运行的类UNIX模拟环境,直接网上搜索下载,并且安装;

Hadoop:配置Hadoop环境,实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,用来将收集的数据直接上传保存到HDFS,然后用MapReduce分析;

Eclipse:编写代码,需要导入hadoop的jar包,以可以创建MapReduce项目;

Jsoup:html的解析jar包,结合正则表达式能更好的解析网页源码;

----->

目录:

1、配置Cygwin

2、配置Hadoop黄静

3、Eclipse开发环境搭建

4、网络数据爬取(jsoup)

-------->

1、安装配置Cygwin

从官方网站下载Cygwin 安装文件,地址:https://cygwin.com/install.html

下载运行后进入安装界面。

安装时直接从网络镜像中下载扩展包,至少需要选择ssh和ssl支持包

安装后进入cygwin控制台界面,

运行ssh-host-config命令,安装SSH

输入:no,yes,ntsec,no,no

注意:win7下需要改为yes,yes,ntsec,no,yes,输入密码并确认这个步骤

完成后会在windows操作系统中配置好一个Cygwin sshd服务,启动该服务即可。

hadoop中实现java网络爬虫(示例讲解)

然后要配置ssh免密码登陆

重新运行cygwin

执行ssh localhost,会要求使用密码进行登陆。

使用ssh-keygen命令来生成一个ssh密钥,一直回车结束即可。

生成后进入.ssh目录,使用命令:cp id_rsa.pub authorized_keys 命令来配置密钥。

之后使用exit退出即可。

重新进入系统后,通过ssh localhost就可以直接进入系统,不需要再输入密码了。

2、配置Hadoop环境

修改hadoop-env.sh文件,加入JDK安装目录的JAVA_HOME位置设置。

# The java implementation to use. Required.

export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_67
 


如图注意:Program Files缩写为PROGRA~1

hadoop中实现java网络爬虫(示例讲解)

修改hdfs-site.xml,设置存放副本为1(因为配置的是伪分布式方式)

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

注意:此图片多加了一个property,内容就是解决可能出现的权限问题!!!

HDFSHadoop 分布式文件系统

可以在HDFS中通过命令动态对文件或文件夹进行CRUD

注意有可能出现权限的问题,需要通过在hdfs-site.xml中配置以下内容来避免:

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

hadoop中实现java网络爬虫(示例讲解)

修改mapred-site.xml,设置JobTracker运行的服务器与端口号(由于当前就是运行在本机上,直接写localhost 即可,端口可以绑定任意空闲端口)

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

配置core-site.xml,配置HDFS文件系统所对应的服务器与端口号(同样就在当前主机)

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

配置好以上内容后,在Cygwin中进入hadoop目录

hadoop中实现java网络爬虫(示例讲解)

在bin目录下,对HDFS文件系统进行格式化(第一次使用前必须格式化),然后输入启动命令:

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

3、Eclipse开发环境搭建

这个在我写的博客 大数据【二】HDFS部署及文件读写(包含eclipse hadoop配置)中给出大致配置方法。不过此时需要完善一下。

hadoop中的hadoop-eclipse-plugin.jar支持包拷贝到eclipseplugin目录下,为eclipse添加Hadoop支持。

启动Eclipse后,切换到MapReduce界面。

在windows工具选项选择showviews的others里面查找map/reduce locations。

Map/Reduce Locations窗口中建立一个Hadoop Location,以便与Hadoop进行关联。

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

注意:此处的两个端口应为你配置hadoop的时候设置的端口!!!

完成后会建立好一个Hadoop Location

hadoop中实现java网络爬虫(示例讲解)

在左侧的DFS Location中,还可以看到HDFS中的各个目录

hadoop中实现java网络爬虫(示例讲解)

并且你可以在其目录下自由创建文件夹来存取数据。

下面你就可以创建mapreduce项目了,方法同正常创建一样。

4、网络数据爬取

现在我们通过编写一段程序,来将爬取的新闻内容的有效信息保存到HDFS中。

此时就有了两种网络爬虫的方法:

其一就是利用heritrix工具获取的数据;

其一就是java代码结合jsoup编写的网络爬虫。

方法一的信息保存到HDFS:

直接读取生成的本地文件,用jsoup解析html,此时需要将jsoup的jar包导入到项目中

package org.liky.sina.save;

//这里用到了JSoup开发包,该包可以很简单的提取到HTML中的有效信息
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class SinaNewsData {

  private static Configuration conf = new Configuration();

  private static FileSystem fs;

  private static Path path;

  private static int count = 0;

  public static void main(String[] args) {
    parseAllFile(new File(
        "E:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
  }

  public static void parseAllFile(File file) {
    // 判断类型
    if (file.isDirectory()) {
      // 文件夹
      File[] allFile = file.listFiles();
      if (allFile != null) {
        for (File f : allFile) {
          parseAllFile(f);
        }
      }
    } else {
      // 文件
      if (file.getName().endsWith(".html")
          || file.getName().endsWith(".shtml")) {
        parseContent(file.getAbsolutePath());
      }
    }
  }

  public static void parseContent(String filePath) {
    try {
        //用jsoup的方法读取文件路径
      Document doc = Jsoup.parse(new File(filePath), "utf-8");
      //读取标题
      String title = doc.title();
      Elements descElem = doc.getElementsByAttributeValue("name",
          "description");
      Element descE = descElem.first();
      
      // 读取内容
      String content = descE.attr("content");

      if (title != null && content != null) {
        //通过Path来保存数据到HDFS中
        path = new Path("hdfs://localhost:9000/input/"
            + System.currentTimeMillis() + ".txt");

        fs = path.getFileSystem(conf);

        // 建立输出流对象
        FSDataOutputStream os = fs.create(path);
        // 使用os完成输出
        os.writeChars(title + "\r\n" + content);

        os.close();

        count++;

        System.out.println("已经完成" + count + " 个!");
      }

    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

以上这篇hadoop中实现java网络爬虫(示例讲解)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。

Java 相关电子书
学习笔记
网友NO.469118

Java/Web调用Hadoop进行MapReduce示例代码

Hadoop环境搭建详见此文章//www.jb51.net/article/33649.htm。 我们已经知道Hadoop能够通过Hadoop jar ***.jar input output的形式通过命令行来调用,那么如何将其封装成一个服务,让Java/Web来调用它?使得用户可以用方便的方式上传文件到Hadoop并进行处理,获得结果。首先,***.jar是一个Hadoop任务类的封装,我们可以在没有jar的情况下运行该类的main方法,将必要的参数传递给它。input 和output则将用户上传的文件使用Hadoop的JavaAPI put到Hadoop的文件系统中。然后再通过Hadoop的JavaAPI 从文件系统中取得结果文件。 搭建JavaWeb工程。本文使用Spring、SpringMVC、MyBatis框架, 当然,这不是重点,就算没有使用任何框架也能实现。 项目框架如下: 项目中使用到的jar包如下: 在Spring的配置文件中,加入 bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver" propert……

网友NO.702434

深入浅析Java Object Serialization与 Hadoop 序列化

一,Java Object Serialization 1,什么是序列化(Serialization) 序列化是指将结构化对象转化为字节流以便在网络上传输或者写到磁盘永久存储的过程。反序列化指将字节流转回结构化对象的逆过程。简单的理解就是对象转换为字节流用来传输和保存,字节流转换为对象将对象恢复成原来的状态。 2,序列化(Serialization)的作用 (1)一种持久化机制,把的内存中的对象状态保存到一个文件中或者数据库。 (2)一种通信机制,用套接字在网络上传送对象。 (3)Java远程方法调用(RMI)需要调用对象时, 3,实现了Serializable接口的对象的序列化 在java.io包中,接口Serialization用来作为实现对象串行化的工具 ,只有实现了Serialization的类的对象才可以被序列化。 Serializable接口中没有任何的方法,当一个类声明要实现Serializable接口时,只是表明该类参加序列化协议,而不需要……

<
1
>

Copyright 2018-2020 www.xz577.com 码农之家

版权投诉 / 书籍推广 / 赞助:520161757@qq.com