研究和收集互联网信息，首先要对互联网信息的特点有很好的了解。在了解了基本概念后，我们还研究分析了当前的主流技术。作为后续工作的基石和资源。
1网络信息的特点
网络信息通过网络设备数字化存储和传输，其形态结构对用户透明。网络信息内容多样，构成复杂。网络信息是无序的，用户需要的信息不一定集中在他浏览的当前网站上。网络信息开放。网络信息是动态的。网络信息也是互动的，网络用户不仅可以获取信息，还可以利用自己的知识为他人提供信息。网络信息是增值的。网络信息被用户获取后，用户可以通过自己的提取和总结，在原有信息的基础上生成新的信息，使网络信息不断增长。网络信息会产生冗余，成为信息垃圾。
2网络信息收集
网络信息收集是从大量网站中提取非结构化信息，然后将其保存在结构化数据库中的过程。信息收集系统利用网络信息挖掘引擎，快速收集更新的信息，将信息格式化后发布。提高了信息的实时性，降低了人工成本。纸网
3网络信息收集技术和方法
传统的网络信息收集技术包括以下几种。首先是网络信息采集技术。首先获取目标网页的URL，识别URL所在的服务器，向服务器发送请求，建立TCP连接，根据HTTP协议向服务器发送获取URL的命令，接收服务器响应，读取URL对应的文件内容，并将文件内容写入本地永久存储器，最后释放与服务器的TCP连接。二是信息挖掘技术。三是网络信息的分析和过滤技术。四是网络信息资源整合技术。第五，网络信息资源的发布和推送技术。目前比较新的应用和信息采集技术有三种，分别是RSS技术、openurl技术和基于OAI协议的信息采集技术。RSS(也叫聚合)是一种简单的在线分享内容的方式。Openurl技术()不仅是一个技术标准，也是一个具有元数据和资源地址信息的可操作的url。OAI简称OAI协议。
4本次毕业设计选用的技术
本次毕业设计使用的技术基于URL。URL是指统一资源定位符，是互联网上各种资源的访问地址。网络资源的主要形式包括文本、图像、视频、节目等。URL由三部分组成：协议、存储目标资源的主机IP地址和目录/文件名。最常见的是使用超文本传输协议HTTP的URL，例如：
com .html文件的后缀
通过指定的URL，可以通过软件抓取网络的内容，这是本次毕业设计的核心任务。所谓网页抓取，就是把URL定位的网络资源保存在本地，把URL作为HTTP请求的内容发送给服务器，就可以读取服务器的响应资源。那么接下来要解决的问题就是确定每个资源的URL。用户只给出目标网页的URL，网页上每个具体的资源都有自己的URL。这时候就需要读取网页的源代码，设计一个数据截取功能，用于拼接出各个目标资源的URL。所以要完成两个关键步骤：读取源代码和拦截目的URL。当网页顺利返回资源时，可以设计相关关键词的数据库，信息可以顺利保存到本地。以后处理数据也很方便。
在截取目的URL的过程中，需要两种功能方法，一种是截取字符串的功能，从起始字符串到结束字符串。另一个是设置标志位的功能，分别设置开始字符串和结束字符串。结合获得的网页源代码字符串，可以提取目的资源的URL，然后保存数据。国内外网络信息研究现状
相关阅读
版权声明：内容来源于互联网和用户投稿 如有侵权请联系删除
标签： #国外互联网最新动态