T
- The type of resource, e.g. File or URL.
public abstract class AbstractListCrawler<T> extends Object implements DataProvider
DataProvidersManager
, NetworkCrawler
, FilesListCrawler
ZIP_ARCHIVE_PATTERN
Modifier | Constructor and Description |
---|---|
protected |
AbstractListCrawler(T... inputs)
构建数据类路径爬虫。
|
Modifier and Type | Method and Description |
---|---|
void |
addInput(T input)
将一个输入添加到支持列表中。
|
boolean |
feed(Pattern supported, DataLoader visitor, DataProvidersManager manager)
通过浏览数据集来为数据文件加载器提供数据。
|
protected abstract String |
getBaseName(T input)
获取输入的基本名称。
|
protected abstract String |
getCompleteName(T input)
获取输入的完整名称。
|
List<T> |
getInputs()
获取实例支持的输入列表。
|
protected abstract InputStream |
getStream(T input)
获取从输入读取的流。
|
protected abstract ZipJarCrawler |
getZipJarCrawler(T input)
获取输入的zip/jar爬虫。
|
@SafeVarargs protected AbstractListCrawler(T... inputs)
inputs
- 输入列表(如果稍后调用addInput
,则可能为空)
public void addInput(T input)
input
- 要添加的输入
protected abstract String getCompleteName(T input)
input
- 要考虑的输入
protected abstract String getBaseName(T input)
input
- 要考虑的输入
protected abstract ZipJarCrawler getZipJarCrawler(T input)
input
- 要考虑的输入
protected abstract InputStream getStream(T input) throws IOException
input
- 要从中读取的输入
IOException
- 如果无法打开输入进行读取
public boolean feed(Pattern supported, DataLoader visitor, DataProvidersManager manager)
该方法遍历实例中引用的所有文件(例如目录树中的所有文件),对于文件加载器支持的每个文件,它会要求文件加载器加载它。
如果方法在没有异常的情况下完成,则认为数据加载器已成功提供数据,并且顶层数据提供程序管理器
将立即返回,而不尝试使用下一个配置的提供程序。
如果方法突然完成并出现异常,则顶层数据提供程序管理器
将尝试使用下一个配置的提供程序,以防另一个可以为数据加载器
提供数据。
feed
在接口 DataProvider
中
supported
- 访问者支持的文件名模式
visitor
- 要使用的数据文件访问者
manager
- 要应用于资源的过滤器
Copyright © 2002-2023 CS GROUP. All rights reserved.