安装 Go（1.16+版本）

openclaw openclaw解答 2026-04-09 2

我来为你提供一个 OpenClaw 新手入门教程。

安装 Go（1.16+版本）-第1张图片-OpenClaw下载官网 - OpenClaw电脑版 | ai小龙虾

什么是 OpenClaw？

OpenClaw 是一个开源的分布式爬虫系统，基于 Go 语言开发，具有高性能、易扩展的特点。

快速开始

环境准备


# 验证安装
go version
# 克隆项目
git clone https://github.com/openclaw/openclaw.git
cd openclaw

基本配置

# config.yaml 示例
server:
  port: 8080
  mode: "debug"
database:
  driver: "mysql"
  host: "localhost"
  port: 3306
  username: "root"
  password: "password"
  dbname: "openclaw"
redis:
  addr: "localhost:6379"
  password: ""
  db: 0
spider:
  concurrent: 10
  timeout: 30
  user_agent: "OpenClaw/1.0"

第一个爬虫示例

// main.go
package main
import (
    "github.com/openclaw/openclaw"
    "log"
)
func main() {
    // 创建爬虫实例
    crawler := openclaw.NewCrawler(
        openclaw.WithConcurrent(5),
        openclaw.WithTimeout(30),
    )
    // 添加任务
    crawler.AddTask(&openclaw.Task{
        URL: "https://example.com",
        Method: "GET",
        Parser: parseExample,
    })
    // 启动爬虫
    crawler.Run()
}
// 解析函数
func parseExample(resp *openclaw.Response) error {
    // 使用 CSS 选择器提取数据:= resp.HTML.Find("h1").Text()
    // 保存数据
    data := map[string]interface{}{
        "title": title,
        "url": resp.URL,
    }
    log.Printf("抓取数据: %v", data)
    return nil
}

运行爬虫

# 安装依赖
go mod download
# 运行
go run main.go
# 或编译后运行
go build -o openclaw-app
./openclaw-app

核心概念

任务（Task）

task := &openclaw.Task{
    URL:    "https://example.com",
    Method: "GET",  // 或 "POST"
    Headers: map[string]string{
        "User-Agent": "Mozilla/5.0",
    },
    Data: map[string]string{
        "key": "value",
    },
    Parser: customParser,
    Storage: customStorage,
}

中间件（Middleware）

// 登录中间件
func authMiddleware(next openclaw.HandlerFunc) openclaw.HandlerFunc {
    return func(task *openclaw.Task) error {
        // 登录逻辑
        task.Cookies = append(task.Cookies, &http.Cookie{
            Name: "session",
            Value: "abc123",
        })
        return next(task)
    }
}
// 使用中间件
crawler.Use(authMiddleware)

数据存储

// 自定义存储处理器
type MyStorage struct{}
func (s *MyStorage) Save(data interface{}) error {
    // 保存到数据库或文件
    return nil
}
// 使用存储
crawler.SetStorage(&MyStorage{})

实战示例：抓取网页列表

package main
import (
    "fmt"
    "log"
    "github.com/openclaw/openclaw"
)
func main() {
    crawler := openclaw.NewCrawler()
    // 种子 URL
    seedURLs := []string{
        "https://news.example.com/page1",
        "https://news.example.com/page2",
    }
    for _, url := range seedURLs {
        crawler.AddTask(&openclaw.Task{
            URL:    url,
            Parser: newsParser,
        })
    }
    crawler.Run()
}
func newsParser(resp *openclaw.Response) error {
    // 提取文章列表
    resp.HTML.Find(".article-list .item").Each(func(i int, s *goquery.Selection) {
        title := s.Find("h2").Text()
        link, _ := s.Find("a").Attr("href")
        // 添加到新任务（深度爬取）
        resp.Crawler.AddTask(&openclaw.Task{
            URL:    link,
            Parser: articleParser,
        })
        fmt.Printf("发现文章: %s -> %s\n", title, link)
    })
    // 分页处理
    nextPage, exists := resp.HTML.Find(".next-page").Attr("href")
    if exists {
        resp.Crawler.AddTask(&openclaw.Task{
            URL:    nextPage,
            Parser: newsParser,
        })
    }
    return nil
}
func articleParser(resp *openclaw.Response) error {:= resp.HTML.Find("h1").Text()
    content := resp.HTML.Find(".content").Text()
    fmt.Printf("文章标题: %s\n", title)
    fmt.Printf("内容长度: %d\n", len(content))
    return nil
}

常用配置选项

// 完整配置示例
crawler := openclaw.NewCrawler(
    // 并发数
    openclaw.WithConcurrent(10),
    // 请求超时
    openclaw.WithTimeout(30),
    // 请求间隔（防封禁）
    openclaw.WithDelay(1*time.Second),
    // 重试次数
    openclaw.WithRetry(3),
    // 请求限速
    openclaw.WithRateLimit(100),
    // 代理设置
    openclaw.WithProxy("http://proxy.example.com:8080"),
    // 自定义 HTTP 客户端
    openclaw.WithHTTPClient(&http.Client{
        Timeout: 30 * time.Second,
    }),
)

分布式部署

# 启动 Master 节点
./openclaw master --config master.yaml
# 启动 Worker 节点
./openclaw worker --config worker.yaml --master http://master-ip:8080

监控和管理

# Web 控制台（默认端口 8080）
打开浏览器访问 http://localhost:8080
# API 接口
curl http://localhost:8080/api/stats  # 获取统计信息
curl http://localhost:8080/api/tasks  # 获取任务列表