網域集
網域集是已保存的網站列表。透過 API,您可以從搜尋結果或自己的列表建立網域集、結合多個網域集,並從網域集中每個網站的網頁原始碼提取值——聯絡資料、社交媒體帳戶、分析及標籤 ID,以及正則表達式能符合的任何內容。
端點
| 端點 | 方法 | 用途 |
|---|---|---|
/v1/clusters | GET | 帳戶的網域集,最新的排在最前:ID、名稱、網域數目、建立時間。 |
/v1/clusters | POST | 從搜尋(query)或列表(domains)建立網域集;name 可選。 |
/v1/clusters/{id} | GET | 網域集資料及一頁網域:page、per_page(最多 10,000);format=txt 則每行一個網域。 |
/v1/clusters/combine | POST | 由現有網域集建立新的網域集:operation(and、or 或 diff),clusters(ID 列表)。 |
/v1/clusters/{id}/extract | GET, POST | 以 presets 及 regex 分批提取值:offset、limit(每次呼叫最多 1,000 個網站)、format(json、xml 或 csv)。 |
/v1/clusters/presets | GET | 現成的表達式及其模式。 |
/v1/clusters/{id}/rename | POST | 新的 name。 |
/v1/clusters/{id}/delete | POST | 永久刪除網域集。 |
所有修改網域集的操作都是附 JSON 內容的 POST——不使用 PUT 或 DELETE,因此任何能執行搜尋的用戶端都能管理網域集。Token、速率限制及錯誤格式都與搜尋相同;/v1/account 回應中的網域集數字會顯示您有多少個網域集,以及今日還剩多少提取點數。
建立網域集
從搜尋建立:查詢結果(最多為您方案的每次搜尋項數上限)即成為網域集。與 /v1/search 一樣消耗一次搜尋。
curl https://api.publicwww.com/v1/clusters \
-H "Authorization: Bearer $PUBLICWWW_KEY" \
-H "Content-Type: application/json" \
-d '{"query": "\"googletagmanager.com/gtm.js\"", "name": "GTM sites"}'
{"id": 7, "name": "GTM sites", "size": 100000, "created": "2026-10-10T20:21:30Z",
"query": "\"googletagmanager.com/gtm.js\"", "total": 2412577, "index_complete": true}
從列表建立:提交網域或網址,可以是 JSON 陣列,也可以每行一個。只會保留已編入索引的網站——submitted 是您提交的數目,size 是實際收錄的數目。從列表建立不消耗任何配額。
curl https://api.publicwww.com/v1/clusters \
-H "Authorization: Bearer $PUBLICWWW_KEY" \
-H "Content-Type: application/json" \
-d '{"domains": ["example.com", "https://www.example.org/about"], "name": "Prospects"}'
每個網域集的網域數目受方案限制,每個帳戶最多保存 100 個網域集。已有 100 個時再建立,會收到 409 cluster_limit——系統不會代您刪除任何網域集;請先刪除不再需要的網域集。
結合網域集
curl https://api.publicwww.com/v1/clusters/combine \
-H "Authorization: Bearer $PUBLICWWW_KEY" \
-H "Content-Type: application/json" \
-d '{"operation": "diff", "clusters": [7, 3], "name": "GTM, not yet contacted"}'
and 保留所有網域集共有的網域,or 保留任何一個網域集中的網域,diff 保留在第一個網域集而不在第二個網域集中的網域——必須剛好兩個。結合不消耗任何配額。
提取數據
提取功能會讀取網域集中每個網站已編入索引的網頁,並返回表達式擷取到的內容,每個表達式一欄。最簡單的方法是使用預設模式:
| 預設模式 | 提取的內容 |
|---|---|
email | mailto: 連結中的電郵地址 |
phone | tel: 連結中的電話號碼 |
whatsapp、telegram、skype | 相應連結中的 WhatsApp 號碼、Telegram 用戶名稱、Skype 名稱 |
facebook、instagram、twitter、linkedin | 網站社交媒體專頁的連結(twitter 亦包括 x.com,linkedin 亦包括公司專頁) |
gtm、ga4、ua | Google Tag Manager 容器 ID、Google Analytics 4 及 Universal Analytics 的 ID |
hotjar | Hotjar 網站 ID |
adsense | AdSense 發佈商 ID |
bitcoin | bitcoin: 付款連結中的地址 |
您也可以自行編寫:以斜線(或豎線)包圍的正則表達式,可加上 i、m、s、u 旗標,最長 200 個字元。第一個擷取群組就是提取的值——規則與 snipexp: 相同。每次呼叫最多十個表達式,預設模式亦計算在內。
curl https://api.publicwww.com/v1/clusters/7/extract \
-H "Authorization: Bearer $PUBLICWWW_KEY" \
-H "Content-Type: application/json" \
-d '{"presets": ["gtm", "email"], "regex": ["/data-site-id=\"([0-9]+)\"/i"], "limit": 1000}'
{
"cluster": 7, "name": "GTM sites", "size": 100000,
"offset": 0, "scanned": 1000, "in_index": 1000, "with_matches": 941,
"next_offset": 1000,
"regex": ["/(GTM-[A-Z0-9]{4,10})\\b/", "/mailto:(...)/i", "/data-site-id=\"([0-9]+)\"/i"],
"points_used": 1834.2, "points_left": 98165,
"rows": [
{ "domain": "example.com", "values": [["GTM-AB12CD"], ["info@example.com"], []], "matches": 2 }
]
}
分批處理。每次呼叫從 offset 開始,最多處理網域集中的 1,000 個網站。把 offset 設為 next_offset 再次呼叫,直至它返回 null。沒有任何符合內容的網站不會列出;設定 skip_empty=0 則一併列出。format=csv 會為每個網站返回一行——先是網域,然後每個表達式一欄——下一個偏移量放在 X-Next-Offset 標頭中。
點數。提取會消耗您方案的每日提取額度:每個在索引中找到的網站,按在該網站上找到的值的數目消耗點數,一個都找不到則消耗 0.1 點。點數用完時,呼叫會提早停止,並以 "stopped": "extract_quota_exceeded" 返回已取得的結果;沒有剩餘點數時呼叫會收到 429 extract_quota_exceeded。請先以較小的 limit 試用表達式——請參閱網域集限制。
以程式碼處理整個網域集
從搜尋建立網域集,並把每個網站提取出的值寫入 CSV 檔案。用戶端程式庫以現成函數及命令列工具提供同樣的功能。
Python
import csv, os, time, requests
KEY = os.environ["PUBLICWWW_KEY"]
BASE = "https://api.publicwww.com"
H = {"Authorization": "Bearer " + KEY}
def call(method, path, body=None):
while True:
r = requests.request(method, BASE + path, headers=H, json=body)
if r.status_code == 429 and r.json()["error"]["code"] == "too_many_requests":
time.sleep(int(r.headers.get("Retry-After", 30)))
continue
r.raise_for_status()
return r.json()
cluster = call("POST", "/v1/clusters", {"query": '"googletagmanager.com/gtm.js"'})
offset = 0
with open("extract.csv", "w", newline="") as f:
out = csv.writer(f)
while offset is not None:
part = call("POST", "/v1/clusters/%d/extract" % cluster["id"],
{"presets": ["gtm", "email"], "offset": offset})
for row in part["rows"]:
out.writerow([row["domain"]] + [" ".join(v) for v in row["values"]])
offset = part["next_offset"]
JavaScript (Node 18+)
const BASE = "https://api.publicwww.com";
const H = { Authorization: "Bearer " + process.env.PUBLICWWW_KEY,
"Content-Type": "application/json" };
async function call(method, path, body) {
for (;;) {
const r = await fetch(BASE + path, { method, headers: H,
body: body && JSON.stringify(body) });
const data = await r.json();
if (r.status === 429 && data.error.code === "too_many_requests") {
await new Promise(ok => setTimeout(ok, 1000 * (r.headers.get("Retry-After") || 30)));
continue;
}
if (!r.ok) throw new Error(data.error.message);
return data;
}
}
const cluster = await call("POST", "/v1/clusters", { query: '"hotjar.com"' });
for (let offset = 0; offset !== null; ) {
const part = await call("POST", `/v1/clusters/${cluster.id}/extract`,
{ presets: ["hotjar", "email"], offset });
for (const row of part.rows) console.log(row.domain, row.values.map(v => v.join(" ")).join(";"));
offset = part.next_offset;
}
PHP
<?php
function call ($method, $path, $body = null) {
$ch = curl_init ("https://api.publicwww.com" . $path);
curl_setopt_array ($ch, [
CURLOPT_CUSTOMREQUEST => $method,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_HTTPHEADER => ["Authorization: Bearer " . getenv ("PUBLICWWW_KEY"),
"Content-Type: application/json"],
CURLOPT_POSTFIELDS => $body === null ? null : json_encode ($body),
]);
$data = json_decode (curl_exec ($ch), true);
if (isset ($data ["error"])) throw new Exception ($data ["error"]["message"]);
return $data;
}
$cluster = call ("POST", "/v1/clusters", ["query" => '"jquery.min.js"']);
$out = fopen ("extract.csv", "w");
for ($offset = 0; $offset !== null; ) {
$part = call ("POST", "/v1/clusters/" . $cluster ["id"] . "/extract",
["presets" => ["email", "phone"], "offset" => $offset]);
foreach ($part ["rows"] as $row)
fputcsv ($out, array_merge ([$row ["domain"]], array_map (fn ($v) => join (" ", $v), $row ["values"])));
$offset = $part ["next_offset"];
}
Go
package main
import (
"bytes"
"encoding/json"
"fmt"
"net/http"
"os"
"strings"
)
func call(method, path string, body, out any) error {
b, _ := json.Marshal(body)
req, _ := http.NewRequest(method, "https://api.publicwww.com"+path, bytes.NewReader(b))
req.Header.Set("Authorization", "Bearer "+os.Getenv("PUBLICWWW_KEY"))
req.Header.Set("Content-Type", "application/json")
resp, err := http.DefaultClient.Do(req)
if err != nil {
return err
}
defer resp.Body.Close()
if resp.StatusCode >= 300 {
return fmt.Errorf("publicwww: %s", resp.Status)
}
return json.NewDecoder(resp.Body).Decode(out)
}
func main() {
var cluster struct{ ID int `json:"id"` }
if err := call("POST", "/v1/clusters", map[string]any{"query": `"googletagmanager.com/gtm.js"`}, &cluster); err != nil {
panic(err)
}
for offset := 0; ; {
var part struct {
Rows []struct {
Domain string `json:"domain"`
Values [][]string `json:"values"`
} `json:"rows"`
NextOffset *int `json:"next_offset"`
}
path := fmt.Sprintf("/v1/clusters/%d/extract", cluster.ID)
if err := call("POST", path, map[string]any{"presets": []string{"gtm", "ga4"}, "offset": offset}, &part); err != nil {
panic(err)
}
for _, r := range part.Rows {
cells := []string{r.Domain}
for _, v := range r.Values {
cells = append(cells, strings.Join(v, " "))
}
fmt.Println(strings.Join(cells, ";"))
}
if part.NextOffset == nil {
break
}
offset = *part.NextOffset
}
}
Ruby
require "json"
require "net/http"
def call(path, body)
uri = URI("https://api.publicwww.com" + path)
req = Net::HTTP::Post.new(uri, "Authorization" => "Bearer #{ENV.fetch('PUBLICWWW_KEY')}",
"Content-Type" => "application/json")
req.body = body.to_json
res = Net::HTTP.start(uri.host, uri.port, use_ssl: true) { |h| h.request(req) }
data = JSON.parse(res.body)
raise data["error"]["message"] if data["error"]
data
end
cluster = call("/v1/clusters", { query: '"hotjar.com"' })
offset = 0
while offset
part = call("/v1/clusters/#{cluster['id']}/extract", { presets: %w[hotjar email], offset: offset })
part["rows"].each { |r| puts [r["domain"], *r["values"].map { |v| v.join(" ") }].join(";") }
offset = part["next_offset"]
end
錯誤
| 狀態碼及代碼 | 含義 |
|---|---|
404 cluster_not_found | 此帳戶中沒有此 ID 的網域集。 |
409 cluster_limit | 帳戶已保存 100 個網域集。 |
400 invalid_regex | 表達式不是以斜線或豎線包圍、不超過 200 個字元的 PCRE。 |
400 unknown_preset | 沒有此預設模式;回應會列出所有預設模式。 |
400 missing_source、ambiguous_source | 建立網域集時須提供 query 或 domains,兩者只能選其一。 |
429 extract_quota_exceeded | 今日的提取點數已用完。 |
完整列表載於錯誤頁面,以及 API 本身的說明:https://api.publicwww.com/。在 AI 助理中,同樣的操作以 MCP 工具提供。
下一頁 程式碼範例