AI سے چلنے والا ڈیٹا نکالنا اور OpenClaw کے ساتھ ویب سکریپنگ

روایتی ویب سکریپر نازک ہیں۔ ان کا انحصار CSS سلیکٹرز اور XPath پیٹرن پر ہوتا ہے جو اس لمحے کو توڑ دیتے ہیں جب کوئی سائٹ اپنے لے آؤٹ کو دوبارہ ڈیزائن کرتی ہے۔ وہ JavaScript فریم ورک کے ذریعے بھری ہوئی متحرک مواد کے مطابق نہیں بن سکتے۔ کیپچا، ریٹ محدود کرنے، یا آئی پی بلاکس کا سامنا کرتے وقت وہ خاموشی سے ناکام ہوجاتے ہیں۔ کھرچنے والے بیڑے کو برقرار رکھنے کے لیے مسلسل توجہ کی ضرورت ہوتی ہے کیونکہ ٹارگٹ سائٹس تبدیل ہوتی ہیں—ایک ایسی لاگت جو اکثر نکالے جانے والے ڈیٹا کی قیمت سے زیادہ ہوتی ہے۔

OpenClaw کے ڈیٹا نکالنے والے ایجنٹ مختلف ہیں۔ وہ برائل سلیکٹرز پر بھروسہ کیے بغیر ویب سائٹس سے ڈیٹا نکالنے کے لیے براؤزر آٹومیشن، بصری تفہیم، اور LLM پر مبنی تجزیہ کو یکجا کرتے ہیں۔ جب کوئی سائٹ اپنا لے آؤٹ تبدیل کرتی ہے، تو ایجنٹ اپناتا ہے۔ جب اس کا سامنا کیپچا سے ہوتا ہے، تو یہ خاموشی سے ناکام ہونے کے بجائے بڑھ جاتا ہے۔ نتیجہ ایک ڈیٹا نکالنے والی پائپ لائن ہے جو روایتی کھرچنے والوں کے مقابلے میں زیادہ قابل انتظام ہے۔

اہم ٹیک ویز

• OpenClaw کے نکالنے والے ایجنٹ جاوا اسکرپٹ سے پیش کردہ مواد کے لیے براؤزر آٹومیشن (پلے رائٹ) کا استعمال کرتے ہیں، جو صارفین دیکھتے ہیں اور کن کن سکریپر تک رسائی حاصل کر سکتے ہیں کے درمیان فرق کو ختم کرتے ہیں۔
• LLM پر مبنی تجزیہ CSS سلیکٹرز کے بغیر غیر ساختہ HTML سے سٹرکچرڈ ڈیٹا کو نکالتا ہے — ایجنٹ مواد کو لفظی طور پر سمجھتا ہے، پوزیشن کے لحاظ سے نہیں۔
• بلٹ ان پراکسی روٹیشن، فنگر پرنٹ رینڈمائزیشن کی درخواست، اور اضافی انفراسٹرکچر کے بغیر ہینڈل اینٹی بوٹ اقدامات کو محدود کرنے کی شرح۔
• اسکیما فرسٹ نکالنے سے ٹائپ شدہ، توثیق شدہ آؤٹ پٹ پیدا ہوتا ہے — مزید جزوی یا خراب سکریپڈ ڈیٹا کے ساتھ نیچے کی طرف کوئی معاملہ نہیں ہے۔
• ڈیٹا کی ساخت یا دستیابی نمایاں طور پر تبدیل ہونے پر نکالنے والا ایجنٹ سائٹ کی تبدیلیوں اور انتباہات پر نظر رکھتا ہے۔
• اخلاقی سکریپنگ گارڈریلز اس میں بنائے گئے ہیں: robots.txt کی تعمیل، شرح کی حد کا احترام، اور سروس کی شرائط پر نظرثانی کی چوکیاں۔
• نکالا گیا ڈیٹا صاف، نارمل، اور آپ کے ڈیٹا گودام، API، یا ڈاؤن اسٹریم ایپلیکیشن کو خود بخود پہنچا دیا جاتا ہے۔
• ECOSIRE مارکیٹ انٹیلی جنس، مسابقتی نگرانی، اور تحقیقی ایپلی کیشنز کے لیے حسب ضرورت ڈیٹا نکالنے والی پائپ لائنیں بناتا اور ان کا انتظام کرتا ہے۔

---

آرکیٹیکچر: اوپن کلاؤ ڈیٹا کیسے نکالتا ہے۔

ڈیٹا نکالنے کے اسٹیک میں چار پرتیں ہیں:

Target URL(s)
      ↓
[ Browser Agent ]        — navigation, rendering, interaction
      ↓
[ Parser Agent ]         — LLM-based content extraction
      ↓
[ Validation Agent ]     — schema validation, normalization
      ↓
[ Delivery Agent ]       — destination write (warehouse, API, file)

براؤزر ایجنٹ HTTP درخواستوں اور جاوا اسکرپٹ رینڈرنگ کو ہینڈل کرتا ہے۔ پارسر ایجنٹ پیش کردہ HTML سے معنی نکالتا ہے۔ توثیق کرنے والا ایجنٹ اسکیما کی تعمیل کو نافذ کرتا ہے اور اقدار کو معمول بناتا ہے۔ ڈیلیوری ایجنٹ نکالے گئے ڈیٹا کو ہدف کی منزل پر لکھتا ہے۔

---

براؤزر ایجنٹ: رینڈرنگ جو صارفین دیکھتے ہیں۔

JavaScript سے بھاری سائٹس (SPAs، لامحدود اسکرول، موڈل گیٹڈ مواد) کو سادہ HTTP درخواستوں کے ساتھ سکریپ نہیں کیا جا سکتا۔ براؤزر ایجنٹ پلے رائٹ کو صفحات کو بالکل اسی طرح رینڈر کرنے کے لیے استعمال کرتا ہے جیسا کہ ایک براؤزر کرتا ہے، پھر مکمل طور پر پیش کردہ DOM کو پارسر ایجنٹ کے سامنے ظاہر کرتا ہے۔

export const RenderPage = defineSkill({
  name: "render-page",
  tools: ["browser", "proxy"],
  async run({ input, tools }) {
    const proxyConfig = await tools.proxy.getNextProxy({ country: input.targetCountry });

    const page = await tools.browser.newPage({
      proxy: proxyConfig,
      userAgent: getRandomUserAgent(),
      viewport: { width: 1440, height: 900 },
      locale: "en-US",
      timezoneId: "America/New_York",
    });

    await page.setExtraHTTPHeaders({
      "Accept-Language": "en-US,en;q=0.9",
      "Accept-Encoding": "gzip, deflate, br",
    });

    const response = await page.goto(input.url, { waitUntil: "networkidle", timeout: 30_000 });

    if (response.status() === 429) {
      throw new SkillError("RATE_LIMITED", "Target site returned 429. Backing off.", { retryAfterMs: 60_000 });
    }

    // Execute interaction steps if defined (click "Load More", handle cookie banners, etc.)
    for (const step of input.interactionSteps ?? []) {
      await executeInteractionStep(page, step);
    }

    const html = await page.content();
    const screenshot = await page.screenshot({ type: "png" }); // For visual verification

    await page.close();
    return { html, screenshot, url: page.url(), statusCode: response.status() };
  },
});

فنگر پرنٹ رینڈمائزیشن کی درخواست کریں: براؤزر ایجنٹ فنگر پرنٹ پر مبنی بلاکنگ سے بچنے کے لیے صارف کے ایجنٹوں، ویو پورٹ سائزز، اور HTTP ہیڈر کو گھماتا ہے۔ فنگر پرنٹ پروفائلز حقیقت پسندانہ براؤزر کے دستخطوں کی تیار کردہ لائبریری سے تیار کیے گئے ہیں۔

پراکسی روٹیشن: پراکسی ٹول رہائشی اور ڈیٹا سینٹر پراکسیوں کے ایک پول کو جغرافیہ کے ذریعے منظم کرتا ہے۔ یہ ٹارگٹ سائٹ کی جغرافیائی رسائی کے تقاضوں کی بنیاد پر پراکسیز کا انتخاب کرتا ہے اور انہیں IP پتوں پر درخواستیں تقسیم کرنے کے لیے گھماتا ہے۔

تعامل کے مراحل: بہت سی سائٹوں کو مواد کے نظر آنے سے پہلے تعامل کی ضرورت ہوتی ہے — "کوکیز قبول کریں" پر کلک کرنا، سست لوڈنگ کو متحرک کرنے کے لیے اسکرول کرنا، صفحہ بندی کنٹرولز پر کلک کرنا۔ تعامل کے اقدامات کی وضاحتی وضاحت کی گئی ہے:

{
  "interactionSteps": [
    { "type": "click", "selector": "[data-testid='cookie-accept']", "optional": true },
    { "type": "scroll", "direction": "down", "pixels": 2000 },
    { "type": "wait", "milliseconds": 2000 },
    { "type": "click", "text": "Load more results", "optional": true }
  ]
}

---

پارسر ایجنٹ: سلیکٹرز کے بغیر سیمنٹک نکالنا

پارسر وہ جگہ ہے جہاں OpenClaw کا AI فائدہ سب سے زیادہ نظر آتا ہے۔ ٹوٹے ہوئے سی ایس ایس سلیکٹرز کے بجائے، پارسر ایجنٹ پیش کردہ ایچ ٹی ایم ایل اور اسکیما ڈیفینیشن ایل ایل ایم کو بھیجتا ہے، جو سیمنٹک فہم کا استعمال کرتے ہوئے درخواست کردہ فیلڈز کو نکالتا ہے۔

export const ExtractStructuredData = defineSkill({
  name: "extract-structured-data",
  tools: ["llm"],
  async run({ input, tools }) {
    // Clean HTML for LLM consumption (strip scripts, styles, non-content)
    const cleanedHtml = cleanHtmlForExtraction(input.html, {
      stripTags: ["script", "style", "noscript", "iframe"],
      preserveAttributes: ["href", "src", "data-price", "data-sku"],
      maxLength: 50_000, // LLM context limit
    });

    const extractedData = await tools.llm.extract({
      content: cleanedHtml,
      schema: input.extractionSchema,
      instructions: `Extract the requested fields from the HTML. For prices, include the numeric value only (no currency symbols). For dates, use ISO 8601 format. If a field is not present on the page, return null for that field.`,
    });

    return { data: extractedData, sourceUrl: input.url, extractedAt: new Date().toISOString() };
  },
});

ایکسٹریکشن اسکیما کی تعریف: اسکیموں کی وضاحت JSON اسکیما فارمیٹ میں کی گئی ہے، جس سے LLM کو ٹائپنگ کی درست رہنمائی ملتی ہے:

{
  "type": "object",
  "properties": {
    "productName": { "type": "string", "description": "Full product name including model/variant" },
    "price": { "type": "number", "description": "Current selling price, numeric only" },
    "originalPrice": { "type": ["number", "null"], "description": "Original price before discount, or null if not on sale" },
    "availability": { "type": "string", "enum": ["in_stock", "out_of_stock", "limited", "preorder"] },
    "rating": { "type": ["number", "null"], "description": "Average rating out of 5, or null if no ratings" },
    "reviewCount": { "type": ["integer", "null"] },
    "sku": { "type": ["string", "null"] }
  },
  "required": ["productName", "price", "availability"]
}

LLM صفحہ کے مواد کی اپنی معنوی تفہیم کی بنیاد پر ہر فیلڈ کو بھرتا ہے۔ مطلوبہ فیلڈز جو غیر حاضر ہیں خاموش null قدر کے بجائے نکالنے کی ناکامی کو متحرک کرتے ہیں۔

---

کرال مینجمنٹ: ملٹی پیج سائٹس کو نیویگیٹ کرنا

سب سے زیادہ مفید ڈیٹا نکالنے کے لیے متعدد صفحات پر نیویگیٹ کرنے کی ضرورت ہوتی ہے: صفحہ بندی پروڈکٹ کی فہرستیں، زمرہ کے درجہ بندی، متعدد صفحات کے مضامین۔ کرال مینیجر ایک سائٹ پر براؤزر اور پارسر ایجنٹس کو مربوط کرتا ہے۔

export const CrawlProductListing = defineSkill({
  name: "crawl-product-listing",
  tools: ["browser", "queue", "storage"],
  async run({ input, tools }) {
    let pageUrl: string | null = input.startUrl;
    const allProducts = [];
    let pageNumber = 1;

    while (pageUrl && pageNumber <= input.maxPages) {
      const rendered = await tools.browser.render(pageUrl, { interactionSteps: input.interactionSteps });
      const products = await extractProductsFromPage(rendered.html, input.extractionSchema);
      allProducts.push(...products);

      // Find the "Next" page URL
      pageUrl = extractNextPageUrl(rendered.html, input.paginationPattern);
      pageNumber++;

      // Respect crawl rate — be a polite scraper
      await sleep(input.delayBetweenPagesMs ?? 2000);
    }

    await tools.storage.put(`crawls/${Date.now()}-products.json`, JSON.stringify(allProducts));
    return { productCount: allProducts.length, pagesProcessed: pageNumber - 1 };
  },
});

کرال مینیجر robots.txt کا بطور ڈیفالٹ احترام کرتا ہے۔ کرال شروع کرنے سے پہلے، یہ ٹارگٹ سائٹ کی robots.txt کو لاتا اور پارس کرتا ہے اور چیک کرتا ہے کہ کنفیگر شدہ صارف ایجنٹ کے لیے ہدف کے راستوں کی اجازت ہے۔ غیر منظور شدہ راستوں تک رسائی کی کوشش کرنے والے کرالوں کو بلاک کر دیا جاتا ہے اور آپریٹر کو ایک الرٹ بھیجا جاتا ہے۔

---

اینٹی بوٹ اقدامات کو سنبھالنا

جدید اینٹی بوٹ سسٹمز (Cloudflare، Akamai Bot Manager، PerimeterX) انسانوں کو بوٹس سے ممتاز کرنے کے لیے رویے کے اشارے استعمال کرتے ہیں۔ ایکسٹرکشن ایجنٹ جائز براؤزر ٹریفک کے طور پر ظاہر ہونے کے لیے کئی تکنیکوں کو استعمال کرتا ہے:

ماؤس موومنٹ سمولیشن: اصلی براؤزر سیشن میں ماؤس کی غیر لکیری حرکت ہوتی ہے۔ ایجنٹ اہداف پر کلک کرنے سے پہلے قدرتی رفتار کے منحنی خطوط کے ساتھ حقیقت پسندانہ کرسر راستوں کی نقالی کرتا ہے۔

وقت کی تبدیلی: درخواستوں میں تاخیر کی گئی تقسیم سے انسانی براؤزنگ کے رویے کے حساب سے اخذ کردہ بے ترتیب وقفوں سے ہوتی ہے، نہ کہ یکساں یا تعییناتی وقفوں سے۔

کوکی مینجمنٹ: اینٹی بوٹ سسٹمز کے ذریعے سیٹ کی گئی کوکیز کو محفوظ کیا جاتا ہے اور بعد کی درخواستوں میں بھیجا جاتا ہے، جیسا کہ ایک براؤزر کرتا ہے۔

جاوا اسکرپٹ چیلنج کی تکمیل: جاوا اسکرپٹ چیلنجز استعمال کرنے والی سائٹس کے لیے (براؤزر API کی صلاحیتوں کی جانچ کرنا، کمپیوٹ پہیلیاں چلانا)، براؤزر کا مکمل ماحول خود بخود یہ چیک پاس کرتا ہے۔

کیپچا گیٹس والی سائٹس کے لیے، ایجنٹ کے پاس دو راستے ہیں:

1. سروس انٹیگریشن: کیپچا کو انسانی مدد سے کیپچا حل کرنے والی سروس (2captcha، Anti-Captcha) کی طرف روٹ کریں جب غیر انٹرایکٹو حل قابل قبول ہو۔
2. انسانی اضافہ: نکالنے کے کام کو روکیں، انسانی آپریٹر کو کیپچا سے گزرنے کے لیے دستی طور پر نیویگیٹ کرنے کے لیے الرٹ کریں، اور اگلے صفحے سے دوبارہ شروع کریں۔

---

اسکیما کی توثیق اور ڈیٹا نارملائزیشن

خام نکالا ڈیٹا شور ہے. قیمتیں مختلف فارمیٹس میں آتی ہیں ($1,299.99, 1299.99, 1.299,99 یورپی فارمیٹس کے لیے)۔ تاریخیں ہر تصور کے مطابق شکل میں ظاہر ہوتی ہیں۔ پروڈکٹ کے ناموں میں متضاد کیپیٹلائزیشن اور انکوڈنگ آرٹفیکٹس ہیں۔ توثیق کرنے والا ایجنٹ تمام اقدار کو ڈیلیوری پرت تک پہنچنے سے پہلے ہی معمول بناتا ہے۔

export const NormalizeExtractedData = defineSkill({
  name: "normalize-extracted-data",
  async run({ input }) {
    const normalized = input.data.map((record) => ({
      ...record,
      price: parseFloat(String(record.price).replace(/[^0-9.]/g, "")),
      originalPrice: record.originalPrice
        ? parseFloat(String(record.originalPrice).replace(/[^0-9.]/g, ""))
        : null,
      productName: record.productName.trim().replace(/\s+/g, " "),
      extractedAt: new Date(record.extractedAt).toISOString(),
      availability: normalizeAvailability(record.availability),
    }));

    // Validate against schema
    const validation = validateAgainstSchema(normalized, input.outputSchema);
    const valid = normalized.filter((_, i) => validation[i].valid);
    const invalid = normalized.filter((_, i) => !validation[i].valid);

    return { valid, invalid, validCount: valid.length, invalidCount: invalid.length };
  },
});

غلط ریکارڈز (لاپتہ مطلوبہ فیلڈز، قدریں جنہیں معمول پر نہیں لایا جا سکتا) کو خاموشی سے چھوڑنے کے بجائے جائزہ لینے کے لیے علیحدہ استثنائی اسٹور میں لکھا جاتا ہے۔

---

ترسیل: ڈیٹا حاصل کرنا جہاں اسے جانے کی ضرورت ہے۔

ڈیلیوری ایجنٹ ترتیب شدہ منزل پر نارمل ڈیٹا لکھتا ہے:

ڈیٹا گودام: اسکیما سے مماثل کالم میپنگ کے ساتھ BigQuery، Snowflake، یا Redshift میں بیچ داخل کریں۔ موثر استفسار کے لیے نکالنے کی تاریخ کے حساب سے تقسیم۔

REST API: اصل وقت کے استعمال کے لیے ایک اندرونی API کے اختتامی نقطہ پر پوسٹ کریں۔ 5xx پر دوبارہ کوشش کی حمایت کرتا ہے اور اس میں ایکسپونینشل بیک آف بھی شامل ہے۔

S3 / کلاؤڈ اسٹوریج: اینالیٹکس پائپ لائنز کے ذریعے ڈاؤن اسٹریم پروسیسنگ کے لیے Parquet یا JSON کے بطور لکھیں۔

ڈیٹا بیس: Configreable تنازعات کے حل کے ساتھ PostgreSQL، MySQL، یا MongoDB کو اوپر کریں (میچ پر اپ ڈیٹ، میچ پر نظر انداز، میچ پر غلطی)۔

---

پتہ لگانے اور نگرانی کو تبدیل کریں۔

سائٹس اپنی ساخت تبدیل کرتی ہیں۔ ایک مدمقابل اپنے پروڈکٹ کے صفحات کو دوبارہ ڈیزائن کرتا ہے۔ ایک سپلائر اپنی قیمتوں کے فارمیٹ کو اپ ڈیٹ کرتا ہے۔ نکالنے والی پائپ لائن کو ان تبدیلیوں کا پتہ لگانے اور ڈیٹا کے معیار کو گرنے سے پہلے الرٹ کرنے کی ضرورت ہے۔

مانیٹرنگ ایجنٹ روزانہ چلتا ہے اور موجودہ نکالنے کے آؤٹ پٹ کا شماریاتی بیس لائن سے موازنہ کرتا ہے:

• فیلڈ کوریج کی شرح (ہر فیلڈ کے لیے کتنے فیصد ریکارڈ میں غیر صفر اقدار ہیں)
• قدر کی تقسیم میں تبدیلیاں (قیمت کی حدیں، دستیابی کا تناسب)
• نکالنے کی کامیابی کی شرح (کرال کی کوششوں کا کتنا فیصد درست ریکارڈ تیار کرتا ہے)

اہم انحراف انسانی جائزہ کے لیے تبدیل شدہ آؤٹ پٹ کے نمونے کے ساتھ الرٹ کو متحرک کرتے ہیں۔

---

اکثر پوچھے گئے سوالات

کیا ویب سکریپنگ قانونی ہے؟

ویب سکریپنگ کی قانونی حیثیت کا انحصار دائرہ اختیار، ڈیٹا کو سکریپ کیا جا رہا ہے، اور ٹارگٹ سائٹ کی سروس کی شرائط پر ہے۔ عوامی اعداد و شمار (مصنوعات کی قیمتیں، عوامی طور پر درج رابطے کی معلومات، شائع شدہ خبروں کے مضامین) عام طور پر زیادہ تر دائرہ اختیار میں، سائٹ کی سروس کی شرائط کے ساتھ مشروط طور پر کھرچنے کی اجازت ہے۔ تصدیق کے پیچھے کھرچنا، ذاتی ڈیٹا تک رسائی حاصل کرنا، یا تکنیکی تحفظ کے اقدامات کو روکنا قانونی اور اخلاقی خدشات کو جنم دیتا ہے۔ ECOSIRE تجویز کرتا ہے کہ پروڈکشن نکالنے والی پائپ لائنوں کو تعینات کرنے سے پہلے آپ کے مخصوص استعمال کے کیس اور ٹارگٹ سائٹس کا قانونی جائزہ لیں۔ OpenClaw میں robots.txt کی تعمیل اور شرح کی حد بندی بطور ڈیفالٹ بنیادی اخلاقی محافظوں کے طور پر شامل ہے۔

سسٹم ان سائٹس کو کیسے ہینڈل کرتا ہے جنہیں ڈیٹا تک رسائی کے لیے لاگ ان کی ضرورت ہوتی ہے؟

ان سائٹس کے لیے جہاں آپ کی تنظیم کے پاس جائز اسناد ہیں (آپ کا اپنا سپلائر پورٹل، مسابقتی قیمت کی نگرانی کی خدمات جن کو آپ سبسکرائب کرتے ہیں، پارٹنر سائٹس)، ایجنٹ سیکرٹ مینیجر میں محفوظ کردہ کنفیگر شدہ اسناد کا استعمال کر کے لاگ ان کر سکتا ہے۔ لاگ ان تعامل کو براؤزر ایجنٹ انٹرایکشن اسٹیپس سسٹم کا استعمال کرتے ہوئے سنبھالتا ہے۔ سیشن کوکیز خود بخود برقرار اور تازہ ہوجاتی ہیں۔ ایسی سائٹس کے لیے جن کے لیے ملٹی فیکٹر تصدیق کی ضرورت ہوتی ہے، ایجنٹ TOTP پر مبنی MFA کو قابل ترتیب TOTP راز کا استعمال کرتے ہوئے سپورٹ کرتا ہے۔

اسکریپ شدہ ڈیٹا کے لیے ڈیٹا کی تازہ کاری کی ضمانت کیا ہے؟

ڈیٹا کی تازگی آپ کے کرال شیڈول پر منحصر ہے۔ OpenClaw ریئل ٹائم (ریٹ محدود کرنے کے ساتھ مسلسل رینگنے) سے لے کر روزانہ، ہفتہ وار، یا آن ڈیمانڈ تک کرال کے نظام الاوقات کی حمایت کرتا ہے۔ مسابقتی قیمتوں کے اعداد و شمار کے لیے، فی گھنٹہ یا روزانہ دو بار کرال عام ہیں۔ مارکیٹ ریسرچ ڈیٹا کے لیے جو آہستہ آہستہ تبدیل ہوتا ہے، روزانہ یا ہفتہ وار کافی ہے۔ ایکسٹرکشن ایجنٹ ہر ریکارڈ کو نکالنے کے وقت کے ساتھ ٹائم اسٹیمپ کرتا ہے تاکہ صارفین تازگی کا اندازہ لگا سکیں۔

کیا سسٹم صفحہ بندی والے APIs کے ساتھ ساتھ ویب صفحات کو بھی سنبھال سکتا ہے؟

جی ہاں براؤزر ایجنٹ ویب صفحات کو ہینڈل کرتا ہے۔ ایک API نکالنے والا ایجنٹ صفحہ بندی والے REST اور GraphQL API کو ہینڈل کرتا ہے۔ ایسے APIs کے لیے جو ساختی JSON واپس کرتے ہیں، پارسر ایجنٹ کو ایک آسان اسکیما میپنگ قدم سے تبدیل کیا جاتا ہے جو API کے جوابی فیلڈز کو آؤٹ پٹ اسکیما میں نقشہ بناتا ہے۔ کرال مینیجر صفحہ بندی کو لنک ہیڈر، کرسر پر مبنی صفحہ بندی، آفسیٹ-حد صفحہ بندی، اور ٹوکن پر مبنی صفحہ بندی کے نمونوں کے ذریعے ہینڈل کرتا ہے۔

آپ متحرک مواد کو کیسے ہینڈل کرتے ہیں جو ابتدائی صفحہ رینڈر کے بعد غیر مطابقت پذیر طور پر لوڈ ہوتا ہے؟

براؤزر ایجنٹ نیٹ ورک کے بیکار انتظار کو سپورٹ کرتا ہے- یہ اس وقت تک انتظار کرتا ہے جب تک کہ صفحہ کے مواد کو نکالنے سے پہلے 500ms کے لیے کوئی نئی نیٹ ورک کی درخواستیں نہ کی جائیں۔ مخصوص API کالز کے لیے جو اہم ڈیٹا کو لوڈ کرتی ہیں، آپ ایجنٹ کو نیٹ ورک کے جوابات کو روکنے کے لیے کنفیگر کر سکتے ہیں اور رینڈر کردہ HTML کے بجائے براہ راست API پے لوڈ سے ڈیٹا نکال سکتے ہیں، جو HTML پارسنگ سے زیادہ تیز اور قابل اعتماد ہے۔

---

اگلے اقدامات

ڈیٹا ایک مسابقتی اثاثہ ہے، لیکن صرف اس صورت میں جب آپ اسے قابل اعتماد اور پیمانے پر حاصل کر سکیں۔ OpenClaw کے ڈیٹا نکالنے والے ایجنٹ قابل اعتماد، موافقت، اور AI سے چلنے والی تجزیہ فراہم کرتے ہیں جو ٹوٹنے والے روایتی سکریپرز سے میل نہیں کھا سکتے۔

ECOSIRE کی OpenClaw Custom Skills service میں ڈیٹا اکٹھا کرنے والی پائپ لائن ڈیزائن اور مارکیٹ انٹیلی جنس، مسابقتی نگرانی، قیمتوں سے باخبر رہنے، اور تحقیقی ڈیٹا اکٹھا کرنے کے استعمال کے معاملات پر عمل درآمد شامل ہے۔ ہماری ٹیم ایکسٹرکشن پائپ لائنز ڈیزائن کرتی ہے جو مضبوط، برقرار رکھنے کے قابل، اور اخلاقی طور پر درست ہیں۔

ECOSIRE سے اپنے ڈیٹا نکالنے کی ضروریات پر بات کرنے اور اپنی مرضی کے نفاذ کی تجویز وصول کرنے کے لیے رابطہ کریں۔