AI Agent Security Best Practices: Protecting Autonomous Systems

Comprehensive guide to securing AI agents covering prompt injection defense, permission boundaries, data protection, audit logging, and operational security.

E
ECOSIRE Research and Development Team
|16 مارچ، 202612 منٹ پڑھیں2.7k الفاظ|

ہماری Security & Cybersecurity سیریز کا حصہ

مکمل گائیڈ پڑھیں

AI ایجنٹ سیکیورٹی کے بہترین طرز عمل: خود مختار نظاموں کی حفاظت کرنا

AI ایجنٹس جو پروڈکشن سسٹمز کے ساتھ تعامل کرتے ہیں، حساس ڈیٹا تک رسائی حاصل کرتے ہیں، اور خود مختار فیصلے کرتے ہیں جو سیکیورٹی رسک کی ایک نئی قسم متعارف کرواتے ہیں۔ روایتی ایپلیکیشن سیکیورٹی کوڈ کی کمزوریوں اور نیٹ ورک کے خطرات کو دور کرتی ہے۔ AI ایجنٹ کی سیکیورٹی کو اضافی طور پر فوری انجیکشن، اجازت میں اضافہ، ماڈل آؤٹ پٹس کے ذریعے ڈیٹا کے اخراج، اور ممکنہ استدلال کی بنیاد پر فیصلے کرنے والے نظام کو کنٹرول کرنے کے چیلنج سے بھی نمٹنا چاہیے۔ یہ گائیڈ AI ایجنٹوں کو محفوظ طریقے سے تعینات کرنے کے لیے جامع حفاظتی فریم ورک کا احاطہ کرتا ہے۔

اہم نکات

  • AI ایجنٹ کی سیکیورٹی کے لیے پانچ پرتوں میں دفاع کی گہرائی کی ضرورت ہوتی ہے: ان پٹ کی توثیق، اجازت کی حدود، عملدرآمد سینڈ باکسنگ، آؤٹ پٹ فلٹرنگ، اور آڈٹ لاگنگ
  • فوری انجیکشن AI ایجنٹوں کے خلاف بنیادی حملہ کرنے والا ویکٹر ہے اور اس کے لیے صرف مواد کی فلٹرنگ نہیں بلکہ ساختی دفاع کی ضرورت ہوتی ہے۔
  • کم از کم استحقاق کا اصول انسانی صارفین کے مقابلے AI ایجنٹوں پر زیادہ سختی سے لاگو ہوتا ہے کیونکہ ایجنٹ مشین کی رفتار سے کام کرتے ہیں۔
  • پروڈکشن سسٹم پر ایجنٹ کی تمام کارروائیوں کو فرانزک تجزیہ کے لیے کافی تفصیل کے ساتھ لاگ ان ہونا چاہیے
  • ہیومن ان دی لوپ چیک پوائنٹس اس وقت تک بہت زیادہ اثر انداز ہونے والے آپریشنز کے لیے ضروری ہیں جب تک کہ ایجنٹ کی قابل اعتمادی ثابت نہ ہو جائے۔

اے آئی ایجنٹ کا خطرہ ماڈل

حملے کی سطح

AI ایجنٹ روایتی ایپلی کیشنز سے ہٹ کر حملے کی سطحوں کو بے نقاب کرتے ہیں:

حملہ ویکٹرتفصیلخطرے کی سطح
فوری انجکشنبدنیتی پر مبنی ان پٹ جو ایجنٹ کے رویے کو تبدیل کرتا ہےتنقیدی
اجازت میں اضافہایجنٹ اپنے دائرہ کار سے باہر وسائل تک رسائی حاصل کر رہا ہےہائی
ڈیٹا اکٹھا کرناایجنٹ آؤٹ پٹس کے ذریعے سامنے آنے والا حساس ڈیٹاہائی
سروس سے انکارزبردست ایجنٹ کے وسائل یا لامحدود لوپس کو متحرک کرنے والےمیڈیم
سپلائی چینسمجھوتہ شدہ مہارت، پلگ ان، یا ماڈل وزنہائی
سوشل انجینئرنگبات چیت کے فریب کے ذریعے ایجنٹ کو جوڑ توڑمیڈیم
ڈیٹا پوائزننگ کی تربیتایجنٹ کے فیصلوں کو متاثر کرنے والا تربیتی ڈیٹا کرپٹمیڈیم

خطرے کے زمرے

زمرہمثالیں
رازداریایجنٹ کسٹمر PII، مالیاتی ڈیٹا، یا تجارتی رازوں سے پردہ اٹھاتا ہے۔
سالمیتایجنٹ غلط طریقے سے ڈیٹا میں ترمیم کرتا ہے، جعلی ریکارڈ بناتا ہے۔
دستیابیایجنٹ ضرورت سے زیادہ وسائل استعمال کرتا ہے، جائز کاموں کو روکتا ہے
تعمیلایجنٹ کی کارروائیاں ضوابط کی خلاف ورزی کرتی ہیں (GDPR, HIPAA, SOX)

پرت 1: ان پٹ کی توثیق

فوری انجیکشن ڈیفنس

فوری انجیکشن اس وقت ہوتا ہے جب صارف کے ان پٹ میں ایسی ہدایات ہوتی ہیں جو ایجنٹ کے سسٹم پرامپٹ کو اوور رائیڈ کرتی ہیں۔ ساختی دفاع میں شامل ہیں:

ان پٹ/ہدایت کی علیحدگی: سسٹم کی ہدایات اور صارف کے ان پٹ کے درمیان سخت حدود کو برقرار رکھیں۔ کبھی بھی صارف کے ان پٹ کو براہ راست سسٹم پرامپٹ میں مت جوڑیں۔

ان پٹ سینیٹائزیشن: پروسیسنگ سے پہلے صارف کے ان پٹ سے کنٹرول کریکٹرز، خصوصی ٹوکنز، اور ہدایات جیسے پیٹرن کی پٹی یا فرار۔

سیاق و سباق کی فلٹرنگ: ان پٹس کا پتہ لگائیں اور جھنڈا لگائیں جن میں سسٹم کی ہدایات، کردار ادا کرنے کی درخواستیں ("پچھلی ہدایات کو نظر انداز کریں...")، یا انکوڈنگ ٹرکس (بیس 64، ROT13، یونیکوڈ) سے مشابہت رکھتے ہوں۔

ان پٹ کی توثیق کے قواعد

اصولنفاذمقصد
لمبائی کی حدفی فیلڈ ان پٹ کی زیادہ سے زیادہ لمبائیسیاق و سباق کے بہاؤ کو روکیں
کریکٹر فلٹرنگبلاک کنٹرول حروف اور خصوصی ٹوکنانکوڈنگ کے ذریعے انجیکشن کو روکیں
پیٹرن کا پتہ لگاناجھنڈا معلوم انجیکشن پیٹرنبراہ راست حملوں کو پکڑو
شرح محدودفی صارف زیادہ سے زیادہ درخواستیں فی ٹائم ونڈووحشیانہ طاقت کے حملوں کو روکیں
فارمیٹ کی توثیقمتوقع ان پٹ ڈھانچہ کو نافذ کریںسٹرکچرڈ فیلڈز میں فریفارم انجیکشن کو روکیں

گہرائی میں دفاع

کوئی ایک دفاع تمام فوری انجیکشن کو نہیں روکتا ہے۔ پرت متعدد دفاع:

  1. ان پٹ سینیٹائزیشن حملے کے معلوم نمونوں کو ہٹا دیتی ہے۔
  2. سسٹم پرامپٹ سختی اوور رائڈ کوششوں کے خلاف مزاحمت کرتی ہے۔
  3. آؤٹ پٹ کی توثیق ایجنٹ کے غیر ارادی رویے کو پکڑتی ہے۔
  4. انجیکشن کامیاب ہونے پر اجازت کی حدود نقصان کو محدود کرتی ہیں۔
  5. آڈٹ لاگنگ پتہ لگانے اور فرانزک تجزیہ کے قابل بناتی ہے۔

پرت 2: اجازت کی حدود

کم سے کم استحقاق کا اصول

ہر AI ایجنٹ کے پاس اس کے کام کے لیے ضروری کم از کم اجازتیں ہونی چاہئیں:

| ایجنٹ کی قسم | پڑھنے کی اجازتیں | اجازتیں لکھیں | مسدود | |------------|------|---------| | کسٹمر سروس | کسٹمر ریکارڈز، آرڈرز، اکثر پوچھے گئے سوالات | ٹکٹ کی تخلیق، نوٹ | مالیاتی ڈیٹا، منتظم کی ترتیبات | | انوینٹری مانیٹر | اسٹاک کی سطح، مصنوعات کا ڈیٹا | الرٹ تخلیق | قیمت میں تبدیلی، حذف | | رپورٹ جنریٹر | تمام کاروباری ڈیٹا (صرف پڑھنے کے لیے) | رپورٹ فائل تخلیق | کاروباری ریکارڈ پر کوئی تحریر | | سیلز اسسٹنٹ | CRM رابطے، پائپ لائن، مصنوعات | مواقع کی تازہ کاری، کام کی تخلیق | مالیاتی ریکارڈ، HR ڈیٹا |

اجازت کا نفاذ

بنیادی ڈھانچے کی سطح پر اجازتوں کو نافذ کریں، نہ کہ فوری سطح پر:

  • API کلیدی اسکوپنگ: مخصوص اختتامی رسائی کے ساتھ API کیز جاری کریں۔
  • ڈیٹا بیس کے نظارے: ایجنٹ کے ڈیٹا تک رسائی کے لیے صرف پڑھنے کے نظارے بنائیں
  • نیٹ ورک کی تقسیم: ایجنٹ کے نیٹ ورک کی رسائی کو صرف مطلوبہ خدمات تک محدود کریں۔
  • فائل سسٹم آئسولیشن: ایجنٹوں کو نامزد ڈائریکٹریوں سے آگے فائل سسٹم تک رسائی نہیں کرنی چاہیے

اضافہ کی روک تھام

ایجنٹوں کو ان کی اپنی اجازتیں بڑھانے سے روکیں:

  • ایجنٹوں کو کبھی بھی اجازت نہ دیں کہ وہ اپنی اجازت کی ترتیب میں ترمیم کریں۔
  • ایجنٹ کے اکاؤنٹس میں ایڈمن APIs یا اجازت کے انتظام کے اختتامی نکات کو ظاہر نہ کریں۔
  • غیر معمولی رسائی کے نمونوں کی نگرانی کریں (ایجنٹ اپنے عام دائرہ کار سے باہر وسائل تک رسائی حاصل کرتا ہے)
  • سخت حدود کو لاگو کریں جو ایجنٹ کے استدلال سے اوور رائڈ نہیں ہوسکتی ہیں۔

پرت 3: عملدرآمد سینڈ باکسنگ

سینڈ باکس والے ماحول

الگ تھلگ ماحول میں AI ایجنٹ کے کام کا بوجھ چلائیں:

تنہائی کی سطحٹیکنالوجیکیس استعمال کریں
کنٹینرDocker, Kubernetes podsمعیاری ایجنٹ ورک بوجھ
VMہلکا پھلکا VMs (فائر کریکر)ناقابل اعتماد کوڈ پر عمل درآمد
ویب اسمبلیWasm سینڈ باکسپلگ ان/ہنر پر عملدرآمد
نیٹ ورک نام کی جگہنیٹ ورک تنہائی فی ایجنٹپس منظر کی نقل و حرکت کی روک تھام

وسائل کی حدود

ایجنٹوں کو ضرورت سے زیادہ وسائل استعمال کرنے سے روکیں:

وسائلحدکیوں
CPUفی ایجنٹ زیادہ سے زیادہ کورکمپیوٹ کی اجارہ داری کو روکیں
یادداشتزیادہ سے زیادہ RAM مختصیادداشت سے باہر ہونے والے حالات کو روکیں
نیٹ ورکشرح کی حد API کالزسروس کے انکار کو روکیں
ذخیرہزیادہ سے زیادہ ڈسک کا استعمالڈسک کی تھکن کو روکیں
پھانسی کا وقتفی کام زیادہ سے زیادہ رن ٹائملامحدود لوپس کو روکیں
API کالززیادہ سے زیادہ بیرونی کالز فی منٹغلط استعمال کو روکیں اور لاگت سے زیادہ

ٹائم آؤٹ اور سرکٹ بریکرز

  • ہر ایجنٹ کے کام کے لیے زیادہ سے زیادہ عملدرآمد کا وقت مقرر کریں۔
  • سرکٹ بریکرز کو لاگو کریں جو بار بار ناکامی کے بعد ایجنٹ کو غیر فعال کرتے ہیں۔
  • جب کوئی کام ناکام ہوجاتا ہے تو جزوی کارروائیوں کے لیے خودکار رول بیک کو ترتیب دیں۔

پرت 4: آؤٹ پٹ فلٹرنگ

ڈیٹا لیکیج کی روک تھام

حساس ڈیٹا کی نمائش کو روکنے کے لیے فلٹر ایجنٹ آؤٹ پٹ:

| فلٹر کی قسم | یہ کیا پکڑتا ہے | نفاذ | |----------------------------|--------------------------------| | PII کا پتہ لگانا | نام، ای میلز، فون نمبرز، SSNs | Regex پیٹرن + ML درجہ بندی | | مالیاتی ڈیٹا | کریڈٹ کارڈ نمبر، بینک اکاؤنٹس | Luhn کی توثیق + پیٹرن کی مماثلت | | اسناد | API کیز، پاس ورڈز، ٹوکنز | اینٹروپی تجزیہ + پیٹرن میچنگ | | اندرونی ڈیٹا | سسٹم فن تعمیر، IP پتے | اپنی مرضی کے پیٹرن کے قوانین |

آؤٹ پٹ کی توثیق

اس بات کی توثیق کریں کہ ایجنٹ کی پیداوار متوقع فارمیٹس سے ملتی ہے:

  • سٹرکچرڈ آؤٹ پٹ (JSON، ڈیٹا بیس لکھتا ہے) کو متعین اسکیموں کے مطابق ہونا چاہیے
  • فطری زبان کے نتائج کو فریب کے اشارے کے لئے چیک کیا جانا چاہئے۔
  • ایکشن آؤٹ پٹس (API کالز، فائل آپریشنز) اعلان کردہ ارادے سے مماثل ہونا چاہیے۔
  • صارفین کے جوابات میں سسٹم پرامپٹ مواد یا اندرونی استدلال شامل نہیں ہونا چاہیے۔

مواد کی حفاظت

کسٹمر کا سامنا کرنے والے ایجنٹوں کے لیے:

  • نامناسب مواد کے لیے آؤٹ پٹس کو فلٹر کریں۔
  • اس بات کو یقینی بنائیں کہ جوابات ایجنٹ کے متعین دائرہ کار میں رہیں
  • ایجنٹ کو غیر مجاز وعدے یا وعدے کرنے سے روکیں۔
  • بلاک آؤٹ پٹ جو قانونی، طبی، یا مالی مشورے کی تشکیل کر سکتے ہیں (جب تک کہ خاص طور پر مجاز نہ ہو)

پرت 5: آڈٹ لاگنگ

کیا لاگ کرنا ہے۔

ہر ایجنٹ کی کارروائی کو کافی تفصیل کے ساتھ لاگ ان ہونا چاہیے:

لاگ فیلڈموادمقصد
ٹائم اسٹیمپکارروائی کا عین وقتٹائم لائن کی تعمیر نو
ایجنٹ کی شناختکس ایجنٹ نے کارروائی کیاحتساب
ایکشن کی قسمپڑھیں، لکھیں، API کال، فیصلہدرجہ بندی
ان پٹکارروائی کو متحرک کیابنیادی وجہ تجزیہ
آؤٹ پٹکارروائی نے کیا پیدا کیااثر کی تشخیص
ہدفکون سا سسٹم/ریکارڈ متاثر ہوادائرہ کار کا تعین
صارف سیاق و سباقکس صارف نے (اگر کوئی ہے) بہاؤ شروع کیاانتساب
فیصلہ استدلالایجنٹ نے اس کارروائی کا انتخاب کیوں کیاوضاحت

لاگ برقرار رکھنا

لاگ کی قسمبرقرار رکھنے کی مدتذخیرہ
سیکورٹی کے واقعات2+ سالناقابل تبدیل اسٹوریج
مالی اقدامات7+ سال (ریگولیٹری)ناقابل تبدیل اسٹوریج
آپریشنل لاگز90 دنمعیاری اسٹوریج
ڈیبگ لاگز30 دنعارضی ذخیرہ

بے ضابطگی کا پتہ لگانا

مشکوک پیٹرن کے لیے لاگز کی نگرانی کریں:

  • غیر معمولی رسائی کے اوقات (ایجنٹ کاروباری اوقات سے باہر بغیر طے شدہ کاموں کے کام کرتا ہے)
  • پیٹرن کی تبدیلیوں تک رسائی (ایجنٹ اچانک مختلف ڈیٹا کیٹیگریز پڑھ رہا ہے)
  • خرابی کی شرح میں اضافہ (ممکنہ انجیکشن کی کوششیں)
  • حجم کی بے ضابطگیوں (10x نارمل API کالز)

ہیومن ان دی لوپ کنٹرولز

کب انسانی منظوری کی ضرورت ہے۔

| آپریشن کیٹیگری | منظوری کی ضرورت | |--------------------------------------------| | حد سے اوپر مالی لین دین | ہمیشہ منظوری کی ضرورت ہوتی ہے | | بلک ڈیٹا میں ترمیم (100+ ریکارڈز) | ہمیشہ منظوری کی ضرورت ہوتی ہے | | گاہکوں کو بیرونی مواصلات | قابل اعتماد ثابت ہونے تک منظوری کی ضرورت ہے | | سسٹم کنفیگریشن تبدیلیاں | ہمیشہ منظوری کی ضرورت ہوتی ہے | | نیا پیٹرن/رویہ پہلے نہیں دیکھا گیا | جائزہ لینے کے لیے جھنڈا لگائیں |

منظوری ورک فلو

  1. ایجنٹ ایک ایسی کارروائی کی نشاندہی کرتا ہے جس کی منظوری کی ضرورت ہوتی ہے۔
  2. سیاق و سباق اور دلیل کے ساتھ منظوری کی درخواست بھیجتا ہے۔
  3. انسانی جائزے اور منظوری، ترمیم، یا مسترد کرتے ہیں۔
  4. ایجنٹ منظور شدہ کارروائی انجام دیتا ہے (یا ترمیم شدہ ورژن)
  5. نتیجہ مستقبل کی تربیت اور پالیسی کی اصلاح کے لیے درج کیا جاتا ہے۔

گریجویٹ خود مختاری

سخت انسانی نگرانی کے ساتھ شروع کریں اور آہستہ آہستہ آرام کریں:

مرحلہنگرانی کی سطحدورانیہ
1. شیڈو موڈایجنٹ کا مشورہ، انسانی پھانسی2-4 ہفتے
2. زیر نگرانیایجنٹ پھانسی دیتا ہے، انسانی جائزہ تمام2-4 ہفتے
3. اسپاٹ چیکڈایجنٹ پھانسی دیتا ہے، انسانی جائزے کا نمونہ (20%)4-8 ہفتے
4. استثنیٰ پر مبنیایجنٹ پھانسی دیتا ہے، انسانی جائزہ بے ضابطگیوںجاری

اوپن کلا سیکیورٹی کی خصوصیات

OpenClaw ان حفاظتی بہترین طریقوں کو مقامی طور پر نافذ کرتا ہے:

  • ایجنٹ کی اجازتوں کے لیے کردار پر مبنی رسائی کا کنٹرول
  • بلٹ میں فوری انجیکشن کا پتہ لگانے اور فلٹرنگ
  • مہارت پر عمل درآمد کے لیے پھانسی سینڈ باکسنگ
  • قابل ترتیب برقرار رکھنے کے ساتھ جامع آڈٹ لاگنگ
  • انسانی منظوری ورک فلو انضمام
  • بے ضابطگی کا پتہ لگانے والے ڈیش بورڈز

ECOSIRE AI سیکیورٹی سروسز

AI ایجنٹوں کو محفوظ طریقے سے تعینات کرنے کے لیے سائبر سیکیورٹی اور AI سسٹمز پر محیط مہارت کی ضرورت ہوتی ہے۔ ECOSIRE کی OpenClaw security hardening services اس گائیڈ میں بیان کردہ مکمل سیکیورٹی فریم ورک کو نافذ کرتی ہے۔ ہماری OpenClaw نفاذ کی خدمات میں ہر تعیناتی کے بنیادی جزو کے طور پر حفاظتی فن تعمیر شامل ہے۔

متعلقہ پڑھنا

کیا AI ایجنٹوں کو فوری انجیکشن کے خلاف مکمل طور پر محفوظ بنایا جا سکتا ہے؟

کوئی ایک دفاع فوری طور پر انجیکشن کے خطرے کو مکمل طور پر ختم نہیں کرتا ہے۔ مقصد دفاع میں گہرائی ہے جو کامیاب انجیکشن کو تیزی سے مشکل بناتا ہے اور اگر ایسا ہوتا ہے تو اثر کو محدود کرتا ہے۔ صارف کے ان پٹ سے ہدایات کی ساختی علیحدگی، اجازت کی سخت حدود، اور آؤٹ پٹ کی توثیق ایک ساتھ زیادہ تر کاروباری ایپلی کیشنز کے لیے قابل قبول سطح تک خطرے کو کم کرتی ہے۔

کیا AI ایجنٹوں کو پروڈکشن ڈیٹا بیس تک رسائی ہونی چاہیے؟

AI ایجنٹوں کو پروڈکشن ڈیٹا تک API پرتوں کے ذریعے اجازت اسکوپنگ کے ذریعے حاصل کرنا چاہیے، نہ کہ براہ راست ڈیٹا بیس کنکشن کے ذریعے۔ یہ یقینی بناتا ہے کہ رسائی کے کنٹرول، آڈٹ لاگنگ، اور شرح کی حد کو نافذ کیا جائے۔ صرف پڑھنے والے ایجنٹوں کے لیے، ڈیٹا بیس کی نقلیں یا صرف پڑھنے کے نظارے ایک اضافی حفاظتی تہہ فراہم کرتے ہیں۔

آپ AI ایجنٹس کے لیے تعمیل کی ضروریات (GDPR, HIPAA) کو کیسے ہینڈل کرتے ہیں؟

تعمیل کے فریم ورک کے تحت AI ایجنٹوں کے ساتھ کسی دوسرے سسٹم صارف کی طرح برتاؤ کریں۔ ڈیٹا مائنسائزیشن (ایجنٹس صرف ڈیٹا تک رسائی حاصل کرتے ہیں جن کی انہیں ضرورت ہوتی ہے)، مقصد کی حد (ایجنٹ صرف اپنے متعین فنکشن کے لیے ڈیٹا استعمال کرتے ہیں)، لاگنگ اور آڈٹ ٹریلز، اور ڈیٹا سبجیکٹ رائٹس سپورٹ (درخواست پر ایجنٹ کے ذریعے پروسیسرڈ ذاتی ڈیٹا کو تلاش کرنے اور حذف کرنے کی صلاحیت) کو لاگو کریں۔

E

تحریر

ECOSIRE Research and Development Team

ECOSIRE میں انٹرپرائز گریڈ ڈیجیٹل مصنوعات بنانا۔ Odoo انٹیگریشنز، ای کامرس آٹومیشن، اور AI سے چلنے والے کاروباری حل پر بصیرت شیئر کرنا۔

Chat on WhatsApp