ดัชนีนั้นเป็นระบบที่มีแบบแผนอย่างมากในการค้นหาข้อมูล มันจะให้คุณค้นหาข้อมูลได้จากรายการที่แบ่งเป็นประเภทต่าง ๆ เช่น ศิลปะ คอมพิวเตอร์ บันเทิง กีฬา และอื่น ๆ ใน Web browser คุณสามารถคลิกเลือกประเภทข้อมูลที่ต้องการจะดู จากนั้นมันก็จะแสดงประเภทย่อยของข้อมูลให้คุณเห็นบนจอ ตัวอย่างเช่น ภายใต้หัวข้อกีฬา คุณก็จะพบกับ เบสบอล บาสเก็ตบอล ฟุตบอล ฮอกกี้ และซอกเกอร์ เป็นต้น ซึ่งก็ขึ้นอยู่กับขนาดของข้อมูลดัชนีในแต่ละประเภทว่าจะมีประเภทย่อย ๆ ลงไปมากแค่ไหน เมื่อคุณเข้าไปถึงประเภทย่อยที่คุณสนใจแล้ว คุณจะได้รายชื่อของเอกสารที่เกี่ยวข้องกับประเภทของข้อมูลนั้น ๆ มา ถ้าคุณต้องการดูเอกสารใดก็เพียงแค่คลิกลิงก์ที่เชื่อมไปยังข้อมูลนั้น ๆ เท่านั้น ดัชนีตัวที่ใหญ่ที่สุดและเป็นที่นิยมที่สุดบนอินเตอร์เน็ตก็คือ Yahoo! นอกจากนี้ Yahoo! และดัชนีตัวอื่น ๆ ยังยอมให้คุณทำการค้นหาข้อมูลได้ด้วย ( ในลักษณะเดียวกับ search engine ) โดยการพิมพ์คำที่คุณต้องการค้นหาลงไปแล้วก็จะได้ผลลัพธ์ออกมาเป็นชุด ๆ ซึ่งจะเป็นลิงก์ที่ชี้ไปยังเอกสารซึ่งตรงกับสิ่งที่คุณต้องการค้นหา ถ้าจะเข้าไปดูข้อมูลที่ไซต์นั้น ๆ ก็เพียงแต่คลิกที่ลิงก์ที่ต้องการ
วิธีการอีกอย่างหนึ่งที่นิยมกันในการค้นหาข้อมูล คือการใช้ search engine หรืออาจจะเรียกว่า search tool ก็ได้ และบางครั้งก็เรียกว่า Web crawlers วิธีการทำงานของ search engineนี้จะต่างไปจากการใช้ดัชนี ลักษณะของมันจะเป็นฐานข้อมูลอันมหาศาลที่กระจายอยู่ทั่วระบบอินเตอร์เน็ต และ search engine จะไม่นำเสนอข้อมูลในรูปแบบลำดับชั้น แต่คุณจะต้องทำการค้นมันเหมือนกับการสืบค้นฐานข้อมูลโดยปกติ คือคุณจะต้องพิมพ์คำสำคัญหรือ keyword ซึ่งอธิบายถึงข้อมูลที่คุณต้องการค้นหานั้นเข้าไป
มี search engine ที่นิยมกันอยู่หลายตัวบนอินเตอร์เน็ต อย่างเช่น Lycos, WebCrawler, Alta Vista แม้ว่าวิธีการทำงานของแต่ละตัวจะต่างกันออกไป แต่ทั้งหมดจะมีองค์ประกอบอยู่ 3 ส่วนที่เหมือนกัน นั่นคือ spider ซึ่งจะไต่ไปทั่วอินเตอร์เน็ตเพื่อเข้าไปเก็บข้อมูลจากที่ต่าง ๆ ส่วนที่สองคือฐานข้อมูล ซึ่งจะเก็บข้อมูลทั้งหมดที่ spider รวบรวมเอาไว้ได้ และสุดท้ายคือ search tool ซึ่งเป็นเครื่องมือที่ผู้ใช้ทั่วไปจะใช้ในการสืบค้นฐานข้อมูล ตัว search engine จะถูกอัพเดทให้มีข้อมูลที่ทันสมัยอยู่เสมอ และจะเก็บไว้เป็นจำนวนมหาศาล ตัวอย่างเช่น search engine ของ Alta Vista จะมี spider ที่เข้าไปค้นหาข้อมูลบนเว็บเพจต่าง ๆ ประมาณ 2.5 ล้านเว็บเพจในทุก ๆ วัน และฐานข้อมูลของมันสามารถสร้างดัชนีของข้อมูลต่าง ๆ ได้ถึง 1 กิกะไบต์ต่อชั่วโมงทีเดียว
ดัชนีและ search engine ทำให้การค้นหาข้อมูลบนอินเตอร์เน็ตง่ายขึ้น แต่ก็ยังไม่ง่ายนักในการหาอีเมล์แอดเดรสของใครสักคนหนึ่ง ดังนั้นจึงมีการคิดค้นระบบที่เรียกว่า WHOIS ขึ้นมาเพื่อทำงานนี้โดยเฉพาะ โดยจะรวบรวมอีเมล์แอดเดรสทั้งหลายเอาไว้ใน WHOIS server ซึ่งสามารถจะสืบค้นได้ อย่างไรก็ตามระบบนี้ยังมีข้อจำกัดและเก็บแอดเดรสไว้ได้ไม่มากนัก ระบบไดเร็คทอรีของอีเมล์อื่น ๆ เช่น Distributed Internet Directory, Four11 ก็ได้มีการพยายามนำมาใช้เช่นกัน
search engine ของอินเตอร์เน็ตทำงานอย่างไร ?
อินเตอร์เน็ตมีข้อมูลและทรัพยากรอยู่อย่างมหาศาล จนกระทั่งเกิดความยากลำบากในการที่คุณจะหาข้อมูลที่ตรงตามความต้องการได้ดังนั้นจึงมีการคิดค้นโปรแกรม Search tool หรือ search engine บน Web ขึ้นมาเพื่อช่วยแก้ปัญหานี้ เครื่องมือเหล่านี้เรียกกันรวม ๆ ว่า Web spiders หรือ Web crawlers ทั้งนี้เพราะว่า มัน คลาน ( craw ) ไปทั่ว Web และอินเตอร์เน็ตเพื่อที่จะหาข้อมูลที่ต้องการ spider เป็นโปรแกรมซอฟต์แวร์ซึ่งท่องไปทั่ว World Wide Web เพื่อเก็บรวบรวมข้อมูล โดยจะไปตามไฮเปอร์เท็กซ์ลิงก์ที่พบในเว็บเพจ สำหรับ search engine ที่ได้รับความนิยมก็อย่างเช่น Lycos, Alta Vista, WebCrawler และ InfoSeek เป็นต้น
1. search engine แต่ละตัวจะใช้ spider ซึ่งจะมีข้อกำหนดต่าง ๆ ในการค้นหาและเก็บรวบรวมข้อมูลของตนเอง บางตัวจะค้นหาจากทุก ๆ ลิงก์ในทุก ๆ โฮมเพจที่มันพบ เมื่อครบแล้วจึงข้ามไปตรวจลิงก์ที่ชี้ไปยังโฮมเพจใหม่ ๆ spider บางตัวจะไม่สนใจลิงก์ที่ชี้ไปยังไฟล์แบบกราฟิก ไฟล์เสียง และไฟล์ภาพเคลื่อนไหว ส่วนบางตัวจะไม่สนใจลิงก์ที่ชี้ไปยังบริการของอินเตอร์เน็ตในบางส่วน อย่างเช่นฐานข้อมูลของ WAIS เป็นต้น และบางตัวจะค้นหาในเฉพาะเว็บเพจที่ได้รับความนิยมเท่านั้น
2. เมื่อตัว spider ค้นพบเอกสารและ URL แล้ว ก็จะมีการเก็บข้อมูลในเอกสารและ URL นั้น แล้วส่งข้อมูลที่เกี่ยวข้องทั้งหมดกลับไปให้ซอฟต์แวร์สำหรับสร้างดัชนีต่อไป
3. เมื่อซอฟต์แวร์สร้างดัชนีได้รับเอกสารและ URL แล้ว ก็จะถึงข้อมูลจากเอกสารและทำการสร้างดัชนีโดยใส่ข้อมูลนี้ลงไปในฐานข้อมูล search engine แต่ละตัวมีวิธีการดึงข้อมูลและทำดัชนีบนข้อมูลที่หลากหลาย ตัวอย่างเช่น บางตัวจะทำดัชนีกับทุก ๆ คำในแต่ละเอกสาร ขณะที่บางตัวจะทำดัชนีเฉพาะตัวของ keyword จำนวน 100 คำเท่านั้น บางตัวจะทำดัชนีจากขนาดและจำนวนคำในเอกสาร และบางตัวจะทำดัชนีเฉพาะซื่อเอกสาร หัวข้อหลัก และหัวข้อย่อยเท่านั้น และยังมีการทำงานในแบบอื่น ๆ อีกมาก ซึ่งในแต่ละวิธีที่สร้างดัชนีขึ้นมานั้นจะเป็นตัวกำหนดว่าผู้ใช้จะสามารถทำการสืบค้นข้อมูลได้ในแบบไหนบ้างจาก search engine นั้น รวมทั้งว่าจะแสดงผลลัพธ์จากการสืบค้นออกมาอย่างไรด้วย
4. เมื่อมีคนเข้าไปที่ search engine เพื่อจะค้นหาข้อมูลจากอินเตอร์เน็ตนั้นเขาเพียงแต่ป้อนคำที่อธิบายถึงข้อมูลที่ต้องการลงบนเว็บเพจ นอกจากนี้ในบาง search engine ยังสามารถให้คุณค้นหาโดยใช้สิ่งอื่นนอกจาก keyword ก็ได้ เช่น วันที่ หรือเงื่อนไขอื่น ๆ เป็นต้น
5. หลังจากที่ฐานข้อมูลถูกสืบค้นโดยเงื่อนไขที่คุณกำหนดไว้แล้ว ผลลัพธ์ที่ได้จะถูกสร้างในรูปแบบของ HTML ซึ่ง search engine แต่ละตัวจะให้ผลลัพธ์ด้วยวิธีการที่ต่างกัน โดยบางตัวจะมีการให้คะแนนว่าผลลัพธ์ที่ได้มานั้นมีความตรงกับสิ่งที่เราต้องการมากน้อยขนาดไหน บางตัวจะแสดง URL พร้อมกับประโยคแรก ๆ ของเอกสารนั้น ๆ และบางตัวจะแสดงหัวข้อเรื่องของเอกสารนั้นพร้อมทั้ง URL
6. เมื่อผู้ใช้คลิกที่ลิงก์ซึ่งชี้ไปยังเอกสารที่สนใจ ก็จะถูกนำไปยังที่เก็บเอกสารนั้นโดยตรง ทั้งนี้ขอให้เข้าใจว่าตัวเอกสารนั้น ๆ เองไม่ได้ถูกเก็บไว้ในฐานข้อมูลหรือบนไซต์ของ search engine นั้นแต่อย่างใด
6 มีนาคม 2541
