웹 스파이더 링 및 웹 크롤러의 정의

스파이더는 데이터를 찾기 위해 웹을 통해 '크롤링'하는 프로그램 (또는 자동화 된 스크립트)입니다. 스파이더는 웹 사이트 URL을 통해 이동하며 이메일 주소와 같은 웹 페이지에서 데이터를 가져올 수 있습니다. 스파이더는 또한 웹 사이트에서 발견 된 정보를 검색 엔진에 공급하는 데 사용됩니다.

'웹 크롤러 (web crawlers)'라고도하는 스파이더는 웹을 검색하며 모두가 의도적으로 친숙하지는 않습니다.

정보를 수집하는 스패머 스파이더 웹 사이트

Google, Yahoo! 다른 검색 엔진은 웹 사이트를 크롤링하는 데 관심이있는 유일한 사람이 아닙니다. 따라서 사기꾼과 스패머도 마찬가지입니다.

거미 및 기타 자동화 도구는 스팸 발송자가 웹 사이트에서 이메일 주소 (인터넷에서 '수확'이라고도 함)를 찾아 스팸 목록을 작성하는 데 사용합니다.

스파이더는 검색 엔진에서 웹 사이트에 대한 더 많은 정보를 찾아내는 데 사용되는 도구이지만 체크하지 않은 채로 사이트를 크롤링하는 방법에 대한 지침이없는 웹 사이트 (또는 '사용 권한')는 주요 정보 보안 위험을 나타낼 수 있습니다. 스파이더는 링크를 따라 이동하며, 데이터베이스, 프로그램 파일 및 기타 정보에 대한 링크를 찾는 데 능숙합니다. 액세스 권한을 원하지 않을 수 있습니다.

웹 마스터는 로그를보고 스파이더와 다른 로봇이 사이트를 방문했는지 확인할 수 있습니다. 이 정보는 웹 마스터가 누가 사이트를 색인하고 얼마나 자주 색인하고 있는지 알 수있게 해줍니다.

이 정보는 웹 마스터가 특정 로봇이 앞으로 사이트를 크롤링하지 못하도록 SEO 및 robot.txt 파일을 미세 조정할 수 있기 때문에 유용합니다.

원치 않는 로봇 크롤러로부터 귀하의 웹 사이트를 보호하기위한 팁

웹 사이트에서 원하지 않는 크롤러를 지키기위한 간단한 방법이 있습니다. 악의적 인 거미가 사이트를 크롤링하는 것에 대해 걱정하지 않더라도 (전자 메일 주소를 모호하게 만들면 대부분의 크롤러로부터 보호받을 수 없습니다.) 검색 엔진에 중요한 지침을 제공해야합니다.

모든 웹 사이트에는 robots.txt 파일이라는 루트 디렉토리에있는 파일이 있어야합니다. 이 파일을 사용하면 웹 크롤러가 검색 엔진 인 경우 특정 페이지의 메타 데이터에 색인이 지정되지 않도록 달리 명시되어 있지 않는 한 색인 페이지를 볼 위치를 지정할 수 있습니다.

크롤러가 탐색 할 위치를 원하는대로 크롤러에게 알릴 수있는 것처럼, 이동하지 않을 수도있는 위치를 알려주고 전체 웹 사이트에서 특정 크롤러를 차단할 수도 있습니다.

잘 정리 된 robots.txt 파일은 검색 엔진에 막대한 가치가 있으며 웹 사이트의 성능을 향상시키는 데 중요한 요소 일 수 있음을 명심해야하지만 일부 로봇 크롤러는 여전히 사용자의 지침을 무시합니다. 이러한 이유로 모든 소프트웨어, 플러그인 및 앱을 항상 최신 상태로 유지하는 것이 중요합니다.

관련 기사 및 정보

사악한 (스팸) 목적으로 사용 된 정보 수집의 보급으로 인해 특정 관행을 불법으로 만들기 위해 2003 년에 법률이 통과되었습니다. 이러한 소비자 보호법은 2003 년 CAN-SPAM 법에 해당됩니다.

귀하의 비즈니스가 대규모 우편 발송 또는 정보 수집에 관여 할 경우 CAN-SPAM 법을 읽는 데 시간을 투자하는 것이 중요합니다.

다음 기사를 읽고 스팸 방지법과 스패머를 다루는 방법, 그리고 비즈니스 소유자로서 할 수없는 것에 대해 자세히 알아보십시오.

• CAN-SPAM 법 2003
• 비영리 단체를위한 CAN-SPAM 법 규정
• 5 CAN-SPAM 규칙 중소 기업 소유주의 이해 필요