rain9.com

필요한 파일이 robots.txt라는 조그마한 텍스트 파일입니다. 정리하면 robots.txt파일을 생성해야 하는 이유는 크게 두가지입니다. 트래픽을 조절할 수 있다는 것과 다른 사람에게 알리고 싶지 않는 정보를 보호하기 위해서 입니다. 이 파일의 역할을 당신의 블로그를 방문하는 로봇들에게 사이트를 검색하게 허용할 것인지, 허용한다면 어떤 로봇에게, 어떤 디렉토리를 허용할지를 담고 있는 파일입니다.

윈도우의 경우 메모장을 이용해서 생성하면 되는데요, 파일은 반드시 계정의 최상위(root) 디렉토리에 있어야 합니다. 이를테면 제 사이트 http://bklove.info/ 라면 http://bklove.info/robots.txt 에 위치해야 합니다. http://bklove.info/temp/robots.txt  라면 제대로 작동하지 않습니다.

파일의 내용은 크게 세 부분으로 나뉩니다.
주석(#), 로봇의 이름을 적는 부분(User-agent) , 방문을 허용하지 않을 디렉토리를 적는 부분(Disallow)으로 구분됩니다.

User-agent: *
Disallow: /

위처럼 적으면 모든 로봇에서 모든 디렉토리에 대한 검색을 불가능하게 하겠다는 뜻을 담고 있습니다. [*]는 User-agent에서만 사용가능한데 [모든 로봇]이라는 뜻을 지니고 있습니다. Disallow의 [/]는 디렉토리에 있는 모든 폴더를 나타내는 것이구요.

만약 특정 디렉토리를 차단하게 하려면 다음과 같이 적어주면 됩니다.

User-agent: *
Disallow: /blog

위는 모든 로봇[*]에게 [blog]디렉토리 아래에 있는 부분에 대해서는 접근을 차단한다는 내용을 담고 있습니다.

그렇다면 특정 로봇을 차단하는 방법은 어떤게 있을까요? 이를테면 사이트에서 네이버의 로봇이 활동하게 하지 못하는 방법은 다음과 같습니다.

User-agent: Cowbot
Disallow: /

Cowbot은 네이버 로봇의 이름입니다. 위처럼 작성해주시면 네이버 로봇의 경우 검색을 하지 못하게 됩니다.

조금 복잡하게 구글과 네이버는 허용하고, 그외에는 모두 차단하는 방법은 다음과 같습니다.

User-agent: Cowbot
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Disallow에 아무적도 적지 않으면 모두 허용한다는 의미가 되기 때문이죠.
/blog와 /blog/는 조금 다릅니다.
/blog의 경우는 /blog/a.htm와 /blog.htm에 대해서 불가능한 것이고
/blog/의 경우는 /blog/a.htm에 대해서만 불가능 합니다.
즉 /blog는 디렉토리와 파일까지도 포함하고, /blog/는 디렉토리만을 의미하거든요.


앞 서 트래픽을 아끼기 위해서 이미지 로봇을 차단하는 방법은 다음과 같습니다. 참고로 원래는 Disallow항목에 *표시를 넣을 수 없습니다. 이 명령어는 구글과 MSN등에서만 통용되구요. 파일명 뒤에 반드시 $표시를 해주셔야 합니다. 즉 모든 검색엔진에서 통용되지는 않습니다.

User-agent: Googlebot-Image
Disallow: /*.gif$
Disallow: /*.jpg$

위 문장은 구글의 이미지를 검색하는 로봇에게 gif와 jpg로 된 이미지를 모두 검색하지 않도록 하는 명령어입니다.

참고로 주석문을 작성하기 위해서는 앞에 #를 적어주시면 됩니다. 로봇의 이름은 개별 검색사이트를 방문하셔서 아셔야 합니다. 주로 쓰는 로봇의 이름만 알려드리면...
구글: Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
엠파스봇 : empas
MSN : MSNBot
첫눈: 1Noonbot 1.0

차단했을 경우에, 즉시 삭제되는 것은 아니지만 시간이 지나면 검색포털에서의 검색 결과 역시 삭제된다는 사실을 염두에 두셔야 합니다.


* Crawl-Delay 항목을 지정하시면 검색엔진의 방문을 지연시킬 수 있습니다. 기본단위는 초단위입니다. 아래의 명령어 역시 위의 *.jpg$처럼 야후, MSN에서만 작동됩니다.

User-agent: Slurp
Crawl-delay: 20

이렇게 하시면, 모든 검색로봇의 방문을 허용하되 5초동안은 다시 방문을 하지 않도록 지정하게 됩니다.


** http://www.mcanerin.com/EN/search-engine/robots-txt.asp  이곳에 가시면.. 비록 외국 사이트긴 하지만.. robots.txt를 제작해줍니다. ^^!! 고르기만 하면 자동으로 파일을 생성해주죠. 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 됩니다.

*** http://tool.motoricerca.info/robots-checker.phtml 이곳은 만들어진 robots.txt파일이 잘 작성되었는지 검사해주는 사이트입니다.

**** 끝으로 제가 사용하고 있는 robots.txt는 http://bklove.info/robots.txt  여기서 확인이 가능합니다. 야후의 경우 시간을 지연시키는 명령어를 사용했고, 구글과 구글이미지, MSN의 경우 이미지와 PDF, ZIP, PPT파일에 대한 검색을 차단했습니다.

http://cafe.naver.com/nanospeed.cafe?iframe_url=/ArticleRead.nhn%3Farticleid=188
네이버 [robots.txt]이용 검색로봇 차단 가이드 검색 카페 최상위 글

갑자기 특정한 IP 주소에서 짧은 시간에 많은 접속을 하여 시스템의 부하가 올라가 웹 접속 로그를 살펴보니 아래와 같이 이해할 수 없는 내용이 남는 경우가 있다.

211.51.63.4 - - [26/Sep/2001:22:19:42 +0900] "GET /robots.txt HTTP/1.0" 404 285
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /index.asp HTTP/1.0" 404 284
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /index.php HTTP/1.0" 404 284
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /index.php3 HTTP/1.0" 404 285
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /default.htm HTTP/1.0" 404 286
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /default.html HTTP/1.0" 404 287
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /default.asp HTTP/1.0" 404 286
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /default.php HTTP/1.0" 404 286
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /default.php3 HTTP/1.0" 404 287
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /main.htm HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /main.html HTTP/1.0" 404 284
211.51.63.4 - - [26/Sep/2001:22:19:43 +0900] "GET /main.asp HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /main.php HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /main.php3 HTTP/1.0" 404 284
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /home.htm HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /home.html HTTP/1.0" 404 284
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /home.asp HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /home.php HTTP/1.0" 404 283
211.51.63.4 - - [26/Sep/2001:22:19:44 +0900] "GET /home.php3 HTTP/1.0" 404 284

무 작위로 index.php index.asp, index.php3, default.html, default.asp 등의 파일을 순서대로 요청하는 것으로 보아 검색 엔진일 가능성이 높다고 가정할 수 있다. 특히 robots.txt 파일을 요청하는 것으로 검색 엔진이라고 장담할 수 있을 것이다.
httpd.conf 에서 Logformat 를 common 대신 {User-agent} 변수를 추가하여 정의하면 서버에 접근하는 agent 정보도 알 수 있는데, UA(User Agent)는 일반적인 웹 브라우저 뿐만 아니라 검색 로봇이나 방랑 로봇등 웹서버에 접속하여 웹 페이지를 가져오거나 해석하는 모든 종류의 프로그램을 뜻한다. 이는 흔히 사용하는 Internet Explorer나 Netscape 등의 브라우저외에도 lycos의 spider 나 AltaVista의 Scooter와 같은 검색 로봇과 Teleport 나 WebZIP, GetRight 등 오프라인 브라우저 모두 UA의 범위에 속한다. 검색 로봇이 어떤 사이트를 방문하여 문서를 인덱싱 하거나 오프라인 브라우저가 페이지를 한꺼번에 요청하여 긁어가는 것은 일반 사용자가 웹 브라우저로 서버에 접속하여 원하는 페이지를 보는 일반적인 경우와 그 성격이 다르다. 여러 페이지를 동시에 요청하는 정도를 벗어나 아예 한 웹 사이트의 모든 페이지를 짧은 시간에 통째로 긁어가기도 하기 때문에 이러한 경우에는 서버에 매우 많은 프로세스를 생성하면서 웹 서버의 로드가 크게 올라가게 되는 것이다. 특히 DB와 연동하는 사이트의 경우에는 심할 경우 정상적인 서비스를 하지 못 할 정도이다.
모든 사이트가 검색 엔진에 등록될 필요는 없거나 또는 허용된 일부 유저만 접근이 가능한 페이지의 경우 로봇의 접근을 차단할 필요가 있으므로 이러한 경우에는 아래와 같이 설정된 robots.txt 파일을 웹 서버의 최상위 / 디렉토리에 두면 모든 검색 로봇이 /secure 디렉터리를 인덱싱하지 않는다.

User-agent: *
Disallow: /secure

"User-agent: *"는 모든 로봇를 대상으로 한다는 것을 뜻하며 예를 들어 AltaVista Scooter등 특정한 UA 에 대해서만 설정하고 싶다면 다음과 같이 하면 된다.

User-agent: scooter

검색로봇과 관련된 더 자세한 정보를 얻기 원한다면 아래의 사이트를 참고하기 바란다.


http://info.webcrawler.com/mak/projects/robots/robots.html
http://info.webcrawler.com/mak/projects/robots/norobots.html

아울러 웹서버에서 특정한 User-Agent 의 접근을 차단하고자 한다면 httpd.conf 에 아래와 같이 BrowserMatch 를 사용하여 설정해도 된다.

BrowserMatch "WebZIP" go_out
BrowserMatch "Teleport" go_out
BrowserMatch "GetRight" go_out
BrowserMatch "WebCopier" go_out
BrowserMatch "NetZip Downloader 1.0" go_out
BrowserMatch "NetZip-Downloader/1.0.62" go_out
BrowserMatch "Teleport Pro/1.29" go_out
BrowserMatch "Teleport Pro/1.24" go_out
BrowserMatch "Teleport Pro/1.26" go_out
<Directory /home/no-ua/>
Options Includes ExecCGI
AllowOverride None
Order allow,deny
Allow from all
Deny from env=go_out
</Directory>

위 와 같이 설정시에는 /home/no-ua/ 디렉토리 이하에 대해서는 go_out 이라는 변수에 지정한 WebZip 이나 Teleport등 UA 프로그램의 접근을 차단하게 된다. 다른 UA도 차단하고 싶으면 위와 같이 웹서버의 로그를 살펴보아 agent 정보에 남는 UA를 go_out 으로 추가해 주면 된다.
같은 방식으로 만약 특정 디렉토리 이하에 대해서 MSIE 브라우저로 접근하지 못하도록 설정한다면 어떻게 하면 될까?
아래와 같이 BrowserMacth 를 이용하여 설정하면 agent 정보에 MSIE 라 설정되는 UA는 차단될 것이다.

BrowserMatch "MSIE" msie
<Directory />
Options Includes ExecCGI
AllowOverride None
Order allow,deny
Allow from all
Deny from env=msie
</Directory>

최근에는 각종 로봇이 버전을 새롭게 하며 계속적으로 나오고 있으므로 지속적으로 로그를 살펴보아 접근 통제를 하고자 하는 UA 를 설정하는 것이 좋다.

[출처] [apache] 검색로봇 차단법|작성자 명랑폐인

웹메일서버를 사용하기 위해 4대포털 사이트에 ip등록 -> www.kisarbl.or.kr 입니다. 요기등록하믄 국내 10개 포털에 자동등록됩니다. SPF 레코드 작성하기 아래 예시값을 참고하여 DNS ZONE 파일이 입력하여 주십시요. ( 최종 )

예)zone 파일의 마지막에 도메인, IN, TXT, 밑의 예시값을 넣으시고 DNS를 재 시작합니다. 예)kisarbl.or.kr. IN TXT "v=spf1 ip4:61.251.112.142 -all"

윈도우 DNS 서버를 운영할 경우 다음을 참조하십시요. → 윈도우 SPF 설정

리눅스계열의 경우 밑의 주황색 권고안중에서 하나만 하셔야 합니다

ekid.co.kr.  IN   TXT   "v=spf1 ip4:219.154.135.141 -all"

의미: 위 메일발송IP를 위조하여 보내온 메일은 수신자의 메일서버에서 drop시켜라.

ekid.co.kr.  IN   TXT  "v="spf1" ip4:219.154.135.141 ~all"

의미: 위 메일발송IP를 위조하여 보내온 메일은 수신자의 메일서버의 정책에 따라 판단하라

DNS ZONE파일을 변경시킨후, 하루이상이 지난후 확인을 하셔야 모든 DNS에 올바른 설정값이 나타납니다. DNS의 특성상, 모든 DNS가 Refresh가 되는 시간이 필요합니다. 만약, 당장 확인을 원하신다면 다음과 같이 해주시기 바랍니다. 출처 white domain등록 및 SPF 레코드 작성하기|작성자 위키

//////////////////////////////////////////////////////

위 내용을 읽었어도 처음에 잘 이해가 안될 가능성이 높다.
자세히 설명할테니 잘 읽어 보아라.
화이트 도메인이란 스팸이 많이 오니까 다음이나 네이버 같은 대형포털에서 해당 아이피를 차단하게 된다.
차단하다보니 스팸을 보내지 않은 사람들도 우연찮게 불이익을 당하여 차단되어 메일발송이 거부되는 경우가 많다. 그래서 화이트 도메인(말그대로 깨끗한도메인)을 등록하여 해당 도메인이 깨끗하다는 것을 입증시켜서 차단을 막는 방법이다.
우선 SPF레코드를 등록해야 된다.
그러기 위해서는 사용하는 계정(호스팅)에 SPF레코드 등록을 요청하여야 한다.
SPF 레코드값을 적어서 호스팅 업체에 등록을 해달라고 요구를 하여야 하는데,
일단 메일서버 IP를 확인하여야 한다.
시작 - 실행 - cmd 입력하고 창뜨면 - nslookup rain9.com(도메인)

////////////////////////////
Server:  kns.kornet.net
Address:  168.126.63.1

Non-authoritative answer:
Name:    rain9.com
Address:  61.111.254.241
///////////////////////////
라고 뜰 것이다(내 도메인을 예를 들어서 설명하니까 각자 도메인별로 좀 틀릴수 있다.
그러면 Address:  61.111.254.241 이것이 나의 메일서버 아이피이다.(메일서버 웹서버이기도 하고 ftp서버이기도함)
물론 나의 계정(호스팅) 서버 아이피이다. 호스팅 받는 업체가 메일서버를 따로 두고 사용한다면
해당 메일서버 도메인을 적는다거나, 업체측에 메일서버 아이피를 문의하여 확인하길 바란다.
아무튼 그럼 나의 rain9.com의 메일서버 아이피는 61.111.254.241이다. SPF레코드 작성을 하기 하여야 한다.
위 내용중에 보면
의미: 위 메일발송IP를 위조하여 보내온 메일은 수신자의 메일서버에서 drop시켜라.
의미: 위 메일발송IP를 위조하여 보내온 메일은 수신자의 메일서버의 정책에 따라 판단하라.
라는 부분이 있다.
두 줄의 차이점이 뭐가 다른지 처음에 잘 모를텐데 뒷부분인 -all 과 ~all 로 차이가 있음을 알 수있다.
차이에 따른 의미는 한글로 잘 설명이 되어있으니 이해가 되었을 것이다.
아무튼 둘중 하나를 개인에게 맞는걸로 골라서
v="spf1" ip4:219.154.135.141 ~all"  이 값을(또는-all) 호스팅업체에 연락해서 SPF레코드 추가해달라고 해야 한다. 그 작업을 위에 나와있는 대로 dns zone 파일 변경 작업이라고 한다.
호스팅업체에서 변경해준다고 해서 처리되서 바로 적용 되는 것은 아니고 네임서버 변경으로 인해 인터넷에 퍼지는 시간이 만하루정도 걸린다고 보면 된다.그러니 이 다음부터는 하루 후에 다시 하자.
하루정도 지나서 위에 나와있는 nslookup해서 server 도메인네임서버주소 해서 확인을 해보자.
도메인네임서버 확인은 호스팅받고있는 업체의 홈페이지에 접속하면 네임서버라고 해서 1차 2차 해서 안내되고 있는 것을 확인할 수 있다.(어느업체나 메인페이지에 다 나와있음)
주로 ns1.byus.net(나는 byus.net이란 호스팅업체를 사용중이다) 이런식으로 되어 있을것이다.
그러니 nslookup 에서 server byus.net(앞에ns1은 빼야 된다)
하고 set type=txt 입력하고 rain9.com 쳐보면 위에 그림처럼 나타난다.

//////////////////////////////////////////////////////////
C:\Documents and Settings\Administrator>nslookup
Default Server:  kns.kornet.net
Address:  168.126.63.1

> server byus.net
Default Server:  byus.net
Address:  210.118.193.172

> set type=txt
> rain9.com
Server:  byus.net
Address:  210.118.193.172

rain9.com       text =

        "v=spf1 ip4:61.111.254.241 ~all"
rain9.com       nameserver = ns.byus.net
rain9.com       nameserver = ns2.byus.net
ns.byus.net     internet address = 210.118.193.172
ns2.byus.net    internet address = 61.111.255.123
//////////////////////////////////////////////////////////

나같은 경우는 이렇게 나온다. 밑에 v=spf1 해서 나오는 부분이 안나오고 다른 것이 나올 경우
SPF레코드값이 적용이 안되었기 때문이다. 호스팅업체에 요청했을 경우 다시 한번 SPF레코드값이 등록됐는지 확인하길 바란다. 또는 호스팅업체에 요청하고 하루 지났지도 않았는데 안나온다고 난리피우지 마라.
사실 이건 자기가 뭘 하는지 알기 위한 방법을 안내한거고 귀찮으면 호스팅업체에다가 연락해서 SPF레코드 등록해달라고 해당 도메인 알려주면서 요청하면 알아서 해줄 것이다.
아무튼 등록되면 되서 확인을 하거나 하루지났으면
https://www.kisarbl.or.kr/ 사이트로 접속해라.
한국정보호진흥원에서 관리하는 사이트로서 한국정보호진흥원은 국가기관으로 볼수있다. IT보안과 개인정보 해킹 등 관련된 모든 업무를 한다고 보면 된다.
아무튼 접속했으면 White Domain 등록에서 사용하는 도메인 적으면 넘어가서 술술 적으면 될 것이다.
만일
현재 위 도메인의 DNS에는 SPF Record가 작성되어 있지 않거나 잘못 작성되어 있으므로, White Domain으로 등록할 수 없습니다.
라고 뜨게 되면 위에서 말한 SPF레코드가 등록이 안됐기 때문이니 등록하고 다시해라.
이상 끝인데 가끔 등록신청해놓고 등록거부 당하는 경우가 있다.
그럴 경우를 대비해서 신청해놓고 몇일후나 몇주후에 한번 접속해서 등록거부 당하지 않았는지 확인해보자.
그러나 화이트 도메인 등록이 완료되었다고 대형포털사이트로의 이메일 발송이 다 해결 되는 것은 아니다. 해당 포털들은 정보보호진흥원의 스팸차단리스트 내역을 참조만 할 뿐이고 100% 그대로 이행하는 것은 아니기 때문이다.

홈페이지를 운영하다보면 파일의 자료가 외부로 링크되어 트래픽을 잡아먹는 일이 많이 있습니다.
폴더의 이름을 매일 바꾸지 않는 이상 원천적으로 막기는 힘듭니다. Activex 를 이용한 방법도 있지만 잘 안쓰는 편입니다.
사용자 입장에서도 Activex 다운로드는 좋아하지 않죠.

php 로 다운로드경로를 숨길수 있으며, download.php?filename=file.exe 라는 링크로 다운을 받게 하는 방법입니다.
외부에서도 실행이 불가능 하며, 리퍼러를 체크하여 같은 도메인이면 실행, 리퍼러가 없거나 타 도메인이면 에러를 띄웁니다.

download.php

<?
$referer = $_SERVER['HTTP_REFERER'];

if(strstr($referer, "도메인")!=false){
$filename = $filename;
Header("Location: http://도메인/폴더경로/{$filename}");

} else {

echo "에러. 다운로드불가.";
}
?>

다운을 받을수 있는 링크는
download.php?filename=file.exe
이런식으로 링크를 걸어주면 됩니다.
폴더가 변수일경우 폴더경로도 변수로 집어넣어 링크를 걸어주면 됩니다.


http://jinmoda.tistory.com/526

/etc/ssh/sshd_config
에서 다음 구문을 추가한다.
PermitRootLogin no

그리고 데몬 재시작
/etc/rc.d/init.d/sshd restart 또는 service sshd restart

p.s /etc/ssh/ssh_config 파일도 있으니 실수하지 않기