import java.net.*;
import java.io.*;
import java.util.*;

public class WebCollector {

  static int imageNum = 0;
  static String imageURL[] = new String[500];

  /* イメージのファイルへの書き出し */
  public static void writeOutImage(FileOutputStream dest, DataInputStream in) throws IOException {
    int limit = 0;
    byte[] buffer;
    int bytes_read;

    buffer = new byte[1024];
    while(limit < 500000) {
      bytes_read = in.read(buffer);
      if (bytes_read == -1)
	break;
      dest.write(buffer, 0, bytes_read);   //ファイル出力
      limit++;
    }
  }


  /* テキストのファイルへの書き出し */
  public static void writeOutText(FileOutputStream dest, DataInputStream in) throws IOException {
    int limit = 0;

    PrintStream pdest = new PrintStream(dest);   //FileOutputStreamにPrintStreamをラップする
    while(limit < 5000) {
      String line = in.readLine();
      if (line == null)
	break;
      pdest.println(line);   //ファイル出力
      limit++;
    }
  }


  /* htmlファイルの処理 イメージファイルのURLを抽出 */
  public static void procText(FileInputStream from, String urlFull) throws IOException {

    int limit = 0;
    String urlFullPath;   //URLのフルパス
    int startImg = 0;

    DataInputStream dataFrom = new DataInputStream(from);   //FileInputStreamにDataInputStreamをラップする

    while(limit < 5000) {

      String line = dataFrom.readLine();
      if (line == null)
	break;

      if (((startImg = line.indexOf("<img")) != -1) ||
	  ((startImg = line.indexOf("<IMG")) != -1)) {

	String newURLNameTmp = line.substring(line.indexOf("\"", startImg) + 1);   //当該htmlファイルに記述されている
	String newURLName = newURLNameTmp.substring(0, newURLNameTmp.indexOf("\""));   //新しいURLなど取得

	String urlPath = urlFull.substring(0, urlFull.lastIndexOf("/"));   //URLのパスを取得

	if (newURLName.startsWith("http://")) {
	  urlFullPath = newURLName;
	} else if (newURLName.startsWith("/")) {
	  urlFullPath = urlPath + newURLName;
	} else {
	  urlFullPath = urlPath + "/" + newURLName;
	}

	imageURL[imageNum++] = urlFullPath;
      }
    }
  }


  /* 当該URLからイメージファイルを持って来る処理 */
  public static void getImage(URLConnection uc) throws IOException {

    FileOutputStream imageDest = null;
    FileInputStream imageFrom = null;

    try {
      String imageUrlFull = uc.getURL().toExternalForm();   //URLのフルネーム
      int imageSlashPlace = imageUrlFull.lastIndexOf("/");
      String imageUrlFile = imageUrlFull.substring(++imageSlashPlace);   //ファイル名

      File imageIOFile = new File(imageUrlFile);   //指定のディレクトリ下に出力用ファイルを生成

      System.out.println(imageUrlFull);   //URL表示
      DataInputStream imageIn = new DataInputStream(uc.getInputStream());   //InputStreamをDataInputStreamにする
      imageDest = new FileOutputStream(imageIOFile);   //書き出しファイル

      writeOutImage(imageDest, imageIn);   //イメージファイルとして扱う

    } finally {
      if (imageDest != null)   //ファイルクローズ
	imageDest.close();
      if (imageFrom != null)   //ファイルクローズ
	imageFrom.close();
    }

  }


  /* 当該URLから頂点ファイル（イメージURLの記述されたファイル）の処理 */
  public static void getImageURL(URLConnection uc) throws IOException {

    FileOutputStream dest = null;
    FileInputStream from = null;

    try {
      String urlFull = uc.getURL().toExternalForm();   //URLのフルネーム
      int slashPlace = urlFull.lastIndexOf("/");
      String urlFile = urlFull.substring(++slashPlace);   //ファイル名

      File ioFile = new File(urlFile);   //出力用ファイルを生成

      System.out.println(urlFull);   //URL表示
      DataInputStream in = new DataInputStream(uc.getInputStream());   //InputStreamをDataInputStreamにする
      dest = new FileOutputStream(ioFile);   //書き出しファイル

      writeOutText(dest, in);   //テキストファイルとして扱う
      from = new FileInputStream(ioFile);   //読み込みファイル
      procText(from, urlFull);

    } finally {
      if (dest != null)   //ファイルクローズ
	dest.close();
      if (from != null)   //ファイルクローズ
	from.close();
    }
  }


  /* URLを補完 (例：www.jaist.ac.jp → http://www.jaist.ac.jp/index.html) */
  public static String urlCompletion(String urlOriginal) {

    String afterFirstCheck;
    boolean dirsw;

    if (urlOriginal.indexOf("/") == -1) {   //当該URLに"/"は含まれているか
      dirsw = true;
    } else {
      dirsw = false;
    }

    if (!urlOriginal.startsWith("http://")) {   //最初に付いてなければ付ける
      afterFirstCheck = "http://" + urlOriginal;
    } else {
      afterFirstCheck = urlOriginal;
    }

    if (urlOriginal.endsWith("/"))   //index.html自動補完
      return(afterFirstCheck + "index.html");

    String tmpLast = afterFirstCheck.substring(afterFirstCheck.lastIndexOf("/"));
    if (dirsw || (tmpLast.indexOf(".") == -1) || (tmpLast.startsWith("~"))) {
      return(afterFirstCheck + "/index.html");
    } else {
      return(afterFirstCheck);
    }
  }
  

  /* コマンドラインの引数があった場合 */
  public static void doPseudoCL(String arg, int sw) throws MalformedURLException, IOException {

    URL url = new URL(urlCompletion(arg));
    URLConnection connection = url.openConnection();

    if (sw == 0){
      getImageURL(connection);
    } else {
      getImage(connection);
    }
  }


  /* main */
  public static void main(String[] args) throws MalformedURLException, IOException {

    for (int i = 0; i < 500; i++)   //訪れたURL記憶配列の初期化。ださいのでなんとかする。
      imageURL[i] = "0";

    if (args.length != 0) {   //コマンドラインの引数があった場合
      doPseudoCL(args[0], 0);
    } else {
      System.out.println("Please input a URL as a parameter!");
      System.exit(0);
    }

    for (int j = 0; j < imageNum; j++) {
      doPseudoCL(imageURL[j], 1);
    }
  }
}


/* 例外処理 */
class DefFileException extends IOException {
  public DefFileException(String msg) {
    super(msg);
  }
}