「似ている」を探そう

include('parser/simple_html_dom.php');
for($i=1; $i<839; $i++){
  $file = "entry/$i.html";
  if(is_file($file)){
    $html = file_get_html($file);
    //本文抜き出し
    $div = $html->find('div[class=item-paragraph]');
    $string = $div[0]->outertext;
    //本文からソースコードを消す
    $div = $html->find('ol[class=boxcode-main]');
    foreach($div as $d){
      $string = str_replace($d->outertext, '', $string);
    }
    //ファイルに保存
    file_put_contents($file, $string);
  }
}

$mecab = new Mecab_Tagger();
$search = array(' &nbsp;', '<', '>', '"');
for($i = 1; $i < 100; $i++){
  $file = 'entry/'.$i.'.html';
  if(is_file($file)){
    $body = str_replace($search, '', strip_tags(file_get_contents($file)));
    $node = $mecab->parseToNode($body);
    while($node){
      //品詞ID38、41、47のものだけ取得
      if($node->posid == 38 || ($node->posid >= 41  & & $node->posid <= 47) ){
        $result[] = $node->surface;
      }
      $node = $node->getNext();
    }
    //出現回数が10回以上の単語のみにする
    $omomi = omomi($result, 10);
   
    $omomi_str = '';
    if(is_array($omomi)){
      foreach($omomi as $key => $value){
        $omomi_str .= $key.",";
      }
      $omomi_str = mb_convert_encoding($omomi_str, 'UTF-8', "auto");
      $sql = "INSERT INTO blog_test VALUES($i, '$omomi_str')";
      mysql_query($sql);
      $result = array();
    }
  }
}

function omomi($ary, $limit = 1){
  $return = array();
  foreach($ary as $a){
    if(isset($return[$a])){
      $return[$a]++;
    } else {
      $return[$a] = 1;
    }
  }
  arsort($return);
  reset($return);
  if(current($return) >= $limit){
    foreach($return as $key => $r){
      if($r < $limit){
        unset($return[$key]);
      }
    }
  }
  return $return;
}

function cosSim($w1 = null, $w2 = null){
    $w = array_values(array_unique(array_merge($w1, $w2)));
    for($i=0; $i<count($w); $i++){
        $m1[$i] = false;
        $m2[$i] = false;
    }
    //$wが$m1にあるか調べる
    foreach($w1 as $wi){
        $key = array_search($wi, $w);
        if($key !== FALSE)
            $m1[$key] = true;
    }
    //$wが$m2にあるか調べる
    foreach($w2 as $wi){
        $key = array_search($wi, $w);
        if($key !== FALSE)
            $m2[$key] = true;
    }
    //Cos類似度用計算
    //分子
    $and = 0;
    for($i=0; $i<count($m1); $i++){
        if($m1[$i]  & & $m2[$i])
            $and++;
    }
     
    //分母
    $m1and = 0;
    foreach($m1 as $m){
        if($m)
            $m1and++;
    }
    $m2and = 0;
    foreach($m2 as $m){
        if($m)
            $m2and++;
    }
   
    $m1and = sqrt($m1and);
    $m2and = sqrt($m2and);
   
    if($and == 0 || $m1and == 0 || $m2and == 0){
        return 0;
    } else {
        return $and/($m1and * $m2and);
    }
}

//似ている記事を探す
if(isset($_POST['number'])){
  $result = mysql_query('select * from blog_test', $con);
  while($row = mysql_fetch_row($result)){
    $blog[$row[0]] = $row[1];
  }
  //カンマで区切って配列にする
  foreach($blog as $key => $value){
    $row = explode(",", $value);
    $blog[$key] = $row;
  }
  echo "<table border=1><tr><th>記事番号</th><th>記事のキーワード</th>";
  echo "<th>似ている記事番号</th><th>似ている記事のキーワード</th></tr>";
  $moto_key = intval($_POST['number']);
  $result = array();
  foreach($blog as $key2 => $value2){
    if($moto_key != $key2  & & count($blog[$moto_key]) != 0  & & count($value2) != 0){
      $result[$key2] = cosSim($blog[$moto_key], $value2);
    }
  }
  arsort($result);
  echo "<tr><th>".$moto_key.".html</th><td>".aryToStr($blog[$moto_key]).'</td><td>';
  //似ている記事番号と類似度を3つ表示
  $i=0;
  foreach($result as $k => $v){
    echo "<b>".$k.".html</b> : ".$v."<BR>";
    $i++;
    if($i == 3){
      break;
    }
  }
  echo '</td><td>';
  //似ている記事のキーワードを3つ表示
  $i=0;
  foreach($result as $k => $v){
    echo aryToStr($blog[$k])."<HR>";
    $i++;
    if($i == 3){
      break;
    }
  }
  echo '</td></tr>';
  echo '</table>';
}
//配列を渡すとカンマ区切りで表示する
function aryToStr($ary){
  $str = '';
  foreach($ary as $r){
    $str .= $r.", ";
  }
  return $str;
}