クローラーするサービスの基礎。

2016.11.19

Logging

クローラーするサービスの基礎のソースを載せときます。殆どサイボウズ・ラボの人が書いたコードです。
このサンプルソースをそのまま貼り付けても一階層のリンクしか取得できません。
再帰処理の部分をコメントアウトしているからです。ちなみにコメントアウトを外してもメモリオーバーでおそらく
大体のサーバでエラーが出力されます。どうしたら良いのかといえば、DBに1階層目のリンクデータ、2階層目のリンクデータという様に保存する機能を施す。次にajaxで階層を受け渡しながら、再帰処理を行う。
再帰処理が終わる要素はそれ以上、下階層がないことを判断する。そのためには保存したデータを検索することが重要になる。=(イコール)
新規にデータを登録しているうちは、再帰処理を終わらせないようにすることが大事になる。
これの機能を加えることで巡回する事が可能になる。ここで注意しないといけないのが、外部リンクを保存しないことです。外部リンクまで保存していると巡回は永遠に終わらないでしょう・・・。
トイウコトデ
ほぼ??コピペソースを貼っときます。

<?php
echo json_encode($obj);
exit;
function get_linkarray($link)
{
	$context = stream_context_create(array("http" => array("method" => "GET", "header" => "User-Agent: simplecrawler.library.php 0.0.1")));
	$resultR = array();
	$resultS = simplecrawler($context, $link, $link, parse_url($link));
	foreach ($resultS as $k => $v) {
		$resultR[] = $v;
	}
	return $resultR;
}
function simplecrawler($context, $link, $burl, $base, $linkArrayDat = array())
{
	$linkArrayPre = crawler_link(crawler_page($link, $burl, $base, $context), $link, parse_url($link));
	foreach ($linkArrayPre as $k => $v) {
		if (!isset($linkArrayDat[$v])) {
			$linkArrayDat[$v] = $v;
			//$linkArrayDat = array_merge($linkArrayDat, simplecrawler($context, $v, $burl, $base, $linkArrayDat));
		}
	}
	return $linkArrayDat;
}
function crawler_page($link, $burl, $base, $context)
{
	if (strpos($link, $burl) === 0) {
		$page = @file_get_contents($link, false, $context);
		return $page === FALSE ? null : $page;
	} else {
		return null;
	}
}
function crawler_link($page, $burl, $base)
{
	$linkArray = array();
	if ($page === null) {
		return $linkArray;
	}
	preg_match_all("/[\s\n\t]+href\s?=\s?”(.*?)”/i", $page, $href);
	for ($i = 0; $i < count($href[1]); $i++) {
		$link = $href[1][$i];
		if (preg_match("/^http(s)*\:\/\//", $link)) {
			$result = $link;
		} elseif (preg_match("/^\/.+$/", $link)) {
			$result = $base["scheme"] . "://" . $base["host"] . $link;
		} else {
			// echo $base["path"] . “\n”;
			$b = preg_split("/\//", dirname($base["path"]));
			$t = preg_split("/\//", $link);
			foreach ($t as $v) {
				$l = $v === "." ? true : ($v === ".." ? array_pop($b) : array_push($b, $v));
			}
			$result = $base["scheme"] . "://" . $base["host"] . join("/", $b);
		}
		$linkArray[$result] = $result;
	}
	return $linkArray;
}

タグ

, 2, ajax, db, アウト, イコール, うち, エラー, オーバー, クローラー, コード, ここ, こと, コメント, これ, サーバ, サービス, サイボウズ, サンプル, ソース, それ, ため, データ, トイウ, メモリ, ラボ, リンク, , , , , 保存, 再帰, 処理, 出力, 判断, 取得, 可能, 基礎, 外部, 大事, 大体, 巡回, 新規, 検索, 機能, 殆ど, 永遠, 注意, 登録, 要素, 部分, 重要, 階層,

映画、家族はつらいよ。を観てきましたので #映画レビュー

2016.03.12

Logging


映画、家族はつらいよ。を観てきましたので
感想なんかを残しときます。
まず、一応、昭和生まれだけど、もっと人生経験を積まないと
わからない要素が多いように思えました。
山田洋次監督は、やっぱり喜劇映画より
笑いの要素をいれないで描いた、「東京家族」のほうが
自分は好きですね。
今回の家族はつらいよを最後まで観ると
やっぱり最後は良い感じのストーリーだなと感じました。
だだ、映画で見るような家族が減ってきているのかもしれないなと
感じます。3世代同居?とかいまは本当に少ないじゃないかな。
2世代同居とかでも少なくなりつつなる世の中です。
喜劇映画を通して家族の在り方を投げかけているようにも
思えました。
山田洋次監督が引退したら、こういう映画を
誰が作るのだろうかと思いました。なんか、この頃思うですね。
表面上良い映画はあるものの、深いところまで味のある映画は
なかなか無いじゃないかなと感じます。
オススメ度は退職された中高年の方ですね。
 
 

タグ

2世代同居, B005GOIOZS, B012NYQDZ6, おすすめ度, ストーリー, ブルーレイディスク レンタル落ち, 世の中, 中高年, 喜劇映画, 在り方, 始末, 山田洋次監督, 映画レビュー, 昭和生まれ, 東京家族, 深いところ, 表面上良い映画, 要素, 阪急電車,

結局、できずじまい。って本(イラスト)なんか自分に。

2015.09.25

Logging


結局、できずじまい。ヨシタケ シンスケ(著者)。
ある人のツイートからこのひとを知りました。
絵がシュールで気に入ったので即Amazonで購入!!
本の中を見てみると、クスって笑える部分が多少あり、
全てに笑える要素があるかは人によると思いますが・・・・。
この絵を見るだけでも和むこと間違いないと思います。
ちなみに、自分の絵の中にこのヨシタケ シンスケさんの構図を
取り入れようと奮闘中です。
絵は真似ることにより進化していきます。
ある程度、誰でも絵は書けば書くほど上達していきます。
でも、ある領域から上に上達しようするのは
なかなか難しいです。未だに自分の絵はある領域から
抜けだせません↓

タグ

Amazon, いまいち, イラスト, クス, ツイート, ひと, ヨシタケ シンスケ, , 全て, 奮闘中, , 構図, 結局, , 著者, 要素, 購入, 部分, 領域,

映画、進撃の巨人{実写版}を観てきましたので感想を。 #映画レビュー

2015.08.01

Logging


映画、進撃の巨人を観てきましたので感想なんかを残しときます。まず、原作の漫画をチラ見しかしていない自分にとってはあまりにも強すぎた感がありました。結構、映像が残酷かつグロいなという印象を持ちましたが、おそらく続編も観に行きます。日本のVFXもここまで来たかという感じで映像はすごいなと感じましたけど・・・。自分には若干合わないなという印象です。この進撃の巨人が人気なのかは、なんとなく観ていて思ったのですがヱヴァンゲリヲン似ている要素があります。恐いもの見たさな要素と人間の負の要素に視点を置いている気がします。グロい映像が全然だいじょうぶな方は観ても大丈夫だと思いますが、そうでない方はおおすすめしません。ちなみにエンディングで続編の予告映像が入りますので、そちらも見ておくと良いのかも?
 
追記:進撃の巨人 エンドオブザワールドは結局、観に行かないことにしました。理由としてはグロいので、グッタリつかれるよりは観ない方を選びました。最終的なオチもネットのネタバレサイトで確認しました。そういうオチなのか。オチには二段階あるそうですね・・・・・。自分としては一段階でよかったのではないかと思ってしまいましたが・・・。

タグ

VFX, エンドオブザワールド, オチ, グロい映像, チラ見, ヱヴァンゲリヲン, 予告映像, 印象, 原作, 始末, 実写版, 巨人, 恐いもの見たさ, 感想, 映画レビュー, 漫画, 続編, 老化, 若干, 要素, 視点, , 追記, 進撃,

#映画レビュー 映画、百日紅?Miss HOKUSAI?を観てきましたので感想なんかを。

2015.05.15

Logging


映画、百日紅?Miss HOKUSAI?を観てきましたので感想なんかを残しときます。この映画、淡々とした江戸の日常をお栄を視点に描いている映画です。仕事帰りに映画館に足を運んだのですが客足は閑古鳥が鳴くぐらいの客数でした、高知県だからこのぐらいなのかもしれませんが・・・それにしても少ないなという印象です。内容を掘り下げては書きませんが、この映画、現代人が忘れている何かをこの映画は描きたかっただろうという事は映画を通してわかった気がします、一般人に受けるかどうかという話なると別話になりそうな、そんな映画です。日本人向けというより海外の方がウケが良いかもしれないなとも感じました。
まとめると面白いとか面白く無いとか別としてっていう映画です、笑う要素もないけどかと言って泣く要素もあまりないだけど、何だか観ているとぼんやりと心に訴えてくる映画になってます。大人の見れるアニメ映画です。ただし期待はせずにです。※観る人によって感じるものは千差万別です、ストーリーは淡々としています。
追記:自分としては実写化すると何かもっとぐっとくる感じがしました。でもコレはこれで良さが有ります。

『百日紅~MissHOKUSAI~』新予告60秒

タグ

Miss HOKUSAI, アニメ映画, ストーリー, 一般人, 大事, 始末, 実写化, 客数, 客足, 感想, 日本人向け, 映画レビュー, 映画館, 江戸, 現代人, 百日紅, 要素, 視点, 追記, 閑古鳥, 高知県,

#映画レビュー 龍三と七人の子分たちを観てきたので感想を。

2015.04.30

Logging


龍三と七人の子分たちを観てきたので感想を残しときます。この映画、笑えるか笑えないかで大きく違いが出てくるのだろうと思います。ちなみに自分は冷めているのであまり笑える要素がなかったです・・・・。冗談ぽっい感じに作られてるけど実話が散りばめれてそうで何か北野武監督の映画は妙に恐いです。あのアウトレイジで描かれていた賭博場も実際にあったし・・・・(映画上映一年後に事件としてテレビで放送されていました)。そう思うと今回、笑いでごまかしているけど今回の龍三と七人の子分たちという映画も結構ダーク何じゃないかと思ってしまうわけです。
まとめ:ビートたけしの笑いが好きな方はオススメします。映画の中で描かれている笑いはビートたけしの笑いです。

タグ

アウトレイジ, こと, ダーク何, テレビ, ビートたけし, まとめ, 七人, 事件, 冗談, 北野武監督, 大事, 始末, 子分たち, 実際, 感想, 映画レビュー, 映画上映一年後, 笑い, 要素, 賭博場, 龍三,

ジョーカーゲームを観てきけど酷評しか書けない自分がいる。

2015.02.16

Logging


ジョーカーゲームを観てきけど酷評しか書けない自分がいます。
映像作品を自分はつくれませんが、一応、いろいろな映画を観てきたのでちょっと書かせてもらいます。
オープニングから無いなという感じがして最後でなんとなくB級かなって思えて最後までだら?っとそういう映像が続きます。
まず、カットが悲惨でストーリーにリアル感がなく、映画に没頭できるような要素が全然なかったです。
007と比べると天と地ぐらいの差がある映画です。
誰が大根役者なのかは言いませんが、演技もなんとも言えなくて
映像に更なる拍車をかけているような感じさえしました。
この映画、ジョーカーゲーム何を意識して撮っているのかは大体わかります。
007やミッションインポッシブルなどの映画です、そういう映画からネタ(映像)を
パクってきたと言わんばかりに似たようなシーンがあります。
その映像がズタズタで、なんとも見るに耐えない感じがしました。
全然、映像を撮れない自分がここまで酷評するのも何だと思うのですけど・・・・・。
このジョーカーゲームは亀梨和也さんや深田恭子さんで釣っているだけの作品かなと自分は思います。
まとめ、TOHO映画のランキングも現在、TOP10にランクしています。
それがこの映画に対する評価だと思います、かなり上映前に告知していたのにも
関わらずフタを開けてみるとこの評価でしたよって言うのが
この映画に対する一般市民の評価なんだと思っています。
亀梨和也さんや深田恭子さん好きならそれなりに見る価値はあるだと思います。
ここまで酷評したのはハジメテですが何か自分の中では何かモヤモヤしたものが残った映画です。
 

タグ

007, いろいろ, オープニング, カット, ここ, シーン, ジョーカーゲーム, ストーリー, なん, ネタ, ミッションインポッシブル, リアル, , 作品, , 大根, , , 役者, 悲惨, 意識, , 感じ, 拍車, 映像, 映画, , 最後, 没頭, 演技, , 自分, 要素, , 酷評,

ゴーンガールを観てきましたので感想なんかを記載します。

2014.12.23

Logging


ゴーンガールを観てきましたので感想なんかを記載します、知能犯的な要素、盛りだくさんな映画でしたがオチが物足りないかなという感じがしました。内容のほうですが何となくセブンの要素を思わせるつくりになっていましたね。悲惨からいえばセブンを超えていない感じがしますが、十分に楽しめる映画になっていると思います。
ちなみにAタイプかBタイプかといえばAタイプの要素が強いかもしれないと思いますとか言いながらBタイプの要素もあると思います。賢いタイプか賢くないタイプどちらが好きですかという質問されたら、断然賢い人のほうが好きですと答えます。強いて言うなら頭の回転が速い人のほうが好きです(学校時代、勉強が出来た人とかより頭の回転が速い人が良いです=勉強ができる人になるかもしれませんがちょっと違うですね。)、ちなみに自分の言葉の意図する裏までわかってくれると楽ですよね。TU-KA-で話ができる人のほうが良いです、基本的にしゃべるのが下手です。誤解されるような事を口走ってしまったなぁって思う時もありますが、基本的に誤解されるような言葉をその時に訂正することはないです、何故ないのかと言うと訂正することによって更なる誤解を招くおそれがあるので、その場では訂正しません。時間を置いてから訂正できる場合は訂正します。出来ない場合は訂正しないで機会を待ちます。
映画、ゴーンガールと話の内容がずれましたが結論から言えば結構楽しめる映画になっていると思います。映画を見ない人がゴーンガールをみるとそれなりに楽しめると思います。いつも思うのですがデヴィッド・フィンチャー監督は次のシーンへ移る見せ方がとても違和感がなくて上手いです。

タグ

Aタイプ, Bタイプ, TU-KA-, おそれ, ゴーンガール, セブン, タイプどちら, つくり, デヴィッド・フィンチャー監督, 勉強, 回転, 大事, 始末, 感想, 知能犯的, 要素, 見せ方, 言葉, 賢いタイプ, 速い人, 違和感,

映画:チャーリー・モルデカイ:華麗なる名画の秘密{ちょびヒゲ美術商人}

2014.09.23

Logging

2015年2月上映予定の映画、チャーリー・モルデカイ:華麗なる名画の秘密{ちょびヒゲ美術商人}ですけど、ヒットするのか未知数な要素が多いものの、ジョニー・デップ最新主演作なので観てみようかなと思っています。ジョニー・デップの主演作品は、キャラやストーリーに大体の一癖二癖ある作品が多いので今回もそんな感じなっているのではないかなと思っています。
ジョニー・デップが主演しているから、映画がヒットするという図式はないと自分は思っています。逆に言えばジョニー・デップが主演している映画は何か一癖二癖ある映画だと思っていたほうが良いと思います。ジョニー・デップ主演の映画作品で大コケしている作品は結構あります。ちなみに自分は大コケしている映画が悪いとも思えません。結局、映画評論家がいくら良い評価をだしても、それは他人の評価であって実際、映画を見てみないとわからないものです。
今回のチャーリー・モルデカイ:華麗なる名画の秘密も一癖二癖ある作品に仕上がってそうです(´∀`)。
 

タグ

2015年2月上映予定, キャラ, ジョニー・デップ, ジョニー・デップ主演, ジョニー・デップ最新主演作, ストーリー, チャーリー・モル, ちょびヒゲ美術商人, 一癖二癖, 一癖二癖ある作品, 一癖二癖ある映画, 主演作品, 他人, 名画, 図式, 大コケ, 始末, 映画作品, 映画評論家, 未知数, 要素,

映画、ガーディアンズ・オブ・ギャラクシー{字幕版2D}の感想:ネタバレなし。

2014.09.16

Logging

映画、ガーディアンズ・オブ・ギャラクシー{2D字幕版}を観てきましたので感想を記載しときます。この映画は映像や迫力がありましたね。3Dで観るとまた全然違った印象を受けそうです{3Dで観るとかなり臨場感のある作りになってそう}!!
※自分の県では3D吹き替え版しか上映されていなかったので2D字幕版を選択しました。あと、笑える要素が所々にあります😁。

映画『ガーディアンズ・オブ・ギャラクシー』予告編

迫力やVFX(視覚効果)はかなレベルが高いです。それだけでもSF好きには観る価値ありかも?
あと、エンドクレジットにオマケの動画が流れます{エンドクレジットの最初だけだと思います}。

タグ

2D字幕版, 3D, SF好き, VFX, エンドクレジット, オマケ, ガーディアンズ・オブ・ギャラクシー, かなり臨場感, 価値, 動画, 印象, 感想, 映像, 映画, 最初, , 自分, 要素, 視覚効果, 迫力,

本日WOWOWでPM7:30から清洲会議を放送。

2014.09.07

Logging

本日(9/7)WOWOWで三谷幸喜作品特集を行うらしいですよね。三谷幸喜監督の作品ってなんだか、日常のあるある的な要素を可笑しく面白く描いている(オヤジギャグ的)ので自分は好きです。バカ笑いというより失笑(こらえ切れず吹き出して笑う)の要素を含んでいると思います。
映画、清洲会議ですけど織田信長の死後、織田家の継嗣問題の人間模様を可笑しく面白く描いていて自分は好きです。これを現代に置き換えてみても通用するから文明が進んでも人がやっている事って、昔も今もさほど変わらないだなぁと思います。結局、人の心ってあまり全体的に進化(成長)しないだということですね。
まとめ、三谷幸喜監督(脚本家)の作品は人間模様に焦点を当てた映画を撮り続けている監督さんです。

清須会議

タグ

30, 7, , PM, WOWOW, おやじ, ギャグ, こと, これ, バカ笑い, まとめ, 三谷幸喜, , , 人間, , 会議, 作品, 問題, 失笑, , 成長, 放送, 文明, 日常, , 映画, 本日, 模様, 死後, 清洲, 焦点, 特集, 現代, , 監督, 継嗣, 織田信長, 織田家, 脚本家, 自分, 要素, 通用, 進化,

映画、Nothing[ナッシング]を観てオチあり( ゚д゚ )

2014.09.01

Logging

映画、Nothing[ナッシング]を観てつれづれと感想を書いてみますね。ちなみにこのNothingという映画を観たのは、もう数年も前の話なのですが今でも記憶に残っているぐらい奇妙な内容の映画でした。オチを言うと最終的には何もない状態になるのですが、それまでの過程が滑稽で面白かったです。始まりは白い空間に2人の男とソファーなどの家具用品{一軒家かも}などがある状態からストーリーが始まります、徐々に白い空間から物が消えていき、最終的には自分たちの体も消え、白い空間だけが残るというお話です。観た後もヘンな余韻がのこる映画になっています。この映画は映画「CUBE」に似ている要素があるものの、CUBEよりも後味は良いです。
※物語にスピード感はないです。
まとめ
Nothingという映画は、普通の映画のオチ{ストーリー}に飽きた人向け。{普通のオチに飽きた人向けな作品を貼っときます↓{スピード感はなし}。}

タグ

CUBE, Nothing, オチ, クライ, ストーリー, スピード感, ソファー, ナッシング, ヘン, まとめNothing, 一軒家かも, 余韻, 家具用品, 後味, 感想, 映画, 白い空間, 要素, 記憶, 過程,

accessを購入します{本日、購入}。

2014.08.16

Logging

Access2013を購入します、旧のアクセスは持っているのだけどセキュリティ上使用できなくなったので購入します。ちなみにアクセスは、いまいち使い勝手良くなかったので今まで牽制していましたが、この頃、使用してみて基本的にエクセルVBAとそんなに変わらないなという事がわかりました。エクセルVBAにDB機能とシステム要素が付与したものと考えると良い感じですね。ただ、Formの呼び出しなどが、もっとソフト開発(VisualStudio)よりな呼び出しになっている感じです{最初はわからなったです}。よくよく考えるとVisualStudioなんてものを使用せずとも結構これだけで、ひと通りの事が出来そうです{前にも同じこと言っていた気がします}。
購入して何を作るかっていう所ですけどサンプルコードをひとつ作って見ようかなと、あとは、ちょっとしたデータ入力のために簡易てきな入力システムみたいなものを作ってみようと思いますが、こちらは公開しません。

タグ

2013, access, db, Form, VBA, VisualStudio, アクセス, あと, いまいち, エクセル, コード, コチラ, こと, これだけ, サンプル, システム, セキュリティ, ソフト, ため, データ, ひとつ, ひと通り, もの, , 付与, , 使い勝手, 使用, 入力, 公開, , 感じ, , , 最初, 本日, 機能, , 牽制, 簡易, 要素, 購入, 開発, ,