Scraping

PythonでWebスクレイピングツールを自作してみる➁

こんばんは。 だんだん寒くなってきましたね。 今年は、インフルエンザに加え、コロナウイルスが冬場に流行するかもしれません。 感染対策怠らずに行いたいですね。 さて今回は前回作成した、Webスクレイピングツール(検索したキーワードでgoogle検索を行いタイトルやURLを取得するツール)をアップデートしたので記事にしてみました。 元々は、Pythonでwebス...
webサイト

官公庁のWEBサイトは本当にダサいのか? ➁

先週、鬼滅の刃の映画見ました。 結構、グロい描写もありましたが、おおむね満足できました。 さて、今回は官公庁のWEBサイトは本当にダサいのか? ➀の続きです。 今回も独断と偏見でサイトのデザインや利便性を星5段階で評価します。 内閣府 まずは内閣府です。 faviconがないのはいつものことなのでスルーしましょう。 色合い...
webサイト

官公庁のWEBサイトは本当にダサいのか? ➀

今回は、官公庁のEWBサイトに焦点を当ててみました。 官公庁のサイトって古臭いイメージありませんか? 最近はDXなど話題にになっていますが、官公庁のサイトはどのようなデザインになっているのか(2020/10/31 時点)見てみたいというのが今回の記事の趣旨です。 独断と偏見でデザイン性や利便性を星5つで評価したいと思います。 手始めに各府省をリストアップしました。...
クラウド関連

クラウドサービスと市場動向調査

クラウドとは クラウドとはネットワーク/サーバー/ストレージ/アプリなどのサービスをインターネットを介して必要な時に、必要な分だけ利用できるサービスです。 また、本格的なクラウドサービスが誕生したのは、2002年からサービスを開始たAmazon Web Services (AWS) で大規模なエンタープライズシステムや基幹業務システムの数多くの実績を有しています。Gartner社に...
JavaScript

JavaScriptのフレームワークを使って花火を打ち上げる

目的 今年はコロナの影響で夏の風物詩である花火大会が中止になってしまいました。 残念ですね : ( どうしても花火を見たいと思ったので花火のプログラムを作りました。 完成した動画がこちらになります。 HTMLファイルを開くと動画のように色とりどりの花火がさく裂します。 元ネタ こちらのダニエルシフマンの動画を参考にコーディングしました...
2020.10.30
AWS

【AWS 9月の注目のニュース】 AWS Perspective とは

2020年9月22日にAWSから発表された今週の注目のニュースにピックアップされていたAWS Perspectiveについて調べてみました。 概要 AWSクラウドのワークロードを監視することは、運用の健全性と効率を維持するための鍵となります。しかしながら、すべてのAWSリソース間の関連性をトラックすることは困難な場合があります。AWS Perspective は、AWSクラウドワークロ...
2020.10.30
AWS

APNプレミアティアコンサルティングパートナーとは

ふと、とあるサイトを閲覧しているときに「AWSプレミアティアコンサルティングパートナー」という言葉あり、気になったので少し調べてみました。 簡単に言うとAWSパートナーネットワークの最上位のティアに当たるのが、AWSプレミアティアコンサルティングパートナーです。 AWSパートナーネットワークとは AWSパートナーネットワークとは企業が AWS を基盤としたビジネスプラクティスと...
2020.10.30
その他

LINE Botを作成してみた

Botとは Botとは一定のタスクや処理を自動化するためのアプリケーションやプログラム のとです。語源はなんとなく想像がつきますが、人に代わって作業を行う機械(ロボット)に由来しています。Twitterで自動的につぶやきを行うBotやピザの注文するときにチャットでやり取りをするBotなどがあります。 一般的には複雑な作業ではなく反復作業などの 人間にとって単純作業を肩代わりしま...
2020.10.30
その他

Google Apps Scriptを利用してLINEで定期配信をやってみた

Google Apps Scriptとは Google Apps Script(GAS)とは簡単に素早くビジネスアプリケーションを作成することのできるサービスです。GoogleドキュメントやGoogleスプレッドシートなどのGoogle関連ツールをプログラム制御したり、GithibやSlackなどの外部アプリケーションとの連携してプログラムを作成することもできます。 公式(英語) ...
2020.10.30
JavaScript

ゲームを自分で作って、自分で遊ぶ ~ crappy bird 編 ~

はじめに 皆さんは,flappy birdをご存知でしょうか? flappy bird とはグエン氏が作成し一日に5000万回以上ダウロードされた人気ゲームアプリです。小鳥を操作して土管などの障害物をよけながら進み、その距離を競います。 参考 : 今回はこのflappy birdならぬ、crappy(くだらない) birdを作成してみたいと思い...
2020.10.29
AI

AIを使ってアンパンマンの正体を探る

アンパンマンは何者? 日本国民であれば誰もが知っているであろうあの人気キャラクター。 しかし、年齢などその素性はよくわかりませんね。 今回はそんな彼の正体を暴いてみました。 どうやって? 今回の調査にあたってNTTグループが開発している自然言語処理技術である、 COTOHA API を利用しました。COTOHA APIの ユーザ属性推定(β) では文章から年代や職業...
2020.10.29
Python

PythonでWebスクレイピングツールを自作してみる➀

初心者が始めてPythonでスクレピングツールを作成しました。その時の手順や調べたことをまとめつつ、初めての方がPythonで簡単なスクレピングwebアプリケーションの作成ができるようになること目的としてます。
2020.10.29
AWS

AWS ソリューションアーキテクト-アソシエイト(SAA-C02)分野1 用語確認

AWS ソリューションアーキテクト-アソシエイト(SAA-C02)の試験範囲は下記4つの分野から構成されているわけですが、分野ごとに出てくる用語の意味を今一度確認してみたいと思います。(自分用まとめを兼ねて) 分野試験の比率 分野1: レジリエントアーキテクチャの設計 30% 分野2: 高パフォーマンスアーキテクチャの設計 28% 分野3: セキュアなアプリケーションとアーキテクチャの設計...
2020.10.29
AWS

AWS ソリューションアーキテクト アソシエイト 受験

本日、ソリューションアーキテクトアソシエイトの試験を受験しました。 結果は不合格でした。やっちまいました。 スコア700点でした。合格が720点なので約2問足りない結果でした。 勉強期間はおよそ2週間ほどでした。 学習材料 下記、学習材料です。 ・これだけでOK! AWS 認定ソリューションアーキテクト – アソシエイト試験突破講座(初心者向け22時間完全コ...
2020.10.29
Scraping

MySQL環境構築

この記事は 「PythonでWebスクレイピングツールを自作してみよう」の続きです。 MySQLとは MySQLとはデータを管理するデータベースシステムのことです。無料で使うことができます。 今回作成するWebスクレイピングツールでは、スクレイピングした時間、スクレイピングしたキーワード、スクレイピングした記事のURL、タイトルをデータベースに保存します。 データ...
2020.10.29
タイトルとURLをコピーしました