新規ツイートの取得を再開しました!取得再開にはログインが必要です。APIの仕様変更の影響でツイートの記録を停止しています。記録を再開するには、Twilogにログインしてください。その間NPOやってたり。得意分野はシステム管理とか情報セキュリティとかデジタルフォレンジックとか情報教育とかですがICTだいたいどこにでも突っ込みます。私のつぶやきは組織の公式見解とは無関係です。何十万とページがあるサイトを静的に取得する作業は意外と大変で特に網羅性が求められるときには結局「本当にこれで全ページ取れたか」「逆に無駄に同一ページや(カレンダーのような)自動生成される無意味なページを取っていないか」の確認で死ぬのでCMSにそんな機能が欲しくなるのです。いやーでかいサイトのスクレイピングって終わりません。CMSが無限にURL自動生成してリンク先が収束しない例がアチコチでて例外対応で死ぬ。あとJavaScript絡みのリンクはwgetで取得できない。Uehara@tetsutalow”ユーザーの皆様のコンテンツへのアクセスを確保するため、リダイレクトの追加対応を早急に進めてまいります。良く見たらCloudFlaire使ってるので、これちゃんと使いこなせる業者ならURL書き換えできますね。Redirectの性能は言い訳に出来ませんね。移行作業と運用の業者が違うのかも知れませんけど、連携したらちゃんと出来る話なのになぁ。今回はあたらないかもしれませんがもっと辛いのは「旧サイトのURLを全部維持せよ」ってやつで、これだとそれこそURLにプリフィックスつけて旧URLは旧コンテンツ維持したサーバを持って動かし続けることになります。これだとRedirectでCMSが2回動く。Redirectするだけとはいえどうしても性能ペナルティがある。それがアクセス数多いページなら気にすると思います。URLの数によってパフォーマンスが変わるというのは多分正確じゃなくて、旧コンテンツのまま維持するページを新しいCMSで生成する際にちょっとトリッキーなことをやってるので、そういうページをあまり増やすと全体のCMSのパフォーマンスが落ちるのではないかというのがあの記事読んだときの私の想像。以前のCMSが静的コンテンツ簡単に吐いてくれるならそれを吐いてファイルシステムに並べてそういう実装にするんですが、そうじゃなかった場合そう簡単でもないですよ。Uehara@tetsutalow思ったよりちゃんと対応されてたスイマセン。結局は落札後の協議の結果絞らざるを得なかったらしい。どのページを転送対象にするか事前に入札要件に入れてリストを提供するべきなのだけど実際やるのは大変よね。ジャンボフレームもちょっと考えたんですが、L2のパケットがそんな広域に一気に影響するかなぁ?と思ったので、L3じゃないかと思ったのです。滋賀県Webリニューアルでトラブった後にこんな意見交換会が行われたのですがhttps://note.com/hazuijunpei/n/n8557e0b4ed65...この場で私も行きましたがオフレコではかなり厳しい業者側のホンネの意見が飛び交ってました。その中の一つが「蓋を開けたらこの移行は無理って案件が公共案件にはあまりにも多い」です。実際、Web事業者に事前にURL転送の規模が正確に提示されず、見積もりができないまま札入れることって少なくないようです。蓋をあけるととても作業量的に折り合わないことがある。なるとどこかで妥協が入るわけですが、仕様書上の説明ができる範囲で最小限の対応になりがちです。Uehara@tetsutalow...いや他人事ではなく現在進行形で私もトラブルを抱えており。Uehara@tetsutalow役所だと委託先を入札で決める必要があるので以前の経緯を知らない業者が安く札を入れて受注するとトラブルが多い。Uehara@tetsutalow役所のWebリニューアルあるある(IPAは独法だけど)。Webを担当する広報部門がITに弱くて旧URLからの転送とかを要件に書かずに単に旧コンテンツのデザイン刷新として発注しちゃう。滋賀県も2019年にやらかして議会ネタに。Uehara@tetsutalow年度末にでかいの来たなぁ。雰囲気的にはマルウェアっぽいが。いうのって初報の数字530万が一人歩きするけどまだ昨日の話なので後で数字は変わるんじゃないかなとは思う。Uehara@tetsutalowこれが仮に窓口職員のやらかしなら、窓口が非正規だろうが派遣だろうがまず市が謝ります。記者会見で「派遣元をよく指導します」とか言ったら責任逃れかと言われるはず。それがシステムになった途端に「再発防止をさせます」になる。それで世間も納得しちゃう。これ根が深い話だと思います。ASPなので個別の検収はしません。性能保証はJ-LISがするべきなのですがまぁ能力不足ですね...それではあかんやろという話をする機会が今度ありそうなので、しますが。どちらにせよ自治体に当事者意識が必要で、横浜は当事者能力が持てる数少ない自治体なのにちょっと残念でした。Uehara@tetsutalowまぁ、とはいえ横浜は最大自治体だけあってIT人材は結構いる。図体に対して足りてはいないけど。多数の自治体はホント悲惨。良いシステムを見抜く目、小規模なものなら作る技術、自ら運用する体力、みな足りてない。バグりにくい設計を上流でちゃんと考えてあげることと、あと実装の品質管理はレビュー体制でがんばることでしょうかねぇ。王道はないけど最近はプログラミングフレームワーク選択の時点でだいぶリスクが減らせる気はしてます。Uehara@tetsutalow横浜市は日本最大人口の基礎自治体なのでそれにあわせて作るべきなんだけど足りてなかったみたいね。横浜が事業者の名を出してないのは偉いけど再発防止としてまず市が何するかに言及すべきでは?検収体制とか。Uehara@tetsutalow単純キューか...ロックファイルで排他制御してはいたが、ファイル生成がタイムアウトしちゃってロックを解放しちゃったのでファイル送信プロセスが次のファイルを掴んじゃったのね。ID打てばいいだけなのに。Uehara@tetsutalowこの説明は技術者にはすぐわかるんだけど普通の人には判らない。普通の人の主観では「人違いが生じた=マイナンバーカードは確実な個人認証とはいえない」と誤解してしまう。ないことをちゃんと言ってよ。いずれにせよ認証機構の問題ではないということを富士通がはっきりさせてくれないと、マイナンバーカードの信用問題になります。利用者の主観的には個人認証に誤りがあったようにしか見えないので。Uehara@tetsutalowまずこの仕組みにはマイナンバーどこにも出てきません。使ってるのはJPKIだけ。JPKIのシリアル番号は使ってるかもしれません(もちろんユニークIDだが5年ごとに変わる)。タイムアウト処理不備か排他制御漏れあたりじゃないかなとは思うんですけど。批判したい人のネタに使われるだけなのでほんと勘弁してほしい。ほんと凡ミスっぽいので、JPKI本体には無関係だと思います。Uehara@tetsutalowコンビニ交付ってセンターで印刷イメージつくってそれを送る仕組みなので、間違って他の人のイメージを送っちゃったんじゃないのかね。高負荷でファイル生成失敗したのに気づかず、かつ排他制御がダサくて直前の人のファイルがまだ残っててそれをそのまま送っちゃったとかね。Uehara@tetsutalowこれすぐ直ったってことは簡単にわかる程度の凡ミスなんだろうけど詳細公開してくれないかな。原因ちゃんと公開してくれないとマイナンバーカードの信用に関わるんですが。