前書き Scalaは標準でXPathっぽくXMLを扱う機能が用意されている。ので、Webスクレイピングという用途にはわりと向いていると思う。 フルセットのXPathのような多様な指定ができるわけではないので、専用のライブラリを使った方がかゆいところに手は届く部分も多いけど、細かいライブラリの
8 Dec 2018 sbt file, sbt will use default values to still build or source code. When we as developers do not state otherwise (in the build.sbt file for example), sbt assumes that there is only a single project to 2016年5月19日 File, PrintWriter} import scala.io.Source import org.apache.spark.rdd. ダウンロードした評価データの中で，"family"というセクションに含まれる評価事例を抜き出してファイルに保存せよ． 問題文の単語 fromURL(URL).getLines. これまでに当サイトに投稿してきた全ての予測情報を一括でダウンロードしCSVファイルに変換するScalaスクリプトを公開します。 にて動作確認済みです（Scalaインタプリタのダウンロードはこちらからどうぞ）。 import scala.xml.XML import scala.io.Source import java.lang.Thread import java.io. val url = "http://stockedge.jp/blog-entry-" + i + ".html" println("download " + url) val lines = Source.fromURL(url, "UTF-8"). openStream(), "UTF-8").useDelimiter("\\A")) { System.out.println("My current IP address is " + s.next()); } catch (java.io. Scala. val addr = scala.io.Source.fromURL("https://api.ipify.org").mkString println(s"My public IP address is: $addr") This PDF file contains pages extracted from Pragmatic Scala, published by the. Pragmatic s"$symbol&a=11&b=01&c=$year&d=11&e=31&f=$year&g=m" val data = io.Source.fromURL(url).mkString val price = data.split("\n")(1).split(",")(4). The source code for the examples in the book is available for download from the publisher's website at www.manning.com/ScalainAction. Listing 1.7 Counting the number of lines in a file in Scala val src = scala.io. fromURL(new java.net.
これはscala.io.Source.fromURLとjava.io.FileWriterによるscala.io.Source.fromURLな fileDownloader関数を使ってファイルをダウンロードする *2: scala.io.Source.までの入力保持されるんで実際入力するのは"fromURL"だけですけど xuwei 2010-10-21 04:58 scala勉強会8回 のこととか Source // The string argument given to getResource is a path relative to // the resources directory. val source = Source. fromURL (getClass. getResource ("/data.xml")) もちろん、 source は通常のScala IOオブジェクトにすぎないので、コンテンツを読み込んでテストデータとして使用するなど、必要な 複数のWebコンテンツ（HTMLや画像など）をダウンロードする際に 1件ずつ処理していたのでは非効率です。 というわけで、並列的にWebコンテンツをダウンロードするプログラムを Groovy, Scala, C#, Java, Ruby で実装してみました。 パッケージを使用すれば Scala のインストールが容易ですが、若干バージョンが古いです。そこで、最新のアーカイブファイルをダウンロードしてインストールしてみました。（当方は普段は Scala を使用しませんが、ベンチマーク比較用として環境を用意しておく必要がでてきたため） 前回（id:fits:20110925）、並列コレクション等で Web コンテンツをダウンロードする処理を実装してみましたが、今回はその非同期処理版を Groovy, Scala, F# で実装してみました。（主な仕様は前回と同じ） 実行例 groovy async_download_web.groovy destdir < urls.txt今回、非同期処理のために使用した機能は以下の
Scala began life in 2003, created by Martin Odersky and his research group at EPFL, next to Lake Geneva and the Alps, in Lausanne, Switzerland. Scala has since grown into a mature open source programming language, used by hundreds of thousands of developers, and is developed and maintained by scores of people all over the world. H:\temp\scala>java -jar "target/scala-2.10/Hello World-assembly-1.0.jar" Hello Java. ちゃんと、scalaからjavaを呼べている。 target\scala-2.10\classes を確認すると、javaのソースもscalaのソースもclassファイルが生成されている。 エラーと対処方法 scalaのみの時の sbt assembly で失敗 エラー 株のポジション管理を出来るようにしたいと思っています 大分放置してしまいましたが、ちょっとずつ再開します。 まずは銘柄一覧をブラウザから見えるようにします。 が、いつも通りここは Scalaでやります。 使用しているWildFlyは、8.2.0.Finalです。sbtでやっているので、 WildFlyは自分でダウンロードしたものを使いました。 io#47 by @Duhemm on behalf of The Scala Center. IO.copyFile と IO.copyDirectory に sbt.io.CopyOptions() を受け取るバリエーションを追加した。(詳細は以下の項目) Path.directory と Path.contentOf を sbt-native-packager から寄付してもらった。 io#38 by @muuki88
「Apache Hadoop」の主要技術① 分散ファイルシステム「HDFS」 概要 「Hadoop分散ファイルシステム(HDFS：Hadoop Distributed File System)」は、「分散」「スケーラブル」「ポータブル」を実現し非常に大きなファイルを確実に保存できるように、Hadoop独自の分散ファイルシステムとして設計されています。 Amazon S3にGUI･CLIでファイルをアップロード・ダウンロードする方法. 2018年05月21日 記事 加藤 諒; 17 【論文紹介】YOLOの論文を読んだので要点をまとめてみた. 2018年07月29日 記事 yoshim; 47 テキストファイルの読み込み. テキストファイルを読み込むにはfromFile()メソッドを使用する。（Scala2.8） import scala.io.Source val s = Source.fromFile("C:/temp/abc.txt") try { for (line <- s.getLines) { println(line) } } finally { s.close }. fromFile()の第2引数 2011年12月30日 からjpg画像を一括ダウンロードし "data/(画像のURLの最後の/以下)"というファイル名で保存しようと思います。 別にdispatchでなくてもscala標準のscala.io.sourceでもできるし、scalaj.httpとかJavaのHttpClientでもなんでもできますが、dispatchを fromFileとかfromURLとかやってあとはread/writeすればいいかんじです。 2009年10月27日 scala.io.Sourceオブジェクトを使います。scala2.7系のSourceには、内部で保持してるInputStreamをcloseできないバグがありますがちょっとした処理なら気にせず使ってしまえ! Source#fromFile( filename )でファイルからも読み込めますよ!
