GLAM-massalatausprojekti
GLAM-massalatausprojekti GLAM Mass Upload Project
(Scroll down for English) Massalatausprojektissa kehitetään työkaluja, joilla kirjastot, museot ja arkistot voivat ladata aineistoja Wikimedia Commonsiin. Wikimedia Suomi ry kehittää metatiedon parannustyökaluja, erityisesti käytettäväksi yhdessä GWToolsetin kanssa.
Kuuluu Wikimedia Suomen ohjelmaan: GLAMLiittyy Wikiprojekteihin: Wikimedia Commons
Toteuttaa ensisijaisesti seuraavaa Wikimedia-säätiön strategista tavoitetta: Improve Content Quality
Websivu: http://artturimatias.github.io/metapipe/
Projektisuunnitelma: https://docs.google.com/document/d/1kd0slAdijzUJaYWvfh68PlH2n5NepJTfjEnftFMivNk/edit#
Kontakti: Susanna Ånäs, Ari Häyrinen
Rahoitus
Projektin esittely
Wikimedian ja Europeanan yhteistyölle on luotu suuntaviivoja äskettäisessä Europeanan Task Forcen muistiossa. Se linjaa yhteistyömalleiksi samat kohteet, mitä hakemuksemme käsittelee: GLAM-organisaatioiden massalataukset Wikimedia Commonsiin ja Wikidatan hyötykäytön. [1] [2]
Lataustyökalu ja Historiallinen Aleksanterinkatu
Wikimedia Suomi on määrätietoisesti pyrkinyt kehittämään Wikimedia-käyttäjille työkaluja, joilla arkistojen ja museoiden Wikimedia Commonsiin avaamia aineistoja voi rikastaa. Wikimaps-projektissa [3] on asennettu MapWarper [4] -ohjelmisto historiallisten karttojen oikaisemista varten Wikimedia-ympäristöön. Olemme aloittaneet työkalukehityksen avoimien kuva-aineistojen metatietojen rikastamiseksi.
Suomessa avatut kulttuurihistorialliset media-aineistot on talletettu pääasiassa Flickriin ja Flickr Commonsiin. Wikimedia Commons on kuitenkin riippumaton ja ei-kaupallinen ympäristö, joka mahdollistaa aineistojen rikastamisen ja hyötykäytön huomattavasti laajemmin kuin Flickr.
Flickriin tallettamisessa on useita ongelmia: Creative Commons -lisenssit eivät ole ajan tasalla, tavallinen käyttäjä ei voi merkitä kuviaan täysin avoimiksi (Public Domain) tai muistiorganisaation alunperin tarjoama rakenteinen metatieto ajetaan pelkkään kuvailukenttään.
Muistiorganisaatiot valitsevat helpommin käytettävän Flickrin, koska Wikimedian massalataustyökalut ovat olleet kehittymättömiä, vaikka halua Wikimedia Commonsin käyttämiseen on. Europeana ja keskieurooppalaiset Wikimedia-organisaatiot ovat yhdessä rahoittaneet työkalukehitystä, jonka seurauksena on syntynyt GLAM-WIKI Toolset [5], massalataustyökalu muistiorganisaatioille.
Työkalu aineistolatausten metatietojen parantamiseen
Ari Häyrinen on kehittänyt työkalua [6] Wikimedia Suomessa täydentämään GWToolsetiä.WMFI:n työkalun avulla voidaan parantaa metatietoa ennen latausta. Flickrin kuvailukentästä voidaan etsiä kuvassa esiintyviä henkilöitä, liittää nimiä Wikipedia-artikkeleihin ja Wikidatan tietoihin. Päivämääräkenttiin saadaan laitettua kuvaan liittyviä päivämääriä latausajankohtaa kuvaavan päivämäärän sijaan. Tavoitteena on rakenteistaa metatietoa niin paljon kuin mahdollista ennen latausta ja liittää tiedot kaikkeen saatavilla olevaan Wikimediatietoon.
Miksi Wikimedia Commonsiin vieminen kannattaa, ja miksi metadatan täytyisi olla hyvää? Aineistojen vieminen Wikimediaan parantaa niiden näkyvyyttä. Keskeisessä asemassa on aineistojen liittäminen sopiviin artikkeleihin kaikenkielisissä Wikipedioissa. Jotta Wikimedian vapaaehtoiset voivat löytää aineistot, niiden täytyy olla helposti löydettävissä ja lajiteltuina sopiviin sisältöluokkiin. Tarkkojen metatietojen kautta kuvia tai karttoja voidaan yhdistää niiden tekijöihin, paikkoihin tai ajankohtiin. Commonsin kautta kävijät voidaan ohjata alkuperäisten aineistojen äärelle, jolloin museoiden ja arkistojen omat sivut ja kokoelmat saavat kävijöitä. Aineistojen käyttöä Wikipedia artikkeleissa voidaan seurata erilaisten työkalujen avulla. APIen kautta aineistoja voidaan käyttää erilaisissa applikaatioissa.
Demo: Historiallinen Aleksanterinkatu
Aloitimme #Hack4FI:n yhteydessä järjestetyssä Wiki Loves Maps seminaarissa ja hackathonissa demoprojektin Historiallinen Aleksanterinkatu. Tavoitteenamme on julkaista Wikimedia Commonsissa historiallisia kaupunkikuvia Helsingistä ja luoda niistä historiallinen street view -näkymä. Luomme menetelmän, jossa aineisto ladataan lataustyökalullamme Wikimedia Commonsin lisäksi palveluihin Ajapaik [7] ja Mapillary [8]. Virolainen Ajapaik on pelillinen ympäristö vanhojen valokuvien kuvauspaikkojen määrittelyyn. Ruotsalainen Mapillary kokoaa käyttäjien lähettämistä valokuvista avoimen aineiston street view -näkymän.
Tuloksena on historiallisista kuvista koostuva katunäkymä Mapillaryssä. Historiallista katunäkymää voi tarkastella myös jokaisen siihen kuuluvan kuvan Wikimedia Commons -sivulla. André Costa (Wikimedia Sverige) esitteli Wiki Loves Maps hackathonissa[9] lisäosan Mapillary-kuvien näyttämiseen Commonsissa. Voimme mahdollistaa paikantamattomien kuvien paikantamisen lisäämällä kuvien yhteyteen linkin, joka vie näihin palveluihin.
Tuotokset
Lataus- ja metadatan rikastamistyökalu
- Käyttöönotto Wikimedia Labsissä
- Uudet ominaisuudet
- Käyttäjätestaukset muistiorganisaatioiden ja Wikimedian vapaaehtoisten kanssa
- Parannettu käyttöliittymä
- Ohjeistusdokumentaatio
Historiallinen street view
- Demo Signe Branderin ja I.K. Inhan kuvien avulla
- Latausmahdollisuus Ajapaikiin ja Mapillaryyn
- Gadget, jonka avulla voi lähettää kuvia Wikimedia Commonsista paikannettavaksi
Lataustyökalun ominaisuudet
- Lukee useista eri lähteistä: Finna, Flickr, OAI-PMH. Muita voidaan lisätä tarpeen mukaan.
- Rakenteisen tiedon poimiminen tekstistä: päivämäärät, ihmiset, paikkatieto, tekotapa...
- Metatiedon formatointi Wikimedia Commonsiin sopivaksi
- Linkitys Wikimedia Commonsin luokkiin, Wikidatan tietoihin ja Wikipedia-artikkeleihin.
- Tuki useille tietotyypeille: kartat, maalaukset, valokuvat jne.
- OAuth-kirjautuminen tarvittaessa
- xml-tiedoston tuottaminen GWToolsetille
- Lataus muihin palveluihin
Aineisto
- I. K. Inha Helsinki-kuvat, Valokuvataiteen museo
- Signe Brander -kuvat, Helsingin kaupunginmuseo
- Kaikki muut saatavilla olevat avoimet aineistot voidaan siirtää Wikimedia Commonsiin
Aikataulu
| Q1 Heinä - syyskuu 2015 | Q2 Loka - joulukuu 2015 | Q3 Tammi - maaliskuu 2016 | Q4 Huhti - kesäkuu 2016 |
|---|---|---|---|
|
|
|
|
Logic model
| Input | Output | Outcome | |||
|---|---|---|---|---|---|
| What we invest | What we do | Who we reach | Short term | Medium term | Long term impact |
| Technical assistants time | Develop a metadata enhancement tool to work together with the GLAM-Wiki Toolset. | GLAMs, GLAM coordinators, GLAM oriented volunteers. | Make quality mass uploads easier. | Participate in the development of a workflow from an archive to the open. | Make available collections of cultural heritage in the global volunteer environment. It will allow the reciprocal and collaborative research between the organizations and the individual researchers (volunteers/hobbyists...) |
Project description in English
The collaboration of Wikimedia and Europeana has been outlined in a recent Europeana Task Force memo. It frames the same activities as collaboration models as what this application deals with: GLAM mass uploads to Wikimedia Commons and taking advantage of Wikidata for cultural data. [1] [2]
Upload tool and Historical Aleksanterinkatu
Wikimedia Finland has systematically aimed to provide users with tools to enrich materials opened by archives and museums. In the Wikimaps project [3] the MapWarper tool [4] for rectifying historical maps has been installed in the Wikimedia context. We have started development for enriching open image materials.
The cultural historical materials opened in Finland have primarily been uploaded to Flickr and Flickr Commons. Wikimedia Commons is however an independent and non-commercial environment that allows materials to be enriched and utilized much more openly compared to Flickr.
Contributing to Flickr has several problems: Creative Commons licenses are not up-to-date (at the time of writing) and the rich metadata of the memory organization is squeezed into a mere description field.
The memory organizations choose the easier-to-use Flickr, because Wikimedia upload tools have been underdeveloped, even though there is willingness to use Wikimedia Commons. Europeana and Central European Wikimedia organizations have together funded tools development for GLAM-WIki Toolset [5], a mass upload tool for memory organizations.
A tool for cleaning and enriching mass upload metadata
Ari Häyrinen has developed a tool in [6] Wikimedia Finland to complement GLAM-Wiki Toolset. With the WMFI tool it is possible to enhance metadata before upload to Wikimedia Commons. For example, it is possible to tag persons in the Flickr description field's text, link names of people or places into their corresponding Wikimedia entries. Dates can be refined to regföect the time of the image rather than the time of upload. The goal is to structure metadata as much as possible before upload and link to all available data in Wikimedia.
Why is it beneficial to upload to Wikimedia Commons and why does metadata need to be good? Making content available in Wikimedia makes them available and visible to large audiences. It is essential to add materials to Wikipedia articles in Wikipedias of different languages. In order for the Wikimedia volunteers to find the available materials, they need to be easily found and categorized in suitable content categories. Through metadata images or maps van be connected with their makers, places or events. Through Commons visitors can be directed to original sources, which in turn brings visitors to museums' and archives' own sites. The usage of the content in Wikipedia articles can be tracked with different tools. Through APIs the content can be used in applications.
Demo: Historical Aleksanterinkatu
We initiated the demo project for Historical Aleksanterinkatu in the Wiki Loves Maps hackathon [9] organized in the context of the #Hack4FI hackathon. Our goal is to publish historical images of Helsinki and create a historical street view. We are creating a work flow to upload material with our tools to Ajapaik [7] and Mapillary [8] in addition to uploading to Wikimedia Commons. The Estonian Ajapaik is a gamified environment to define shooting locations of old images. Mapillary is a Swedish service to create a crowdsourced street view of open user submitted images.
The result is a street view consisting of historical images in Mapillary. The historical street view should also be viewable on each file page in Commons that constitute the street view. André Costa (Wikimedia Sverige) presented a gadget to display Mapillary images in Commons in the Wiki Loves Maps hackathon. We can enable geolocating Commons images by adding a link to these services in Wikimedia Commons.
Output
Metadata enhancement tool
- Deployment in Wikimedia Labs
- New features
- User testing with memory organizations and Wikimedia volunteers
- Enhanced UI
- Documentation
Historical street view
- Demo with Signe Brander and I. K. Inha images
- Allowing upload to Ajapaik and Mapillary
- Gadget in Wikimedia Commons to send images to these environments to be geolocated
Metadata enhancement tool functionalities
- Input several sources: Finna, Flickr, OAI-PMH. Others can be added based on demand.
- Picking structured data from the text: dates, people, geodata, technique...
- Formatting metadata for Wikimedia Commons
- Linking to Wikimedia Commons categories, Wikidata items and Wikipedia articles
- Support for several media types: maps, paintings, photographs etc.
- OAuth authentication if needed
- Producing xml for the GWToolset
- Upload to other services
Pilot project content
- Photographs of I. K. Inha from Helsinki, Museum of Photography
- Photographs of Signe Brander, Helsinki City Museum
- Any other available material can be uploaded to Wikimedia Commons using this tool combination
Schedule
| Q1 July - September 2015 | Q2 October - December 2015 | Q3 Janualy - March 2016 | Q4 April - June 2016 |
|---|---|---|---|
|
|
|
|
Logic model
| Input | Output | Outcome | |||
|---|---|---|---|---|---|
| What we invest | What we do | Who we reach | Short term | Medium term | Long term impact |
| Technical assistants time | Develop a metadata enhancement tool to work together with the GLAM-Wiki Toolset. | GLAMs, GLAM coordinators, GLAM oriented volunteers. | Make quality mass uploads easier. | Participate in the development of a workflow from an archive to the open. | Make available collections of cultural heritage in the global volunteer environment. It will allow the reciprocal and collaborative research between the organizations and the individual researchers (volunteers/hobbyists...) |
Viitteet
- ↑ 1,0 1,1 http://pro.europeana.eu/blogpost/new-recommendations-outline-ways-to-strengthen-europeanas-future
- ↑ 2,0 2,1 https://meta.wikimedia.org/wiki/File:Europeana_Wikimedia_Taskforce_Report_2015.pdf
- ↑ 3,0 3,1 http://wikimaps.wikimedia.fi/
- ↑ 4,0 4,1 http://warper.wmflabs.org/
- ↑ 5,0 5,1 https://commons.wikimedia.org/wiki/Commons:GLAMwiki_Toolset_Project
- ↑ 6,0 6,1 http://wikihacks.opendimension.org/flickr2gwtoolset/
- ↑ 7,0 7,1 http://ajapaik.ee/
- ↑ 8,0 8,1 http://www.mapillary.com/
- ↑ 9,0 9,1 http://wikilovesmaps.wikimedia.fi/2015/02/20/thank-you/