Skip to content

Commit

Permalink
Merge branch '611-journals' of https://github.com/hbz/nwbib
Browse files Browse the repository at this point in the history 
Resolves #611

See https://nwbib.de/journals
  • Loading branch information
@fsteeg
fsteeg committed Jan 30, 2024
2 parents cb222a0 + e46b714 commit 0e0266c
Show file tree
Hide file tree
Showing 6 changed files with 152 additions and 651 deletions.
1 change: 0 additions & 1 deletion .gitignore
View file
Original file line number Diff line number Diff line change
Expand Up @@ -25,4 +25,3 @@ conf/qid-query.csv
conf/700n-import.jsonl
conf/700n-import.zip
conf/700n-import*.txt
conf/nwbib-journals-new.csv
68 changes: 46 additions & 22 deletions app/controllers/nwbib/Application.java
View file
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,6 @@

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.UnsupportedEncodingException;
import java.net.URL;
import java.net.URLEncoder;
Expand All @@ -29,9 +28,7 @@
import java.util.stream.StreamSupport;

import org.apache.commons.lang3.tuple.Pair;
import org.elasticsearch.common.base.Charsets;
import org.elasticsearch.common.geo.GeoPoint;
import org.elasticsearch.common.io.Streams;

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
Expand All @@ -40,7 +37,6 @@

import controllers.nwbib.Classification.Type;
import play.Logger;
import play.Play;
import play.cache.Cache;
import play.cache.Cached;
import play.data.Form;
Expand Down Expand Up @@ -320,26 +316,54 @@ public static Result register(final String t) {

/**
* @return A list of nwbib journals
* @throws IOException If reading the journals list data fails
*/
@Cached(key = "journals", duration = ONE_DAY)
public static Result journals() throws IOException {
try (InputStream stream = Play.application().classloader()
.getResourceAsStream("nwbib-journals.csv")) {
String csv = new String(Streams.copyToByteArray(stream), Charsets.UTF_8);
List<String> lines = Arrays.asList(csv.split("\n"));
List<HashMap<String, String>> maps = lines.stream()
.filter(line -> line.split("\",\"").length == 2).map(line -> {
HashMap<String, String> map = new HashMap<>();
String[] strings = line.split("\",\"");
map.put("label", strings[0].replace("\"\"", "'").replace("\"", ""));
map.put("value", strings[1].replace("\"", ""));
return map;
}).collect(Collectors.toList());
String journals = Json.toJson(maps).toString();
return ok(browse_register.render(journals, "Zeitschriften",
"Zeitschriftenliste filtern"));
}
public static Promise<Result> journals() {
WSRequest requestHolder = WS.url(Application.CONFIG.getString("nwbib.api"))
.setHeader("Accept", "application/json")
.setQueryParameter("size", "1000")//
.setQueryParameter("filter",
"inCollection.id:\"https://nwbib.de/journals\"");
return requestHolder.get().map((WSResponse response) -> {
if (response.getStatus() == Http.Status.OK) {
final String label = "label";
List<Map<String, String>> journals = StreamSupport
.stream(Spliterators.spliteratorUnknownSize(
response.asJson().get("member").elements(), 0), false)
.map((JsonNode doc) -> {
HashMap<String, String> journal = new HashMap<>();
journal.put(label, journalLabelFor(doc));
journal.put("value", Lobid.shortId(doc.get("id").asText()));
return journal;
}).collect(Collectors.toList());
Collections.sort(journals, (map1, map2) -> {
return Collator.getInstance(Locale.GERMANY).compare(//
sortValue(map1, label), sortValue(map2, label));
});
return ok(browse_register.render(Json.toJson(journals).toString(),
"Zeitschriften", "Zeitschriftenliste filtern"));
}
Logger.warn("{}: {} ({}, {})", response.getStatus(),
response.getStatusText(), requestHolder.getUrl(),
requestHolder.getQueryParameters());
return internalServerError("Could not load journals");
});
}

private static String sortValue(Map<String, String> map, final String key) {
String value = map.get(key).replaceAll("^(Der|Die|Das|De|Dä)\\s", "");
return Arrays.asList(value.split("\\s")).toString();
}

private static String journalLabelFor(JsonNode doc) {
String other = "otherTitleInformation";
String responsibility = "responsibilityStatement";
String label = doc.get("title").asText();
if (doc.has(other))
label += ": " + doc.get(other).elements().next().asText();
if (doc.has(responsibility))
label += " / " + doc.get(responsibility).elements().next().asText();
return label.replaceAll("^\\.{3}\\s*", "");
}

/**
Expand Down
2 changes: 1 addition & 1 deletion app/views/tags/browse_list.scala.html
View file
Original file line number Diff line number Diff line change
Expand Up @@ -89,7 +89,7 @@
case _ => value
}}">@hits</a>)
}
<span @if(t!="Wikidata"){class='copy-link'}><a data-toggle="tooltip" data-placement="right" title="Identifikator und Bezeichnung in die Zwischenablage kopieren" href="#" onclick="copyToClipboard('@textToCopy', $(this));return false;"><span class="octicon octicon-clippy"></span></a></span>
@if(t!="Zeitschriften"){<span @if(t!="Wikidata"){class='copy-link'}><a data-toggle="tooltip" data-placement="right" title="Identifikator und Bezeichnung in die Zwischenablage kopieren" href="#" onclick="copyToClipboard('@textToCopy', $(this));return false;"><span class="octicon octicon-clippy"></span></a></span>}
<div style="display: none">@normalized</div>
}
@if(t=="Wikidata"){
Expand Down
105 changes: 105 additions & 0 deletions conf/nwbib-journals-missing-in-query.tsv
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,105 @@
title nwbib lobid
ABU-Info https://nwbib.de/99370698631806441 https://lobid.org/resources/99370698631806441
Acta Universitatis Carolinae, Studia territorialia https://nwbib.de/990117495520206441 https://lobid.org/resources/990117495520206441
Annalen des Historischen Vereins für den Niederrhein, insbesondere das Alte Erzbistum Köln https://nwbib.de/99370676441806441 https://lobid.org/resources/99370676441806441
Archäologie in Westfalen-Lippe https://nwbib.de/99370690644406441 https://lobid.org/resources/99370690644406441
Archäologische informationen https://nwbib.de/99370691726306441 https://lobid.org/resources/99370691726306441
Archivar https://nwbib.de/990054090220206441 https://lobid.org/resources/990054090220206441
Archiv für Familiengeschichtsforschung https://nwbib.de/990056380980206441 https://lobid.org/resources/990056380980206441
Archiv für Sozialgeschichte https://nwbib.de/99370699220906441 https://lobid.org/resources/99370699220906441
Archivmitteilungen / Evangelische Kirche von Westfalen, Landeskirchliches Archiv https://nwbib.de/990107734770206441 https://lobid.org/resources/990107734770206441
ATT https://nwbib.de/990206386260206441 https://lobid.org/resources/990206386260206441
Ausgrabungen und Funde in Westfalen-Lippe https://nwbib.de/990054351560206441 https://lobid.org/resources/990054351560206441
Baurecht https://nwbib.de/990054467200206441 https://lobid.org/resources/990054467200206441
Bembix https://nwbib.de/990056195060206441 https://lobid.org/resources/990056195060206441
Blätter für deutsche Landesgeschichte https://nwbib.de/99370686829206441 https://lobid.org/resources/99370686829206441
Cicero https://nwbib.de/99370676097506441 https://lobid.org/resources/99370676097506441
Das Krankenhaus https://nwbib.de/991005934569706485 https://lobid.org/resources/991005934569706485
Denkmalpflege im Rheinland https://nwbib.de/990054887310206441 https://lobid.org/resources/990054887310206441
Der Anschnitt https://nwbib.de/991000037949706469 https://lobid.org/resources/991000037949706469
Der Gießerjunge https://nwbib.de/990056188890206441 https://lobid.org/resources/990056188890206441
Der Holter https://nwbib.de/990177585570206441 https://lobid.org/resources/990177585570206441
Der Limes https://nwbib.de/990159617580206441 https://lobid.org/resources/990159617580206441
Der Oberhof https://nwbib.de/990055488070206441 https://lobid.org/resources/990055488070206441
Der Schwammklöpper https://nwbib.de/990055974800206441 https://lobid.org/resources/990055974800206441
Der Städtetag https://nwbib.de/990054090310206441 https://lobid.org/resources/990054090310206441
˜Derœ Weweraner https://nwbib.de/99370698767006441 https://lobid.org/resources/99370698767006441
Deutsche Jugend https://nwbib.de/990053992790206441 https://lobid.org/resources/990053992790206441
Deutsches Verwaltungsblatt https://nwbib.de/990053981780206441 https://lobid.org/resources/990053981780206441
Die beste Zeit https://nwbib.de/990177681160206441 https://lobid.org/resources/990177681160206441
Duisburger Jahrbuch https://nwbib.de/990054453850206441 https://lobid.org/resources/990054453850206441
Einfach Bergisch https://nwbib.de/990228695220206441 https://lobid.org/resources/990228695220206441
Eitorfer Heimatblätter https://nwbib.de/990056355370206441 https://lobid.org/resources/990056355370206441
Ennepetaler Forschungen https://nwbib.de/990056707480206441 https://lobid.org/resources/990056707480206441
Geologie und Paläontologie in Westfalen https://nwbib.de/990052947850206441 https://lobid.org/resources/990052947850206441
Gerrikuss https://nwbib.de/990223568580206441 https://lobid.org/resources/990223568580206441
Geschichte im Bistum Aachen https://nwbib.de/990049189040206441 https://lobid.org/resources/990049189040206441
Geschichte und Gesellschaft https://nwbib.de/990054073200206441 https://lobid.org/resources/990054073200206441
Geschichtsbrief Bedburg-Hau https://nwbib.de/990154002140206441 https://lobid.org/resources/990154002140206441
Grabbe-Jahrbuch ... https://nwbib.de/99370693389606441 https://lobid.org/resources/99370693389606441
Grevener Geschichtsblätter ... https://nwbib.de/990214814330206441 https://lobid.org/resources/990214814330206441
Gutenberg-Jahrbuch https://nwbib.de/990000155420306443 https://lobid.org/resources/990000155420306443
Halterner Jahrbuch ... https://nwbib.de/990056035310206441 https://lobid.org/resources/990056035310206441
Heimatblätter des Rhein-Sieg-Kreises https://nwbib.de/990055215580206441 https://lobid.org/resources/990055215580206441
Heimat- und Rathausspiegel https://nwbib.de/990055484420206441 https://lobid.org/resources/990055484420206441
Heine-Jahrbuch https://nwbib.de/990000155480306443 https://lobid.org/resources/990000155480306443
Hessische Blätter für Volksbildung https://nwbib.de/990000162820306443 https://lobid.org/resources/990000162820306443
Heven, einst und jetzt https://nwbib.de/990054636290206441 https://lobid.org/resources/990054636290206441
Hildener Jahrbuch https://nwbib.de/990054091150206441 https://lobid.org/resources/990054091150206441
Historia https://nwbib.de/990054098920206441 https://lobid.org/resources/990054098920206441
Historisches Jahrbuch Petershagen https://nwbib.de/990119391070206441 https://lobid.org/resources/990119391070206441
Hortus exoticus https://nwbib.de/990155778540206441 https://lobid.org/resources/990155778540206441
Informationen zur Raumentwicklung https://nwbib.de/99370684399706441 https://lobid.org/resources/99370684399706441
Jahrbuch des Bochumer Botanischen Vereins https://nwbib.de/99370682807006441 https://lobid.org/resources/99370682807006441
Jahrbuch des Römisch-Germanischen Zentralmuseums Mainz https://nwbib.de/990054083140206441 https://lobid.org/resources/990054083140206441
Jahrbuch des Zentrums für Niederlande-Studien https://nwbib.de/990055959860206441 https://lobid.org/resources/990055959860206441
Jahresband zum Rathauspark ... https://nwbib.de/990366132290206441 https://lobid.org/resources/990366132290206441
Jahresberichte der Biologischen Station Westliches Ruhrgebiet https://nwbib.de/990136350640206441 https://lobid.org/resources/990136350640206441
Jahreshefte des NABU Bielefeld https://nwbib.de/99371671272106441 https://lobid.org/resources/99371671272106441
Jan Wellem https://nwbib.de/990055221340206441 https://lobid.org/resources/990055221340206441
Jugendhilfe aktuell https://nwbib.de/99370694184106441 https://lobid.org/resources/99370694184106441
Lärmbekämpfung https://nwbib.de/990154409990206441 https://lobid.org/resources/990154409990206441
Maß und Gewicht https://nwbib.de/990055863950206441 https://lobid.org/resources/990055863950206441
Mattenbach-Echo https://nwbib.de/990366755240206441 https://lobid.org/resources/990366755240206441
Militärgeschichtliche Zeitschrift https://nwbib.de/990112889290206441 https://lobid.org/resources/990112889290206441
Militär und Gesellschaft in der frühen Neuzeit https://nwbib.de/99370682246506441 https://lobid.org/resources/99370682246506441
Mitteilungen der Historischen Vereinigung Wesel e.V https://nwbib.de/990053935090206441 https://lobid.org/resources/990053935090206441
Mitteilungen https://nwbib.de/99370688186306441 https://lobid.org/resources/99370688186306441
Mitteilungen / Naturwissenschaftlicher Verein Paderborn e. V https://nwbib.de/99370693112306441 https://lobid.org/resources/99370693112306441
Münster urban https://nwbib.de/990209321080206441 https://lobid.org/resources/990209321080206441
Museumskunde https://nwbib.de/99372012821006441 https://lobid.org/resources/99372012821006441
Natur und Heimat https://nwbib.de/99370691868006441 https://lobid.org/resources/99370691868006441
Natur und Recht https://nwbib.de/990054526810206441 https://lobid.org/resources/990054526810206441
Natur und Umwelt in Siegen Wittgenstein https://nwbib.de/99371383819906441 https://lobid.org/resources/99371383819906441
Naturzeit im Münsterland! https://nwbib.de/99370690527706441 https://lobid.org/resources/99370690527706441
Niederdeutsches Wort https://nwbib.de/990000162410306443 https://lobid.org/resources/990000162410306443
Odenkirchen gestern und heute https://nwbib.de/990188172880206441 https://lobid.org/resources/990188172880206441
ProLibris https://nwbib.de/990000284090306443 https://lobid.org/resources/990000284090306443
Rosenland https://nwbib.de/99370693426606441 https://lobid.org/resources/99370693426606441
Schiffahrt, Hafen, Bahn und Technik https://nwbib.de/990134392230206441 https://lobid.org/resources/990134392230206441
Schlänger Bote https://nwbib.de/990055212880206441 https://lobid.org/resources/990055212880206441
Schola Paulina https://nwbib.de/990055492370206441 https://lobid.org/resources/990055492370206441
Schönes Westfalen https://nwbib.de/990365081900206441 https://lobid.org/resources/990365081900206441
SchuleDigital in NRW https://nwbib.de/990367820130206441 https://lobid.org/resources/990367820130206441
Siedlungsforschung https://nwbib.de/99370696419406441 https://lobid.org/resources/99370696419406441
Sozialer Fortschritt https://nwbib.de/990054053660206441 https://lobid.org/resources/990054053660206441
Speläologisches Jahrbuch https://nwbib.de/990056682570206441 https://lobid.org/resources/990056682570206441
Stahl und Eisen https://nwbib.de/991000038669706469 https://lobid.org/resources/991000038669706469
Statistische Analysen und Studien Nordrhein-Westfalen https://nwbib.de/990110168640206441 https://lobid.org/resources/990110168640206441
Steinfurter Schätze https://nwbib.de/990219387830206441 https://lobid.org/resources/990219387830206441
Steinhagen https://nwbib.de/990055569520206441 https://lobid.org/resources/990055569520206441
Theologie und Glaube https://nwbib.de/99370777677606441 https://lobid.org/resources/99370777677606441
Turn- und Sportgeschichte in Westfalen und Lippe https://nwbib.de/990056421190206441 https://lobid.org/resources/990056421190206441
UrbanLab Magazin https://nwbib.de/99370684274406441 https://lobid.org/resources/99370684274406441
Wimbern https://nwbib.de/990227558270206441 https://lobid.org/resources/990227558270206441
Wirtschaft im Revier https://nwbib.de/990193675270206441 https://lobid.org/resources/990193675270206441
Wirtschaft: Magazin für die Unternehmen in der Region Hellweg-Sauerland https://nwbib.de/99371904318906441 https://lobid.org/resources/99371904318906441
Zeichen der Zeit https://nwbib.de/990166383820206441 https://lobid.org/resources/990166383820206441
Zeithistorische Forschungen https://nwbib.de/99370692989106441 https://lobid.org/resources/99370692989106441
Zeitschrift der Deutschen Gesellschaft für Geowissenschaften https://nwbib.de/991000360949706469 https://lobid.org/resources/991000360949706469
Zeitschrift des Vereins für Hessische Geschichte und Landeskunde https://nwbib.de/99370691458706441 https://lobid.org/resources/99370691458706441
Zeitschrift für Geschichtswissenschaft https://nwbib.de/990054191350206441 https://lobid.org/resources/990054191350206441
Zeitschrift für Kommunalfinanzen https://nwbib.de/99370676744106441 https://lobid.org/resources/99370676744106441
Zeitschrift für öffentliche und gemeinwirtschaftliche Unternehmen https://nwbib.de/990054191680206441 https://lobid.org/resources/990054191680206441
Zeitschrift für Parlamentsfragen https://nwbib.de/990054191740206441 https://lobid.org/resources/990054191740206441
Zeitschrift für Verkehrswissenschaft https://nwbib.de/990054033670206441 https://lobid.org/resources/990054033670206441
Loading

0 comments on commit 0e0266c

Please sign in to comment.