Eine persönliche Suchmaschine

nr-Jahreskonferenz 2013
SearchEngine
#nr13 #yacy
Eine persönliche Suchmaschine
Eigene und fremde Datenbestände
durchsuchbar machen mit YaCy
Michael Christen, mc@yacy.net, @yacy_search
Netzwerkrecherche Jahreskonferenz
14.06.2013
NDR Fernsehen, Hamburg
Plan Vortragsablauf
•
•
•
•
Wie funktionieren Suchmaschinen
eigentlich? Was bedeutet das?
Kann ich sowas selber machen? Ist
das dann besser?
Datenakquise mal ganz anders
(Piratebox und noch mehr Spass)
Live-Demo mit Nachmachenfunktioniert-Garantie!
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Plan Details zur Demo
1. Persönlicher Nachrichtendienst
2. Dinge finden, die andere Suchmaschinen
nicht finden (wollen/können)
3. Fremde Webserver durchstöbern
4. Fremde Dateisysteme durchstöbern!
5. Verlinkungsstrukturen visualisieren
6. Plagiate entdecken!
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Verschlagwortung
Suchlog,
Stammdaten etc.
User Data
Suchserver
Werbung
RSS Feeds,
etc.
Webseiten
Wissen wie Suchmaschinenportale funktionieren
Admin
Kontrolle
Suchseite
Websuche
Alerts
Bilder/Medien
Navigation
Ranking
(nach
Anmeldung)
User
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Account
History
Michael Christen
mc@yacy.net, http://yacy.net
Verschlagwortung
zensierte Daten
andere Suchserver
eigene
Daten
Suchserver
andere Protokolle
(z.B. FTP) oder
andere Dateitypen
(z.B. torrent)
RSS Feeds,
etc.
Webseiten
Realität selbstgemachte Suchmaschine
Verschlagwortung
Suchseite
Websuche
Anonymität
Alerts
Bilder/Medien
Navigation
Ranking
User
Admin
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
(persönlicher
geheimer
Nachrichtendienst)
File Browser
Downloader
Zitierungen
Analysen
Michael Christen
mc@yacy.net, http://yacy.net
Suchmaschinennetz Community aus Suchmaschinen
Sie besitzen den Suchserver
..und verbinden ihn mit den anderen..
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Suchmaschinennetz Peer-to-Peer Suchmaschine YaCy
Ein Verbund aus privaten Such-Peers
formt eine dezentrale P2P Suchmaschine
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Peer-to-PeerSuche
den Suchindex
mit anderen
teilen
Das YaCy ,freeworld‘ Netz
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Peer-to-PeerSuche
den Suchindex
mit anderen
teilen
Das YaCy ,freeworld‘ Netz
> 1 Milliarde Dokumente, ca. 500 Nutzer/Tag
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Zensur
überwinden
was man nicht
findet existiert
nicht!
Google ,Transparenzbericht‘
http://www.google.com/transparencyreport/removals/government/
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Zensur
überwinden
was man nicht
findet existiert
nicht!
Google ,Transparenzbericht‘
http://www.google.com/transparencyreport/removals/copyright/?hl=de
n
e
n
o
i
!
l
t
l
i
a
n
M
o
16 s / M
L
R
U
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Zensur
überwinden
was man nicht
findet existiert
nicht!
Google ,Transparenzbericht‘
http://www.google.com/transparencyreport/removals/copyright/?hl=de
e
n
i
e
h
e
c
t
i
s
l
i
t
l
n
k
e
n
i
g
i
L
e
e
n
ö
h
sc
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Anonymität
InformationsSuche braucht
Unbefangenheit
Google ,Transparenzbericht‘
http://www.google.com/transparencyreport/userdatarequests/?hl=de
Auskunftsersuchen nach Berichtszeitraum
Larry Page nach ,Prism‘
http://googleblog.blogspot.de/2013/06/what.html
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Anonymität
InformationsSuche braucht
Unbefangenheit
Google ,Transparenzbericht‘
http://www.google.com/transparencyreport/userdatarequests/
countries/?t=table&p=2012-12
Auskunftsersuchen von Strafverfolgungsbehörden im Zeitraum Juli-Dezember 2012
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Anonymität
InformationsSuche braucht
Unbefangenheit
YaCy ,Stealth Mode‘
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
YaCy im ,Portalmodus‘
ohne Peer-to-Peer Netz ein eigenes Suchportal errichten
Suchmaschine
Vernetzung von
Create / Share
verschiedenen Quellen
Produktion
Dokumente
Projektsteuerung
Versionskontrolle
Discussion
Bugtracker
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Pr
e
h
uc
s
t
k
oj e
(micro)Blogging
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
YaCy im ,Portalmodus‘
ohne Peer-to-Peer Netz ein eigenes Suchportal errichten
Suchmaschine
Vernetzung von
verschiedenen Quellen
s
e
i
nit
u
m
m
o
C
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
Johannes Gutenberg Uni Mainz
‘YaCy-Appliance‘ für die Universität: http://www.uni-mainz.de
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
Karlsruhe Institut für Technologie
‘YaCy-Appliance‘ für die Universität: http://www.kit.edu
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
Verwaltungssuchmaschine NRW
‘YaCy-Appliance‘ für NRW: http://vsm.d-nrw.de
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
YaCy im ,Portalmodus‘
ohne Peer-to-Peer Netz ein eigenes Suchportal errichten
n
e
t
h
c
Vernetzung von verschiedenen Quellen
i
r
h
c
e
a
h
NachrichtenForen
Blogs+Tweets
N Suc
Portale
g
e
l
g
e
n
B i eru
v
i
h
c
r
A
e
n
e
i
s
l
s
f
Of gebni
r
e
h
c
Su
Suchmaschine
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
eigene und
fremde
Datenbestände
YaCy im ,Portalmodus‘
ohne Peer-to-Peer Netz ein eigenes Suchportal errichten
Suchmaschine
Vernetzung von
Ausschreibungen
verschiedenen Quellen
Jobportale
Rechtsfragen
e
h
c
u
s
Job
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Nachrichtendienste
automatisches
Suchen ohne
Suchananfrage
Funktionsweise:
• Jede Suche kann ein RSS Nachrichtenstrom sein
• Suchergebnisse können nach Aktualität geordnet werden
• Suchergebnisse können automatisch weiterverarbeitet
werden (RSS Reader, Alerts, u.s.w.)
Vorteile im Unternehmen:
• Zeitnahe Reaktionsfähigkeit
• Alerts für Aktivitäten der
Mitarbeiter (im Intranet)
• Alerts für Aktivitäten der
Konkurrenz (im Einsatz in
einer Websuche)
Beispiel: Ausschreibungssuche
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
SEO & WebAdmin Tools
fremde Server
durchstöbern und
Strukturen
analysieren
Funktionen:
• Die Datenstruktur fremder Server durchstöbern und
Strukturen analysieren
• Tote Links aufdecken
• Visualisierung von Verlinkungsstrukturen
• Durchsuchbarkeit des eigenen Webauftritts testen
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Zitate und
Plagiate
Text-Übereinstimmungen
autom. finden
Zu jedem Suchtreffer die
zitierenden Quellen finden
Treffer zu:
http://www.welt.de/vermischtes/article116900466/Flut-hat-in-Passau-800-Haeuser-beschaedigt.html
findet in:
http://localhost:8090/api/citation.html?hash=6A65RsaCJDpA
22 identische Sätze in:
u
z
n
e
d
r
n
i
e
f
f
f
e
e
t
r
a
Zi t d e m T
je
http://www.focus.de/panorama/welt/tid-31632/live-ticker-zum-hochwasser-flutwelle-rollt-gennorden-bitterfeld-evakuiert-zehntausende-menschen-fliehen_aid_1005595.html
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Finden was
andere nicht
finden (können)
z.B. öffentl. FTP
Server, torrents
Suchergebnisdarstellung:
• mehr Suchinterfaces: nicht nur 'übliche' Websuche,
sondern auch GSA-Interface, RSS-Nachrichten, File-Suche,
Opensearch, JSON, XML, native Solr-Interface
• Facetten zu Hosts, Zeit, Dateitypen, Autoren, Protokoll
ftp://
smb://
?
...
.torrent
• Benutzergenerierte Suchfacetten über Vokabularien
• nicht ausschließlich http(s), auch ftp + SMB-Shares
Harvester, Datenakquise:
• Parser: ,unübliche‘ Formate (z.B. torrents), Anpassung an
spezielle Unternehmensdaten möglich
• Skalierbarkeit durch Vernetzungsfähigkeit
• besseres Timing: Individueller Crawler-Scheduler
• Vielfältiges Harvesting: Crawler, Intranet-Scanner, sitelist,
RSS feed import, OAI-PMH Import, mediawiki-Dump u.s.w.
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Intranet- und
Filesuche
Konsolidierung
der Datenablage
(ftp/smb-Suche)
Y
R
A
C
S
G
N
I
R
A
H
S
T
I
SH
Mac : Finder-⇧⌘K
YaCy: Portscanner!
s
e
l
l
a
!
n
x
n
e
a
d
d
n
i
d
h
n
c
..u en Su
d
n
i
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
persönliche
Suchmaschine
Nachrichtendienste
SEO & WebAdmin Tools
eigene und
fremde
Datenbestände
fremde Server
automatisches
durchstöbern und
Suchen ohne
Strukturen
Suchananfrage
analysieren
Zitate und
Plagiate
Intranet- und
Finden was
Filesuche
andere nicht
Text-Überein- finden (können) Konsolidierung
stimmungen
z.B. öffentl. FTP der Datenablage
autom. finden Server, torrents (ftp/smb-Suche)
Zensur überwinden
was man nicht findet existiert nicht!
Anonymität
Informations-Suche braucht Unbefangenheit
Eine persönliche Suchmaschine @ Netzwerkrecherche Jahreskonferenz
NDR-Fernsehen, Hamburg 14.06.2013
Michael Christen
mc@yacy.net, http://yacy.net
Vielen Dank fürs Zuhören!
SearchEngine
Dipl. Inf. Michael Christen
mc@yacy.net
http://yacy.net
Twitter @yacy_search
QR-Code: vCard
Download
http://yacy.net
Development
https://gitorious.org/yacy
Community & Discussion
http://forum.yacy.de
Bugs
http://bugs.yacy.net
News
Documentation
http://twitter.com/yacy_search http://wiki.yacy.net
http://yacy-kochbuch.de
Dienstleistungen + Beratung
http://pro.yacy.net