Tools voor learning analytics

Transcription

Tools voor learning analytics
Arnoud Groot (in opdracht van SURF)
Tools voor learning analytics
2013
Brochure samengesteld op basis van de SURFacademy bijeenkomst
“tools voor learning analytics”. Tijdens deze bijeenkomst zijn
leveranciers van diensten op het gebied van learning analytics
uitgenodigd om te presenteren welke diensten zij leveren en hoe deze
aansluiten op de behoeften die leven in het Nederlands hoger
onderwijs. De Brochure dient om een eerste overzicht te geven van
beschikbare tools, en beoogt zeker geen compleet beeld te geven.
Disclaimer: SURF heeft met deze bijeenkomst een podium willen bieden voor mogelijke diensten die
van nut kunnen zijn voor het Nederlands hoger onderwijs, het betreft een momentopname. SURF
beoogt deze lijst NIET te gebruiken als preferred supplier list. Aanbieders van diensten rondom
learning analytics worden als ze niet in deze brochure staan, maar dat wel zouden willen, uitgenodigd
om contact op te nemen met SURF. SURF beoogt op www.surfspace.nl/learninganalytics een meer
dynamisch overzicht te bieden voor beschikbare tools.
2
INHOUDSOPGAVE
Introductie Learning Analytics
4
Blackboard analytics for learn - Blackboard
5
Student Analytics Service - Deloitte
10
Eesy Analytics - Eesysoft
13
Scorion - Parantion
15
Vak voor Vak Applicatie - Universiteit Leiden
18
ProF (Progress Test Feedback) - Universiteit Maastricht
21
SOWISO - SOWISO
25
Student Activity Meter - KU Leuven
31
Inzicht in Zicht - UP learning
34
Business Intelligence Development Framework - Valid
37
3
INTRODUCTIE LEARNING ANALYTICS
In deze brochure vindt u informatie over een reeks learning analytics- producten en diensten.
Een nieuw begrip in onderwijsland, dat de komende jaren naar onze overtuiging sterk aan
relevantie zal winnen. Zoals bekend drukken het alomtegenwoordig internet, snel aan kracht
en mogelijkheden winnende mobile devices en mediarijke sociale netwerken onvermijdelijk
hun stempel op de manier waarop onderwijsinstellingen interacteren met studenten,
onderzoekers en docenten.
Denk bijvoorbeeld aan de snelle toename van virtuele samenwerkingsmogelijkheden en
hoogwaardige, vrij op het internet beschikbare lesstof. Als gevolg wordt het kan het
onderwijs- en ontwikkelproces van de Nederlandse student steeds persoonlijker, en kunnen
onderwijsinstellingen naar verwachting steeds meer toegevoegde waarde gaan bieden in de
wijze waarop zij hun studenten begeleiden. Een helder en zo volledig mogelijk inzicht in
prestaties en ontwikkeling is daarbij een eerste vereiste.
Een deel van dit inzicht kan worden gegenereerd met behulp van learning analytics. Volgens
de door SURF gehanteerde definitie hebben we het dan over het “verzamelen, analyseren
en rapporteren van data van studenten en hun omgeving ten behoeve van het begrijpen en
verbeteren van het onderwijs en de omgeving waarin dit onderwijs plaatsvindt” (SoLAR,
2011). Empowerment middels op data gebaseerde feeback dus, waarmee
onderwijsinstellingen, docenten, onderzoekers én studenten allen hun voordeel kunnen
doen.
Zo kunnen onderwijsinstellingen bijvoorbeeld vroegtijdig inzoomen op groepen studenten die
het risico lopen af te vallen, daarop gepaste ondersteuning aanbieden en zo hun
retentiepercentage verhogen. Docenten krijgen de mogelijkheid het leerproces en de
ontwikkeling van individuele studenten gedetailleerder te monitoren, en de aangeboden
leerstof daar eventueel op aan te passen. En studenten kunnen met de directe feedback op
hun leerprestaties, al dan niet afgezet tegen de resultaten van andere studenten, hun
aandacht verleggen of inspanningen verhogen.
In 2012 voerde SURF een eerste verkenning uit naar het thema learning analytics, waarbij
onder meer 7 pilot projecten werden opgestart. In vervolg hierop kwamen op 7 maart 201314
aanbieders naar Utrecht om hun learning analytics-producten en diensten te presenteren. In
deze brochure vindt u een samenvatting (van 10 van deze diensten) met de essentiële
punten van de bij die gelegenheid aangeboden informatie. Plus goed advies van de
aanwezige aanbieders: “Nederlandse onderwijsinstellingen hebben al erg veel informatie
voorhanden. Eerste vraag zou daarom moeten zijn: Wat willen wij precies weten?”
4
BLACKBOARD ANALYTICS FOR LEARN
Firmanaam: Blackboard, Inc.
Contactpersoon: Kent Chen, kent.chen@blackboard.com, +1.908.723.2947
Website: www.blackboard.com/platforms/analytics/overview.aspx
FUNCTIONALITEIT
Beoogde gebruikers:
Campus leaders, instructors, staff and students
Zo kan Blackboard Analytics worden gebruikt:
Blackboard Analytics for Learn integrates with the Blackboard Learn 9.1 platform and
enables campus leaders to analyze Blackboard Learn activity and use data – comparatively
and over time—to improve the quality of courses and increase adoption by instructors, staff,
and students. The Analytics for Learn solution provides self-service reporting, dashboards,
and trend analysis so that users can access and analyze the wealth of information within
both the Learn platform and their student information system. Blackboard Analytics for Learn
helps you meet challenges like these:
•
Increasing student retention
•
Improving student performance
•
Identifying online learning best practices
•
Determining ROI of LMS investments
•
Capacity planning
•
Integrating administrative (ERP/SIS) data with instructional (LMS) data for
reporting and analysis
•
Information delivery bottlenecks; no self-service access to actionable information
•
Measure student learning outcomes - monitoring and analyzing trends to enact
curriculum and pedagogical change over time
•
Establish and tracking KPIs - a single source of the truth for monitoring strategic
goals and enabling data-driven decision making
The Blackboard Analytics application shows immediate results, with a warehouse that is
populated with institutional data in 2 days. There is still an implementation process to do
knowledge transfer, data validation, and embedding of business rules in the baseline model,
5
but our application mitigates the risk of a very complicated IT project….projects that have
failed at other institutions after many years and dollars have been spent.
Our solution covers a much wider base than any other alternative on the market. Our
learning analytics data model delivers 18 Fact Tables and more than 100 Measures,
including 40 that are derived or calculated by Blackboard Analytics for Learn, and don’t exist
natively in the LMS or SIS. The measures are then embedded in the data model and can be
customized with institutional business rules.
Welke data wordt gebruikt en gegenereerd?
The Blackboard Analytics for Learn platform essentially transforms raw data from your LMS
and SIS into actionable information. This access to information supports a broad spectrum
of users spanning institutional research, management reporting, external reporting, and
analytic needs across the institution. The application provides a library of standardized
metrics and descriptive attributes consistent with best practices in higher education
management.
Our data warehouse provides the ability to alter the data model by using a custom hook
structure that separates our core code from the customizations and embeds code into the
underlying SQL. This feature enables virtually any metric/measure to reflect the specific
needs of the institution or system, including supporting multiple definitions, where needed.
Blackboard Analytics provides its customers with a full window into our underlying code and
design. Once a customer purchases the application, they receive detailed documentation
that includes a data dictionary, ERD designs, and a full view into our underlying code. There
are no black boxes, compiled code, or hidden code in the application. This will enable the
institution to not only better understand the application as delivered, but empower them to
extend it with customized table structures, new data sources, and advanced metrics and
measures.
TRACK RECORD
Wat is het track record van het product in een onderwijsomgeving?
As of March 2013, we have customers across the world such as:

The University of Maryland, Baltimore County (United States)

Coppin State University (United States)

The University of Pretoria (South Africa)
6

The University of Western Sydney (Australia)

Edith Cowan University (Australia)

The University of Westminster (United Kingdom)
All of these clients are using (or will be implementing) Blackboard Analytics for Learn to
address the key issues facing several higher educational institutions regarding learning
analytics. Specifically, they will be interested in identifying at-risk students for student
retention purposes; and measuring the adoption rate of Blackboard Learn LMS to identify
highly effective teaching practices using eLearning technology.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Although Blackboard Analytics currently delivers content (reports, KPI’s, Dashboards) using
Microsoft tools, we have proven that our application works with virtually any tool on the
market. Today our customers use Pyramid analytics, Cognos, Business Objects, Hyperion,
Crystal Reports, SAS and other tools against our application.
Utilizing On Line Analytical Processing (OLAP) technology, we deliver a self-service
environment that shifts institutions from the “report writer/report requester” world to an enduser defined reporting environment. This technique allows non-technical users to interact
with the underlying data model without engaging technical resources. This dramatically
decreases the effort required to generate reports and fosters a culture of self-sufficient datadriven decision making.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
Blackboard Analytics for Learn is licensed similarly to other Blackboard products.
Our licensing model is based on a recurring annual fee, adjusted according to the FTE size
of the institution. In addition to the annual license fee, there is also a one-time consulting
services implementation package that is delivered. This consulting implementation package
will cover software installation, report configuration, and knowledge transfer to properly train
our clients on how to use and maintain the Blackboard Analytics for Learn application in the
future.
7
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Separating the core code from the customizations is essential when it is time to upgrade.
Unlike other data warehouse solutions, the Blackboard Analytics for Learn is easily updated
as new LMS upgrades become available. Most upgrades have minimal effect on the
underlying data model, because they are generally designed around the transactional nature
of the LMS and SIS; however even those upgrades that require change are easily handled
within our architecture, generally with a delivered script.
The Blackboard Analytics model is based on best practices in data warehouse methodology
and design. We use Kimball’s dimensional modeling methodology that provides the most
effective technique for analyzing admissions, student records, and other information for
higher education. One of the key factors in turning data into information is deriving important
management metrics and dimensions.
LMS and SIS systems capture a wealth of detail, but management information requires data
rules, aggregations, and algorithms that may not exist in the LMS and SIS source systems.
Our data model consists of a wide range of derived information that enables Blackboard
Analytics for Learn to solve difficult problems. Some examples include course utilization,
student performance, instructor participation, and more.
We do not measure success by the size of the analytical reporting solution, but rather by the
impact the information has on institutional performance. The focus should be on utilizing
information in decision-making and problem solving. To that end, we need to understand the
problems we are trying to solve and the decisions that institutional leaders face on a daily
basis.
Our success is founded on a commitment to work with our higher education customers to
continually refine the data model to solve the information challenges that they have brought
to us. Blackboard Analytics for Learn reflects the collective expertise of our entire collective
customer base, not just one firm’s view.
Our initial challenge was in selling a product that had no commercial competitors. In effect,
Blackboard Analytics for Learn defined a new commercial market that previously did not exist
– pre-built learning analytics applications.
We started with a Student Management data warehouse product in 2003, and have added
Financial Management, Human Resources, Financial Aid, and Advancement modules. And
most recently, we now also integrate with Blackboard Learn to provide learning analytics for
our clients.
8
On the horizon, our plan is to extend the portfolio to integration with Academic Information
Systems, advanced analytic applications, and integration with other external data sources.
9
STUDENT ANALYTICS SERVICE
Firmanaam: Deloitte Consulting
Contactpersoon: Theo Bakker, 06-10999307, tbakker@deloitte.nl
Adres: Laan van Kronenburg 2, 1183 AS Amstelveen
Website: www.deloitte.nl
FUNCTIONALITEIT
De Student Analytics Service van Deloitte biedt onderwijsinstellingen de basis om studenten
optimaal en op maat te begeleiden. Op basis van een combinatie van gegevens uit uw
bestaande informatiesystemen, verrijkt met externe bronnen, segmenteren we
studentgroepen en opleidingen naar uitval, studieduur en excellentie. Vervolgens bepalen we
hoe u bestaande maatregelen voor studiesucces veel gerichter kunt inzetten. Hiermee
bereikt u een efficiënte inzet van middelen en een beter studierendement.
Beoogde gebruikers:
Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en
studieadviseurs
Zo kan de Student Analytics Service worden gebruikt:
Met deze service heeft de Faculteit der Geesteswetenschappen (UvA) op historische
gegevens geanalyseerd uit 7 bronsystemen. Op basis hiervan zijn 12 segmenten gevonden
binnen de gehele populatie en een voorspellend algoritme voor uitval. Parallel aan het
project zijn gesprekken met medewerkers gevoerd om de werkpraktijk en houding ten
aanzien van rendement bevorderende maatregelen beter te begrijpen. De uitkomsten
worden gebruikt om bestaande studiesuccesmaatregelen beter toe te snijden op de behoefte
binnen de faculteit van zowel studenten als medewerkers.
Een segmentatie en basis voor gerichte studiesuccesmaatregelen kan er als volgt uitzien:
10
Welke data wordt gebruikt en gegenereerd?
Voor de analyse en segmentatie maakt de Student Analytics Service gebruik van gegevens
uit de gehele studieloopbaan van de student die we verrijken met externe data: CRM
gegevens over voorlichting, Studielink, SIS-inschrijf/SIS-Volg, roostergegevens, HRgegevens, DLWO etc., aangevuld met gegevens van DUO, CBS.
Wie is eigenaar van de data?
De aanleverende instelling is eigenaar van de data (DUO en CBS gegevens zijn eigendom
van het Ministerie van OC&W en het CBS). De data worden opgeslagen op de servers van
Deloitte voor uitvoering van de opdracht en als back-up bewaard om de uitkomsten van
onderzoek en analyses te kunnen rechtvaardigen als hier op een later tijdstip vraag naar is.
Hoe vrij beschikbaar en transporteerbaar is de data?
De data komt uit bestaande systemen: beschikbaarheid is verbonden met de data-policy van
deze systemen. De onderwijsinstelling ontvangt een algoritme en formule om de segmentatie
zelfstandig te kunnen herhalen. Informatie wordt niet gedeeld tenzij hierover toestemming is
van de onderwijsinstelling zelf.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
De Student Analytics Service is ingezet de Faculteit der Geesteswetenschappen (UvA).
Verdere referenties zijn op aanvraag beschikbaar bij Deloitte (zie contactdata).
INFRASTRUCTUUR EN ARCHITECTUUR
11
Wat is nodig om het product goed te laten draaien?
De Student Analytics Service is geen softwarepakket, maar een consultancy dienst voor
student analytics. Data moeten goed met elkaar te verbinden zijn. De meest gangbare
bestandsformaten (ODBC database, Excel, CSV, et cetera) kunnen ingelezen worden.
Analyse van gegevens en rapportages zijn op te schalen naar elke gewenste omvang.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
De kosten van deze service zijn in principe eenmalig en gebaseerd op daadwerkelijk bestede
adviesdagen. Een traject kost ongeveer 25 dagen (voor het verzamelen en samenvoegen
van data, analyse, berekening van algoritme en uitvoering van segmentatie, rapportage,
workshops voor implementatie van passende maatregelen; dagen kunnen variëren op basis
van de kwaliteit en omvang van data, klantvraag, et cetera).
Minimale benodigde FTE: 1.
TOEKOMSTIG GEBRUIK
Als leverancier van kennis is Deloitte gericht op voortdurende innovatie van haar
dienstverlening. Data analytics is één van de speerpunten in alle vormen van onze
dienstverlening. Op basis van analyses van trends in het Hoger Onderwijs (en andere
industrieën) passen wij in nauw contact met onze Member Firms in het buitenland onze
dienstverlening en proposities voortdurend aan.
Visie op ontwikkeling product / learning analytics:
De ontwikkeling van Student Analytics zal ertoe leiden dat de norm voor begeleiding van
studenten in het Hoger Onderwijs wezenlijk zal gaan veranderen. Het nieuwe leenstelsel zal
studenten kritischer maken over de studiebegeleiding die onderwijsinstellingen bieden. De
snelheid waarmee studenten feedback krijgen en de breedte aan adviezen voor een beter
studiesucces zullen sterk toenemen. Meer en meer zullen verschillende datasets met elkaar
gecombineerd worden. Het eigenaarschap en de portabiliteit van data zal sterker bij de
student komen te liggen evenals de toestemming of het verzoek om data ten gunste van
zijn/haar succes te gebruiken. Voor een gericht beleid hiervoor bieden wij een Privacy
Adviesdesk Service.
12
EESY ANALYTICS
Firmanaam: EesySoft
Contactpersoon: Michel Visser 06-83239788 michel.visser@eesysoft.com
Adres: Beech Avenue 54-80, Schiphol-Rijk
Website: www.eesysoft.com/education
FUNCTIONALITEIT
Eesysoft analyseert het gebruik van de digitale leer en werkomgeving door student,
docenten en medewerkers. Via real-time rapportages krijgt de gebruiker inzicht in de mate
waarin gebruik wordt gemaakt van de beschikbare functionaliteit.
Beoogde gebruikers:
Budget holders digitale leer- en werkomgeving, head of learning and teaching, functioneel
beheer.
Zo kan worden gebruikt:
EesyAnalytics wordt veelal gebruikt om inzicht te krijgen in het gebruik van Blackboard,
maar kan ook voor andere webbased software oplossingen binnen de Digitale Leer en
Werkomgeving (DLWO) worden ingezet. Tevens zorgt de module EesyMessaging ervoor dat
er op basis van deze analyse zeer gericht gecommuniceerd kan worden met bijvoorbeeld
docenten die een specifieke functionaliteit nog niet (optimaal) gebruiken. Doelstelling is
adoptie van DLWO te verhogen.
Welke data wordt gebruikt en gegenereerd?
Op individueel gebruikersniveau analyseert EesyAnalytics het gebruik van applicaties: welke
functionaliteit wordt gebruikt, door wie (bijvoorbeeld docent, student of faculteit), hoe lang,
wanneer, et cetera.
Wie is eigenaar van de data?
EesyAnalytics wordt als SaaS oplossing aangeboden. De data is eigendom van de klant en
wordt opgeslagen binnen de SaaS-infrastructuur van EesySoft.
Hoe vrij beschikbaar en transporteerbaar is de data?
Data is beschikbaar via reports als raw data (CSV file).
13
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
Circa 23 instellingen hebben het EesySoft building block voor EesyAnalytics geïnstalleerd
hebben. Dit zijn in Nederland o.a. : Saxion, TU Delft, Haagse Hogeschool, Hogeschool
Leiden, Avans, Universiteit Twente, Universiteit Leiden, Hogeschool InHolland, ROC MN.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
EesyAnalytics vereist installatie van het EesySoft building Block (voor Blackboard) of het
toevoegen van de tracking code (javascript) aan de webbased applicatie. Verder werkt het
product als SaaS-oplossing. Op dit moment maken circa 350.000 gebruikers gebruik van het
systeem, en worden er gesprekken gevoerd met SURF om EesyAnalytics te koppelen aan
de SURFconext infrastructuur.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
EesyAnalytics is beschikbaar vanaf 500 euro per maand (afhankelijk van aantal gebruikers).
In dit bedrag zitten tevens de hostingkosten, updates en support. De eenmalige set upkosten bedragen 3.000 euro
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
EesyAnalytics is voortgekomen uit feedback van klanten die EesySoft reeds enkele jaren
gebruiken voor in-application support. We streven naar 2 upgrades per jaar, plus specifieke
kleine wijzigingen op basis van de feedback van onze gebruikers.
Visie op ontwikkeling product / learning analytics:
EesySoft benadert Learning Analytics vanuit een pragmatische invalshoek. Dit in
tegenstelling tot de onderzoekende methoden waarbij veelal datamining technieken worden
ingezet. Wij geven inzicht in het gebruik van de DLWO door docenten en studenten. Door
deze informatie te vergelijken met studieresultaten kan worden onderzocht of er een causaal
verband bestaat tussen deze twee variabelen.
14
SCORION
Firmanaam: Parantion
Contactpersonen: Roel Smabers & Robert Smeenk, 0570 – 622939
Adres: Munsterstraat 9 7418 EV Deventer, Postbus 2109 7420 AC Deventer
Website: www.parantion.nl
FUNCTIONALITEIT
Beoogde gebruikers:
Studenten, docenten, begeleiders en opleiding.
Zo kan Scorion worden gebruikt:
Het doel van Scorion om de talentontwikkeling te ondersteunen door het leerproces en
leerresultaat inzichtelijk te maken voor de student, de docent, begeleiders en de opleiding.
Doordat alle resultaten vastgelegd worden via vragenlijsten, documenten en verschillende
feedback methoden kunnen worden toegepast, kan de data goed worden vergeleken. De
open standaarden zorgen voor brede analyse mogelijkheden. De grafische weergaven en
het gebruik van de Scorion App zorgen voor een goed inzicht.
Welke data wordt gebruikt en gegenereerd?
Data wordt verzameld op niveau van de student, docent, maar ook over de volle breedte van
de opleiding.
Wie is eigenaar van de data?
De data is in principe eigendom van de licentie houder. Meestal is dat de opleidingsinstantie.
Hoe vrij beschikbaar en transporteerbaar is de data?
De data kan in allerlei soorten formaten worden geëxporteerd of gekoppeld. Bijvoorbeeld:
Excel, SPSS, CSV, XML, PDF en Word.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
15
Scorion wordt onder meer gebruikt door SURF, TUDelft, UMCG, Saxion, Fontys,
INHOLLAND, Fontys. Fontys heeft onderzoek gedaan onder het gebruik van Scorion.
Verder doen bijna alle instituten gebruikersonderzoek onder al hun applicaties. Tot slot heeft
bij UMCG net een pilot project plaatsgevonden dat zeer goed is verlopen en ook als zodanig
is geëvalueerd. Informatie kan desgewenst bij desbetreffende instanties en Parantion
worden ingewonnen.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Scorion is een volledige Saas-oplossing die draait vanaf twee datacenters op Nederlandse
bodem. Configuratie en data storage zijn volledig redundant uitgevoerd. Scorion ondersteunt
SURFconext.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
Een SURF-licentie is voor handen. Kosten zijn variabel en variëren van € 35 per respondent
bij een stuks licentie tot € 3 per student voor een enterprise licentie. In dat geval is de basis
licentie € 10.000. Inrichting van een basis systeem kost ca € 1.500. Daarbij komt een admintraining van €1.250. Dataopslag uit het systeem zelf is daarbij inbegrepen. Extra dataopslag
kost € 3 voor eigen documenten. In principe is geen support nodig vanuit de eigen
organisatie. Wel is het verstandig om een 1e lijns helpdesk voor gebruikers binnen de
instelling te doen. Ca 0,2 fte is dan voldoende.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Er wordt gewerkt aan verschillende innovatieprojecten waarbij integratie met Google, voor
geografische posities kan worden gekoppeld. Verdere ontwikkelingen: PhoneGap, Android
en Windows App, Sencha (HTML5 graphics)
Er wordt gewerkt in sprint cycli van circa 4 weken, en er wordt 12 keer per jaar geüpdate. Dit
gebeurt zonder dat gebruikers dat merken, en dus zonder downtime. Nieuwe functionaliteit is
nagenoeg altijd instelbaar, zodat de gebruiker de keuze heeft. In 2013 wordt de grafische
module uitgebreid in HTML5. Grafieken kunnen direct op data worden toegepast. Verder is
er dan een app op alle relevante platforms. Tevens volgt in dit jaar de integratie met panels
16
en Survey module. In 2014 worden de koppelingen met externe bronnen bi-directioneel
verder uitgebreid. Scorion 4 krijgt een Graphical User Interface tbv integratie user generated
data en sociale media.
AANVULLENDE DOCUMENTATIE
Scorion platform mei 2012: http://www.youtube.com/watch?v=uMZL32Kd9Lc
Scorion Peer evaluation TUDelft January 2013:
http://www.youtube.com/watch?v=xHossTpmU0w
Scorion gebruikt als medische toepassing 2013:
http://www.youtube.com/watch?v=wpsgqEwfyv8
Scorion Learning Analytics The Movie: March 2013: Gelanceerd op 7 maart 2013 at the Surf
Learning Analytics Event http://youtu.be/_KEWv-RIL50
17
DE VAK VOOR VAK APPLICATIE
Firmanaam: Universiteit Leiden, Institute of Advanced Computer Science (LIACS)
Contactpersoon: Dr. Arno Knobbe, knobbe@liacs.nl, 06-24612560
Adres: Postbus 9512 2300 RA Leiden
Website: -
FUNCTIONALITEIT
Beoogde gebruikers:
The Vak voor Vak application aims to support education managers, study advisors and
individual lecturers by presenting in a visual way high-level information concerning study
results and course evaluations. The VvV Learning Analytics dashboard presents a visual,
color-coded overview of the entire curriculum, including the option to drill down into detailed
data concerning individual courses.
Zo kan Vak voor Vak worden gebruikt:
Using various graphs, managers can get a quick insight into which courses require further
attention or coaching of the lecturers involved, and individual lecturers can examine their
evaluation details (collected by student questionnaires) and compare these to their peers.
Welke data wordt gebruikt en gegenereerd?
The VvV applications connect to two sources of information, being uSis for details about
exam results for a given course, and Evasys for evaluation scores. The dashboard aims to
provide a quick understanding of these two perspectives on course quality. Although the
application is currently specific to these two systems, it should be fairly easy to extend this to
different sources of data with a similar structure.
Wie is eigenaar van de data?
The VvV application does not collect new data about students and course. It simply loads
and presents existing data in a visual manner. The combined data resides in an applicationspecific database, but this database can be maintained by the educational institute, such that
ownership is not an issue.
18
Hoe vrij beschikbaar en transporteerbaar is de data?
The data is an extract from two existing sources, so there would not be any need to access
this data. If required however, the data can be simply queried as any relational database.
The RDBMS is MySQL.
Zo zien dashboard en weergave data van de Vak voor Vak-applicatie er uit:
19
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
The system is being used to monitor the courses of the Computer Science bachelor of the
LIACS (Leiden University), with plans to extend this to the entire faculty and possibly other
faculties in UL.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The system requires a central MySQL database and Apache to provide a webinterface for
the dashboard. The actual dashboard can be reached through the Internet, and as such can
be reached from office or home environments.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
The product is currently a prototype, and hence the licensing structure needs to be decided
upon, but will be reasonable and depend on the scale of the organization. Additional costs
may be involved in tuning the application to the specific field and the source of data.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
We intend to further develop the application, mostly based on requirements of ‘early
adopters’.
Visie op ontwikkeling product / learning analytics:
The VvV application implements one type of Learning Analytics, specifically target towards
supporting those responsible for the education. We acknowledge that other forms of LA are
also useful, specifically where the analysis of detailed study behavior is concerned, but this is
not the aim of this specific tool.
20
PROF – PROGRESS TEST FEEDBACK
Firmanaam: Maastricht University
Contactpersonen: Jeroen Donkers Jeroen.donkers@maastrichtuniversity.nl
Frank van der Kamp f.vandekamp@maastrichtuniversity.nl
Adres: Postbus 616, 6200 MD Maastricht
Website: www.ivtg.nl
FUNCTIONALITEIT
Beoogde gebruikers:
Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en
studieadviseurs, docenten, studenten.
Zo kan ProF worden gebruikt:
The ProF-system (Progress test Feedback) is intended to provide online longitudinal
feedback on progress test results to students and staff. Although the ProF-system was
originally developed specifically for the progress test in medicine, it has been generalized to
deal with general progress tests. A progress test, in this respect, is a test that is taken at
regular intervals during a student’s trajectory (e.g. twice or four times a year) and is exactly
the same for all levels of students. The test is taken at the level of graduation which means
that starting students score lower than students at the end of their study. The standards for
each student are based on the score distribution within the student’s peer group.
The scores for the progress test may be differentiated in several types of subscores, e.g. on
disciplines or knowledge categories. This type of test allows for a true measurement of
progress. By comparing their own results with those of their peers (aggregated), students
can analyze their strong and weak points in their own development. Moreover, educators can
study the behavior of their student population. The progress test can be administered by
multiple institutions simultaneously, as is for example the progress test in medicine. In this
case, the progress test also acts as a benchmark between institutions. For more background
on progress testing we refer to www.ivtg.nl.
Students can browse through their progress test data using an intuitive dashboard that
allows the selection of parameters along a series of dimensional axes, such as: total score,
or detailed score, raw data or cumulative, type of score and the peergroup data which should
21
be presented as background. The data can be presented in a longitudinal or momentaneous
view. The dashboard allows the student to switch easily between all parameters. This gives
the students much freedom to explore their results and make their own analysis. Staff
members can see data on the level of peer groups and may or may not, depending on their
permissions, see results of individual students.
The ProF application is enhanced with a web-analytics tool (Piwik) that makes it possible to
trace the use of the system by students and staff members.
Please contact us if you wonder whether test outcome data of you institute or consortium
might be suitable for being displayed by ProF.
Welke data wordt gebruikt en gegenereerd?
The ProF system takes the outcome data of a series of progress tests (which should be
provided by the client in a required format) and pre-computes longitudinal views, cumulative
scores and group aggregates for all students. Next to this, the webanalytics tool Piwik is
used to generate ProF usage data.
Wie is eigenaar van de data?
Client organisations have access to the data and remain the owner of the data.
Hoe vrij beschikbaar en transporteerbaar is de data?
Consortia can extract data by the client as needed. Piwik website usage reports can be
downloaded by the client in several formats.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
ProF is currently in use in three different settings:
A) Medicine (joined in the iVTG – interuniversitaire Voortgangstoets Geneeskunde)

Maastricht University / MUMC

Radboud universiteit Nijmegen / UMCN

Universiteit Groningen / UMCG

Leiden University / LUMC

Vrije Universiteit Amsterdam / VuMC
22
This configuration involves about 12.000 users.
B) General practitioners (huisartsopleiding)

Huisartsopleiding Nederland (UMCN, LUMC, UMCG, AMC, UMCU, MUMC, UM,
Erasmus MC, VUmc)
This configuration involves about 1.900 users.
C) Psychology at Maastricht University
This configuration involves about 950 users.
The ProF system was evaluated on its usability when its first version was developed during a
pilot study at Groningen University. The reactions of students were very promising. Since
2009 the system is continuously in use within the 5 partners of the iVTG. In 2012, an
investigation of the usage of ProF was performed in the SURF Learning Analytics Innovation
project. The usage varied greatly among groups of students. We concluded that it is
important to incorporate the use of ProF in the curriculum, and to advocate the use of ProF
by tutors and study advisors.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The system consists of three parts: (I) an import/computation module, (II) a central data
warehouse and (III) the user interface – including Piwik web analytics. The
import/computation module is developed in Perl and Project R and uses a local MySQL
database for its computations. The data warehouse is implemented as a MySQL database.
The user interface is developed in PHP. ProF does not support the Tin Can API, but for
institutions that are member of SURF it allows federated login through SURF Conext. For
other users, individual passwords can be used to login into the system.
Each consortium of institutes that run a progress test together will have their own private
data warehouse and version of computation module. We call this a “configuration”. All
configurations share the same user interface.
The ProF system is offered as SAAS. The application is hosted by an external provider (Pine
Digital Security BV).
23
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
The cost for using ProF is a fixed price per configuration per year of € 6000. The number of
institutions within one configuration is irrelevant, but in the case of more than 1000 users in
total we will increase the fee. There will be no license but a service agreement. Since ProF
needs to be configured for the needs of the client, additional setup-costs are charged
depending on the complexity of the task.
Clients will receive an administration account that allows them to manage staff accounts.
Student accounts are managed along with the import procedure. Further administration is
not required for ProF. The preparation of the progress test data has to be arranged by the
client and depends on the way in which the progress test data is collected and stored.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Since its first version in 2009, ProF has been extended continuously. The first additional
functionality was connection to SURF Federation (now SURFconext). In 2011 the system
was made configurable so that multiple consortia can use ProF, each having their own data
warehouse and import/computation module version. In 2012 a connection was introduced
with the web-analytics tool Piwik.
The development and maintenance of the import/computation module and data warehouse is
done at Maastricht University. The user interface is developed and maintained by our partner
Case Builders BV. Next to regular maintenance, the introduction of ProF to new consortia
always leads to requests for new functionality. Since everyone shares the same user
interface, we will coordinate these requests and try to find solutions that fit all consortia.
Substantial changes will have to be negotiated and will request additional funding.
We envision several extensions to ProF in the coming years. The navigational structure will
be improved to motivate students even more to stroll through their data. We will try to
improve the prognosis model, based on advanced data analysis methods. The system will
become more adaptable to the specific needs of consortia. More languages (next to Dutch
and English) will become available.
24
SOWISO
Firmanaam: SOWISO bv
Contactpersoon: Marc Habbema, m.habbema@sowiso.nl, 06-46112535 / 020-7520000
Adres: Science Park 400, 1098 XH Amsterdam
Website: www.sowiso.nl
FUNCTIONALITEIT
Beoogde gebruikers:
We can identify multiple end users of our product, and our platform ensures that they all
benefit from its features.




Students. The students that follow the courses on our platform benefit from the
advanced interactivity in their learning experience. They get instant feedback exactly
where and when they need it. They receive more than binary wrong/correct feedback.
Because of the effective feedback and hints, our application is more of a learningsystem than just a testing-system.
Teachers. For the teachers our platform eases their workload by taking over some of
their repetitive tasks and by providing targeted attention to the students at all times.
Moreover, because of the extensive progress reports, the teacher can identify
problematic subjects/skills and students.
Authors. Because of the user-friendly authoring tool, the authors (often these are the
teachers) have a tool to create rich interactive e-learning without them needing to
code. The authoring tool accepts multiple input-languages, such as TeX, but also has
a what-you-see-is-what-you-get type input editor.
Educational institutions. Our platform is very modestly priced, so institutions can
benefit in a financial way as well. The increase in productivity and learning results
more than enough compensate for the costs incurred.
The platform is very scalable and can be used by multiple faculties/departments within an
institution at the same time. The platform also has community-features, so that co-creation
and co-learning is stimulated. It’s even possible to have cooperation in content creation
between different institutions on one platform.
Zo kan SOWISO worden gebruikt:
The SOWISO e-learning platform is a turn-key state-of-the-art e-learning solution for the
exact sciences in higher education. It enables institutions to create, manage and publish the
25
next generation e-learning. Progress reports / learning analytics is just one feature of this
platform. A list of some of the features of this platform is provided here:












Learning management system with student/teacher/author/admin profiles and
functions. The platform acts as an LMS/CMS in which courses can be presented for
students.
Interactive e-learning with advanced intelligent communication between user and
software. Interpretation of open answers and targeted feedback and hints. The
software is not only able to see that a mistake is made, but also what that mistake is.
Apart from exercises, the e-learning also includes theory-pages.
Randomization. The exercises are composed with random parameters, so that
students can practice a particular problem/skill as intensive as they want.
Progress reports for students and teachers at any desired level of detail. Very suited
for learning analytics and predictive learning.
Authoring tool for teachers and authors so they can create interactive content
without programming knowledge. This holds for both the exercises and theory.
Tests can be composed and taken by teachers. These can be entrance or exit-level
(diagnosing) tests.
Tags and metadata make sure the platform can be applied in a diagnosing and
remedial way by the use of learning-taxonomy.
Community features enable students, teachers and authors to co-create and colearn
Cross-browser, cross-device HTML5 future-proof technology. No use of flash or
java-applets that require local installation of software.
Cloud-based. The platform is cloud based web-service, meaning that the
client/student only needs a device with a browser to access the platform. The platform
can be installed on a local server if the institution desires so.
All mathematical subjects are covered by our platform, ranging from arithmetic to
advanced calculus.
14 exercise types Our platform currently provides templates for a lot of exercise
types, like “open answers”, “draw a line” and all types of “multiple choice”. Many more
types are constantly being developed.
In general, all these features enable institutions to create future-proof technology enhanced
learning that fit the needs of their students.
A demo-website, with a collection of interactive exercises, is available at:
http://demo.sowiso.nl
Welke data wordt gebruikt en gegenereerd?
The data generated for the progress reports is actually an incredible amount: Userid, school,
class, chapter, subject, question, correct or wrong answer, hints asked, solutions asked,
types of errors made, date, time, day of the week. But apart from this also the random
parameters that were generated for that particular exercise are stored, so that students and
26
teachers can use an advanced replay-functionality so that one can see the exact same
context in which the particular answers were given. Finally, also meta-data tags that describe
skills or for example categories of mistakes are stored. This all means that the progressreports can be based on many types of stored data. A teacher can for example run reports
on the types/categories of mistakes that his or her students have made in a particular course.
The teacher can adapt to this in coming meetings.
The ‘cockpit, that teachers or students have in the reporting-tool is easily customizable.
Because the platform is capable of dealing with open answers and providing targeted
feedback, a whole lot of specific detailed user data is stored. The data, and thus the Learning
Analytics that can be performed with it, is a direct result of the learning process of the
student.
Wie is eigenaar van de data?
The data is stored in a database. Concerning intellectual property, there is a clear distinction.
All content that is created by the client on the platform, and the user-data that is generated
by its use of the platform, is owned by the client on that particular platform. SOWISO remains
the legal owner of the platform.
Hoe vrij beschikbaar en transporteerbaar is de data?
The data is flexible and open, because it can be exported in any format, like xml, json, csv,
excel or ods. It’s also possible to import existing digital material, depending on the
specifications of this material. Theory in the form of text, pictures or movies can be
incorporated. Also exercises (preferably with XML-type structure) can be imported.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
The SOWISO e-learning platform is relatively new, but already being used at multiple
universities, colleges and publishers. We are talking with a dozen more about starting a
project in the near future. All our projects have been delivered on-time, on budget.
The technology on which the platform is partly based has been used many more times, at
even more institutions. The company providing the e-learning platform is a spin-off from the
Technical University of Eindhoven, at which the underlying technology was developed and
tested many times.
27
For a use-case of our platform, we can refer to a university of applied sciences who used our
platform for teaching in the domain of information technology. A course, containing both
theory and exercises, was developed to complement the existing class-room education. Over
14.000 exercises were made by around 40 students. After the exam was made, this was one
of the results:
Number of exercises made
Average grade
% of students passing
0
5,79
61%
30
5,88
63%
50
5,91
65%
100
5,90
67%
150
6,12
71%
300
6,91
82%
600
8,00
100%
39
31
27
25
19
12
4
Number of students
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The platform is partly based on many years of scientific research at the Technical University
of Eindhoven. When it comes to the exact sciences, it is the most advanced solution out
there.
The platform is also very flexible and open in architecture so we can deal with future
developments/trends/standards in the e-learning world. We can call on different
(mathematical, graphical, social, analytical, etc) programs as services. The open architecture
ensures us that we can do this in the future as well. The technology we use is fully HTML5proof and will therefore work on all types of devices and browsers.
We will support SURF Conext in the very near future. We already established a similar
connection with Kennisnet Entree. We will also support the Tin Can API.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
A yearly license-fee is charged, depending on the number of named-users (students) using
the platform. We have 2 pricing structures. The most applicable one for higher education
institutions is the following:


Under 25 named users: € 2.500,- per year
Between 25 and 150 named users: € 2.500,- plus € 12,- per named user above 25
28
 Above 150 named users: € 4.000,- plus € 4,- per named user above 1501
For heavy users (above 1650 named users), there is a different pricing structure, with higher
initial yearly costs, but lower cost per additional user.
This license fee covers the complete platform, including LMS, authoring tool, progress
reports, community features, etc. The client is allowed to create as many courses for this
fee, the criterion is the number of named users.
Experience tells us that at the beginning of a project time-investment is needed, mostly to
create content with the authoring tool. SOWISO can help in this process. We always provide
a workshop to train the authors and are available for functional support. In some cases,
SOWISO can actually create the content for the institution, we have the right resources
available.
After this process, no minimal number FTEs is needed for use of the product. Of course, at
least one teacher should use the platform in his or her classes.
Apart from the yearly license fee (which includes technical support) specific customization
wishes, for example integration with existing software systems or specific functionalities
which have to be created, we charge a daily consulting fee.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
As an innovative company with strong co-operation with many players in the educational
market, we are constantly up-to-date with current demands and desires for future
developments.
Personal attention is a proven concept in education. Our platform provides this attention on
two levels. First, because of the intelligent feedback that is provided to the student. Second,
because of the extensive and detailed progress reports, the teacher can adapt his or her
teaching towards the students’ needs.
Apart from this, we believe in a class-room future in which testing is not a precondition for
establishing a student’s level of knowledge. An intelligent system which constantly monitors
progress on all types of dimensions, and which can present the student in an adaptive way
with the most suited content, is able to define at which point the student has reached the
desired end-level.
1
These are the 2013, exclusive VAT prices
29
Concerning updates, we work with major and minor releases that are periodically released.
All upgrades are backward compatible, so that developed content will always be supported.
30
STUDENT ACTIVITY METER
Firmanaam: KU Leuven
Contactpersoon: Sten Govaerts, Sten.govaerts@gmail.com
Website: http://www.role-project.eu
FUNCTIONALITEIT
Beoogde gebruikers:
Students and teachers
Zo kan de Student Activity Meter worden gebruikt:
The Student Activity Meter visualizes time spent and resource use of students to enable
awareness for students and teachers and provides a mechanism for self-reflection for
students. Three different visualisations are available. One visualization shows the time spent
of all students over the period of the course, enabling students and teachers to see when
students were most active, when they were idle and what they were doing.
This visualization can for instance be used by teachers to detect dropouts early or it can be
used for students to see if they are spending the expected amount of time on the course.
Another visualization, namely Parallel Coordinates, provides more details on resource use
and time spent. But other metrics can be added depending on the course. For instance, if a
computer programming course is tracking the use of the programming tools than usage of
these tools could help teachers better understand whether students have mastered the
concepts taught in the course.
A third visualization displays the distribution of various metrics tracked in the course. If a
student identifies herself to the Student Activity Meter than his information is highlighted in
green to enable better comparison. The metrics of students can be compared against
minimum, maximum and averages, enabling students and teachers to get an overview.
31
Welke data wordt gebruikt en gegenereerd?
The Student Activity Meter uses user tracking data from various platforms. For better
performance, the Student Activity Meter uses a preprocessing step that collects the data and
calculates metrics. We have provided scripts for various data sources, e.g. Contextualised
Attention Metadata (CAM) and Moodle (http://www.moodle.org). The scripts take basic log
records (e.g. timestamp, user info, action, resource, etc.) in various formats and calculate the
metrics (such as time spent) and user info used by the Student Activity Meter.
The kind of metrics on resource use will depend on the data tracked by the learning
environment. The Student Activity Meter easily allows the use of different metrics as the
visualizations will dynamically update based on the data provided. The preprocessing scripts
are open source and freely available. They can be extended to make use of other user
tracking formats.
Wie is eigenaar van de data?
The data used by the preprocessing scripts is owned by the owner of the tracked data. The
owner has full control over the data and can decide where he applies the Student Activity
Meter.
Hoe vrij beschikbaar en transporteerbaar is de data?
The data format generated by the preprocessing step and used by the Student Activity Meter
is a simple JSON format that can be easily extended if needed. The JSON data is structured
per course and can be just copied to another web server to be used by another installation of
the Student Activity Meter.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
The Student Activity Meter has been evaluated in 4 real-world settings: (1) a computer
science course at KULeuven, (2) an agroforestry course at CGIAR (http://www.cgiar.org), (3)
a MOOC on learning analytics and (4) a computer science course at the Carlos III University
of Madrid. The main results were that the Student Activity Meter was perceived as useful by
teachers and students. From these evaluations we have also discovered that the Student
Activity Meter can be used in many different situations beyond what the original developers
would have foreseen.
32
The Student Activity Meter was also integrated by SURF to assess learning analytics in an
internal project.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The Student Activity Meter consists of a flash application that reads a set of data files. The
data files contain preprocessed student data to enable faster performance and scalability.
Scripts to generate these files exist for a few learning management systems, such as
Moodle, but the data format can be easily used to preprocess the data of your favourite LMS.
The Flash application of the Student Activity Meter is easily installed by just copying a
directory to a web server.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
The Student Activity Meter is available under open source license and is free.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Currently we are not actively extending the Student Activity Meter. But as mentioned before,
the source code of the Student Activity Meter is available open source and free. Thus
developers can extend the Student Activity Meter if needed. Furthermore, the Student
Activity Meter can be extended without any implementation by adding new metrics to the
JSON files, which will be automatically shown in the visualisations.
33
INZICHT IN ZICHT
Firmanaam: UP learning (voorheen Stoas Learning & Educus)
Contactpersonen:
Marc Swanenberg, 06 - 55 123 636, marc.swanenberg@uplearning.nl
David Bezemer, 06 - 40 22 41 42, david.bezemer@uplearning.nl
Adres: Business & Science Park, Agro Business Park 82, 6708 PW Wageningen
Website: www.uplearning.nl
FUNCTIONALITEIT
Op wie richten wij onze diensten:
Wij ons op een combinatie van het primaire- en secundaire onderwijsproces. Onze diensten
zijn gericht op alle betrokkenen bij het leerproces van de student. Of dit nu management
informatie is om de organisatie te sturen, of informatie om de student direct te begeleiden, bij
alle informatie staat de student centraal.
Zo kan UP learning worden gebruikt:
UP learning steekt in op de ondersteunende kant van Learning Analytics. In plaats van zelf
uitgebreide tooling te ontwikkelen, volgt eerst een gesprek met de gebruiker en klant om de
analytics behoefte vast te stellen. Daarna brengt UP de bestaande systemen in kaart. Ook
stelt UP vast welke gegevens nodig zijn om tot de benodigde data te komen. Er zijn diverse
rapportage mogelijkheden; van statische rapporten tot dynamische dashboards en van heat
maps tot real-time indicatoren.
UP maakt zo veel mogelijk gebruik van data en tools die al aanwezig zijn binnen de
organisatie, of dat nu ons SIS (EduArte of Alluris) is, of dat Blackboard of Moodle is, of zelfs
systemen die niet door ons geleverd of ondersteund worden. Bestaande data heeft altijd
onze voorkeur. Of het nu Business Objects, Microsoft Business Intelligence of Cognos is.
Van deze data maakt UP vervolgens informatie die aansluit bij de informatiebehoefte van de
gebruiker. Zo veel mogelijk vanuit de bestaande techniek.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
34
UP biedt sinds 1997 oplossingen op het gebied van didactiek, online leren en SIS. Dit doet
UP in de zakelijke markt onder andere bij KLM, Shell, Belastingdienst en Achmea, en binnen
het onderwijs bij de Open Universiteit, Universiteit van Amsterdam, ROC Albeda, ROC
Zeeland (Scalda) en nog een 30-tal andere ROC’s. In totaal werkt UP voor meer dan drie
miljoen lerenden!
Hiernaast bestaan er diverse partnerships met partijen die op grotere schaal (Learning)
Analytics inzetten binnen organisaties en onderwijsinstellingen, waarbij UP de expertise
inbrengt. Dit zijn onder andere Macaw (www.macaw.nl), Topicus en Sogeti.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Omdat UP voor Learning Analytics geen softwarepakket van de plank levert, maken wij
zoveel mogelijk gebruik van de bestaande infrastructuur en architectuur. Dit is onafhankelijk
van de gekozen systemen, of dit nu SaaS in één van de eigen beveiligde datacentra of op
locatie bij de klant of leverancier is. Door deze platformonafhankelijke werkwijze,
onafhankelijk van derden, komt UP samen met de klant tot een solide oplossing binnen
bestaande IT ecosystemen.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
Omdat het gaat om dienstverlening op maat, worden de kosten in samenspraak met de klant
bepaald. Afhankelijk van het budget wordt samen met de klant gekozen voor de oplossingen
die zowel bij de vraag als bij het budget het beste past. De kosten zullen (vrijwel) altijd
bestaan uit de volgende componenten:



data-warehouse (software)
data analyse (software)
implementatie en begeleiding (consultancy)
35
TOEKOMSTIG GEBRUIK
In welke mate is de dienstverlening ‘future proof’?
UP blijft ook op het gebied van Learning Analytics werken met een vast portfolio producten,
diensten en partners. Centrale gedachte daarbij is dat Learning Analytics gestuurd en
geïnitieerd moet worden vanuit een vraag of probleem, en niet vanuit de technologie. Deze
visie wordt blijvend ondersteund met marktonderzoeken, publicaties, didactische modellen
en vrijblijvend advies.
Visie op ontwikkeling product / learning analytics:
Meer doen met bestaande data, in plaats van meer data verzamelen, is voor UP de
actualiteit, en ook de toekomst. Daarbij is de verwachting dat met bestaande (historische)
data steeds accurater kan worden voorspeld, in plaats van achteraf te rapporteren.
Strategische interventies zullen in toenemende mate data-driven genomen worden, hierbij
stijgen de kwaliteit en het overzicht van de effectiviteit van interventies. In alle gevallen blijft
de student centraal staan.
36
BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK
Firmanaam: Valid B.V.
Contactpersoon: Boris Corvers, boris.corvers@valid.nl, 06-15835042
Adres: Flight Forum 565, 5657 DR Eindhoven
Website: www.valid.nl
FUNCTIONALITEIT
Beoogde gebruikers:
Afdelingshoofden, Managers Bedrijfsvoering, Managers Finance, Managers HRM, Managers
Marketing & Communicatie, Student Informatie Zaken, IT & Informatie Managers.
Zo kan het Business Intelligence Development Framework worden gebruikt:
Valid benadert Business Intelligence & Learning Analytics zowel vanuit business als
technologisch perspectief. Aan de businesszijde beoordelen we hoe u uw organisatie
informatie consolideert, analyseert en distribueert. Daarbij leggen we vast wie wanneer
welke informatie nodig heeft voor strategische, tactische en operationele beslissingen.
In de eerste fase van onze dienstverlening worden vooral de behoeftes geanalyseerd. De
ervaring leert dat het credo “think big, act small” het beste werkt voor Business Intelligencetrajecten. In kleine stappen wordt toegewerkt naar de wenselijke situatie. Geheel afhankelijk
van uw huidige situatie wordt gestart met een pilot om de toegevoegde waarde en de kracht
van de werkwijze aan te tonen.
Stapsgewijs kan de BI & Learning Analytics succesvol in de organisatie worden uitgerold.
Met de voor u belangrijkste databronnen (zoals SIS, ELO, DLWO, DUO, etc) en rapportages
en dashboards op het gebied van bijvoorbeeld inschrijvingen, switch gedrag, uitschrijvingen,
studie voortgang, diploma rendementen en onderwijs kwaliteitscontrole.
Het Business Intelligence Development Framework van Valid bestaat uit een bewezen
architectuur en Microsoft technologieën die zorg dragen voor de informatieverwerking en
rapportages. Door het business- en techniekperspectief te combineren kunnen we samen
met u een geïntegreerde Business Intelligence oplossing realiseren.
37
Diensten die Valid in dit kader levert zijn:
- Consultancy
- Development
- ETL werkzaamheden
- Testen
- Projectmanagement
Welke data wordt gebruikt en gegenereerd?
De belangrijkste databronnen zijn de systemen die het primaire proces bewaken, zoals een
SIS, ELO, DLWO, maar ook bronnen als DUO en NSE. Daarnaast kunnen ook bijvoorbeeld
financiële en HRM systemen als bron worden gebruikt. Deze combinatie van bronnen
voorziet de organisatie van rapportages, dashboards, scorecards, kubussen en vrij te
gebruiken Excel sheets op het gebied van bijvoorbeeld inschrijvingen, switch gedrag,
uitschrijvingen, studie voortgang, diploma rendementen en onderwijs kwaliteitscontrole.
Wie is eigenaar van de data?
De onderwijsinstelling blijft altijd de eigenaar van de data en de ICT afdeling faciliteert
normaliter een omgeving voor data opslag. Valid kan ook voorzien in storage en hosting
indien wenselijk.
Hoe vrij beschikbaar en transporteerbaar is de data?
38
Data zijn zo vrij beschikbaar als de interne organisatie het toelaat. Er worden vooraf
afspraken gemaakt over hoe toegang en autorisatie in te regelen. Daarnaast wordt natuurlijk
aansluiting gezocht bij de wensen op het gebied van security en encryptie.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
Oplossingen van Valid worden gebruikt door o.a.:
Technische Universiteit Eindhoven, Universiteit Maastricht, Fontys Hogescholen,
Hogeschool Zuyd, Arcus College en ROC Midden Nederland.
39
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
De Business Intelligence en Learning Analytics oplossingen zijn op maat afgestemd op de
behoefte van de individuele instellingen en instituten. Ze maken allen echter wel gebruik van
het BI Framework van Valid. Hierdoor hebben ze voordeel van ‘best practise’ oplossingen
gerealiseerd bij anderen. Het maatwerk zit vaak in de aan te sluiten databronnen en de
specifieke wensen in de presentatielaag.
Tot nu toe zijn aan installaties lokaal ingeregeld, maar met een Microsoft cloud platform als
Windows Azure & SharePoint kan er eenvoudig een PaaS/SaaS oplossing worden gemaakt.
De architectuur vormt hierin geen belemmering. Valid heeft de competenties in huis om een
“As a Service” model te implementeren. Indien wenselijk kunnen we ook toewerken naar
centrale ontsluiting via SURFconext.
FINANCIEEL
Wat zijn de directe en indirecte kosten van het product?
Afhankelijk van de wensen en eisen kunnen de kosten van de diensten inzichtelijk gemaakt
worden. Hierbij maken we onderscheid tussen onze diensten (consultancy, ontwikkelingen,
testen, projectmanagement), hardware en software (licenties). De diensten kunnen zowel op
nacalculatie basis als op basis van fixed price worden aangeboden.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Valid hanteert het motto “Stay ahead”, hetgeen betekent dat we altijd naar technologieën
kijken die op de roadmap staan van onze technologiepartners (zoals Microsoft) en
toepasbaar zijn voor onze oplossingen. Alle cloud gebaseerde technologieën worden ingezet
om toekomstvaste diensten te leveren volgens het ‘pay per use’ model. Met meer dan 300
medewerkers is Valid ‘small enough to care & big enough to deliver’. Onze Special Interest
Group Business Intelligence zorgt ervoor dat we ook op BI & Learning Analytics relevante
technologieën toe kunnen passen.
Visie op ontwikkeling product / learning analytics:
Oplossingen zullen meer en meer gebruikt gaan worden op basis van ‘anytime, anywhere
and any device’. Daarnaast zorgt individualisering van het onderwijs ervoor dat monitoring
van de resultaten en sturing op individueel niveau noodzakelijk is. Een andere tendens is dat
externe data gecombineerd gaat worden met interne instellingsdata, en deze worden bij
voorkeur real time inzichtelijk gemaakt (Big Data). Dit betekent dat de gebruikte technologie
rekening moet houden met deze ontwikkelingen om waarde te blijven houden voor de
gebruikers. Valid kiest voor Microsoft technologieën als SharePoint, die rekening houden met
bovenstaande ontwikkelingen en integratie met de gehele ICT omgeving.
40