Guest post by James McKinney, open data hacker and creator of PatinerMontreal.ca.

The amount of public civic data is exploding, but much remains closed or unavailable. Here’s a canvas of existing projects, highlighting opportunities and challenges for open data.

Most civic projects target national governments. mySociety (UK) runs TheyWorkForYou, which allows you to track parliament’s MPs, bills, and debates. Canadian equivalents are Apathy is Boring‘s Citizen Factory and Michael Mulley‘s OpenParliament. In the US, Participatory Politics runs OpenCongress, which it has recently generalized for any jurisdiction with the OpenGovernment project. Some projects target voting records specifically, like The Public Whip in the UK, and How’d They Vote? in Canada. Americans go further and connects the dots between votes and money with MapLight.

Most of these projects are open-source, meaning anyone can get the code and download the data.

It is important to note that most projects do not use open data. In Canada’s open cities, most of the open data relates to transportation, recreation, and geography; very little of it would embarrass anyone. The Government of Canada discloses expenses, contracts, grants and contributions, but the data is spread across 132 departmental web sites and is available only in HTML, which is not an open format. The City of Toronto publishes its council’s meeting attendance and voting record in open formats, but not its operating budget or awarded contracts. In order to extract this data, developers must write scrapers, a time-consuming and error-prone process.

Whether it’s Resto-Net (Montreal), Eat Sure (London), or Eat Safe (US) for restaurant inspections; LondonTrash,VanTrash, or Déchets Montréal for garbage collection; MyTTC (Toronto), hbus.ca (Halifax), or Where is my bus? (Ottawa) for public transportation; or CommonSpace (Philadelphia), Rinkside (Ottawa), or Patiner Montréal for recreation – these projects show that making data available is of enormous value to citizens.

It’s not only politically-harmless data that should be open, however. To build a strong democracy, politically-sensitive data should be open, too. In the US, LittleSis tracks the ties between powerful people and organizations; Transparency Data tracks money in politics from lobbying to campaign contributions; and PolitiFact monitors campaign promises and fact-checks politicians. These projects demonstrate the importance and usefulness of this data.

In many cities, civic projects are very difficult to complete, because the relevant data is often either difficult to retrieve or unavailable. Where it’s available, Openly Local (UK) makes municipal governments more accessible, and EveryBlock (US) tracks what’s happening in your part of town — from news and events to crimes and license revocations. Police services are often uneasy about publishing crime data, but in Oakland police cooperate with developers to produce Crimespotting.

Newsrooms around the world are making use of closed data despite the challenges. ProPublica sets an example, with its stories on which doctors are receiving money from drug companies and which nurses currently working in California were previously sanctioned out-of-state. And when the data is unavailable, services are popping up to make freedom to information requests easier to track and share, like WhatDoTheyKnow (UK) and MuckRock (US).

Governments collect their data on behalf of their constituencies. Unless privacy or security issues are involved, governments should release this data to the public that it represents. Making it public is a first step. But how reliable is it? Is it consistent, complete, and timely? Is it open? What data isn’t being made available? Governments at all levels are still only beginning to adopt open data, but we should remember that even after a city or country makes it policy, the push for open data isn’t over.

Data enthusiasts may also enjoy governmentexpenses.ca, punditsguide.ca, disclosed.ca, emitter.ca, vote.ca, representme.ca, and mycelium.ca.

Dans la foulée du lancement du site OpenCongress dont les intérêts portent déjà sur la politique fédérale américaine, voilà qu’est lancé le site OpenGovernment qui se préoccupe cette fois de la politique dans les 50 États. En tentant de connecter et de couvrir toutes les activités des États, cette nouvelle plateforme citoyenne a espoir de réussir à mettre les citoyens au fait de la situation de leur gouvernement et de leur permettre d’échanger avec leurs concitoyens et ceux des états voisins.

Pour réaliser cette plateforme, les fondateurs se basent sur des principes non partisans, sur des logiciels libres, des standards ouverts et un accès gratuit sans but lucratif pour tous. Ils croient aussi fortement que le modèle participatif citoyen qui met les gens en relation (pair-à-pair) leur donne le pouvoir de mieux interagir avec leurs élus par l’entremise d’une bonne information de qualité.

Voici quelques photos et vidéos de l’évènement incroyable qui s’est tenu à la Maison Notman cette fin de semaine. Compte rendu à suivre.

La ville de Paris vient de décider de passer aux données ouvertes!

Pour y parvenir, la Ville a fait appel à la fondation Open Knowledge qui l’a aidé à adapter la licence Open Database au cadre législatif municipal français.
On s’attend à ce que la majorité des données soient disponibles d’ici un mois!

Le nouveau président de la commission d’accès à l’information, Mr Jean Chartier, vient d’être assermenté.

Il promet, entre autres, de s’investir davantage dans la CAI. Pour ce faire, il souhaite y amener quelques changements tels qu’une plus grande ouverture des données gouvernementales ainsi qu’une nouvelle approche préventive quant aux problèmes entourant les questions de droit à la vie privée.
Mr Chartier doit d’ailleurs déposer d’ici le mois de juin un rapport faisant l’état du plan de la commission pour les 5 prochaines années dans lequel il s’apprête à suggérer des mesures pour que le Québec s’aligne sur des politiques de « gouvernement ouvert ».

Le 4 décembre dernier, des développeurs montréalais se sont réunis pour créér, améliorer et présenter leurs applications basées sur les données civiques de la ville de Montréal.

Forts de ce succès, nous vous invitons à venir participer à la deuxième édition du Hackathon Données Ouvertes à Montréal, se tenant le samedi 29 janvier 2010 de 10h00AM à 6h00PM. L’évènement aura lieu à la Maison Notman (51 Sherbrooke Street West), Le Projet Notman est un tout nouveau centre qui favorise l’innovation et les entrepreneurs du Web de Montréal. Nous sommes très fier que le Hackathon sera le premier évènement à avoir lieu à la Maison Notman.

Que vous soyez développeur, fonctionnaire de la ville ou citoyen curieux, venez rencontrer d’autres personnes engagées et réunissez-vous pour créer et concevoir de nouvelles applications autour des données publiques de la ville de Montréal!

Les vedettes montréalaises des données ouvertes seront au rendez-vous! Parmi eux, les créateurs de Resto-Net.ca, de Patiner Montréal, et bien d’autres encore! L’équipe accueillante de MontréalOuvert se fera un plaisir de vous orienter et de répondre à toutes vos questions relatives au sujet des données ouvertes.

Si vous ne pouvez pas participer toute la journée, mais vous êtes intéressé par le mouvement mondial des données ouvertes, on vous encourage à venir prendre un café avec nous vers 14 h pour se rencontrer et partager vos idées avec un groupe de bénévoles engagés.

Inscrivez-vous gratuitement ici dès maintenant!

Montréal Ouvert annoncera le lieu du deuxième Hackathon Données Ouvertes qui se tiendra le 29 janvier lors de Startup Camp 7 qui aura lieu demain (détails).

Aussi, nous souhaitons annoncer que plusieurs représentants de la ville de Montréal seront présents lors du Hackathon. Si vous voulez exprimer votre soutien pour des données ouvertes municipales, venez nombreux pour montrer votre support!

Grâce à l’implication importante de plusieurs personnes, le concours d’applications d’Ottawa est déjà un grand succès alors que s’amorce la période des votes pour votre application préférée!

Ce succès est dû entre autres à la collaboration de Tracy Lauriault, chercheuse à l’université Carlton, et d’Edward Ocampo-Gooding, un développeur et défenseur des données ouvertes, avec le sous-comité à la Ville pour les TIC. Cette collaboration a permis de promouvoir l’événement et d’en faire un succès.

Ocampo-Gooding était aussi l’un des organisateurs des 2 hackathons ayant eu lieu à l’hôtel de ville en 2010 et dont le plus récent remonte au 4 décembre. Ces rencontres permettent aux publics, chercheurs, concepteurs et développeurs de créer des applications utiles ce qui encourage la Ville à rendre disponibles efficacement ses données afin de réaliser toutes ces idées de projets. D’ailleurs, le nombre d’applications créées pour le concours a dépassé de plus de deux fois les prévisions, et ce, avec plus de cent projets!

Quelques applications se démarquent déjà telles que celles qui permettent de visiter la capitale en réalité augmentée, de trouver les patinoires, votre chemin, votre bus ou un parc pour votre chien. Il existe aussi des applications sociales pour découvrir les événements en cours à la ville, même pour les enfants, et d’échanger avec d’autres des objets que vous auriez normalement jeté. Bref, des applications incroyables qui défient l’imagination de ce qui aurait été possible sans les données ouvertes.

En novembre, j’ai eu le grand privilège de participer à la conférence Open Government Data Camp à Londres. Cette conférence a réuni des personnes concernées par/impliquées dans les données ouvertes — des militants, des professionnels, des universitaires et des fonctionnaires. La saveur internationale de cet événement, auquel assistaient des Anglais, des Français, des Américains, des Australiens, des Brésiliens et d’autres nationalités, était évidente. Il est maintenant clair que le mouvement des données ouvertes connaît une envergure internationale et progresse à une vitesse étonnante.
La conférence a été organisée par le Open Knowledge Foundation dont le mandat est de promouvoir l’accès aux informations de tout genre. David Eaves, un pionnier des données ouvertes à Vancouver, a prononcé le discours d’honneur/principal. Il a expliqué l’importance de créer des institutions, autres que politiques, pour collecter et gérer les données ouvertes. David a dressé des parallèles fascinants avec la construction des bibliothèques au 19e siècle. Celles-ci ne furent pas construites pour une population lettrée, mais plutôt pour promouvoir l’apprentissage de la lecture. En conclusion, Eaves a souligné l’importance de bien comprendre les différents types d’informations recueillies dans un premier temps (voir les changements au recensement par le gouvernement Harper) puisque nous ne pouvons pas offrir des données ouvertes pour des informations qui n’existent pas.

Lors de la conférence, j’ai eu l’occasion de présenter avec David Eaves une mise en contexte des données ouvertes au Canada, qui pour le moment se limitent au niveau municipal (vidéo et transparents ci-dessous). Notre présentation a été suivie par celles des représentants de legislation.gov.uk, data.gov et des militants italiens, finlandais et grecs, avec leurs propres contextes nationaux.

Il a été intéressant de constater comment le mouvement de l’accès à l’information et celui des données ouvertes commencent à se rejoindre. Les chercheurs qui ont écrit Beyond Access ont présenté les différentes lois et règlements européens permettant aux citoyens d’accéder aux informations gouvernementales. Notamment, ces auteurs ont insisté sur l’inclusion d’une obligation pour que les gouvernements offrent leurs réponses dans un format « machine-readable » – ce qu’aucun gouvernement au monde ne fait pour le moment.

Rapport beyond access: http://writetoreply.org/beyondaccess/

L’atelier le plus intéressant de la conférence s’est penché sur le militantisme associé aux données ouvertes et sur la manière de quantifier le succès de celles-ci. La conclusion principale dégagée a clairement été que les données ouvertes doivent devenir comme la façon dont nous considérons l’électricité : il faut que dans quelques années, après avoir mis en place des systèmes de données ouvertes, on puisse constater que « bien sûr c’est comme ça qu’un gouvernement moderne doit fonctionner! », comme c’est par ailleurs de cette manière que nos villes ont toutes dû ajouter ce service essentiel à leur fonctionnement. Dans ce sens, il faut souligner que la motivation pour mettre en place des données ouvertes ne devrait pas être basée simplement sur la rentabilité d’une série de données en particulier. En effet, il ne faut pas oublier non plus que l’objectif premier est d’améliorer les communications et l’efficacité d’un gouvernement moderne. Donc, tout comme on ne vérifie pas chaque utilisation de l’électricité, on doit offrir les données ouvertes aux citoyens, aux organismes et aux entreprises sans contraintes d’utilisation.

Le groupe anglais, My Society, a ensuite pris la parole pour expliquer l’impact réel des données ouvertes en Angleterre où le mouvement est probablement le plus avancé. Quand des parlementaires contestent l’efficacité des données ouvertes, MySociety leur demande s’ils déclarent les mêmes dépenses depuis que celles-ci sont affichées en ligne — « Bien sûr que non! », répondent-ils. Enfin, comme organisme à but non lucratif, My Society doit constamment trouver des moyens non-financiers pour motiver et attirer les meilleurs employés. C’est en ayant la possibilité de démontrer l’importance de leur travail, avec des applications comme Whatdotheyknow et Fixmystreet, que ceux-ci se sentent valorisés et demeurent impliqués.

Après deux jours de discussions et de présentations fort intéressantes, quelques grandes conclusions peuvent être identifiées. D’abord, les données ouvertes ne disparaitront pas : tout comme Internet, elles sont là pour rester. Dans ce contexte, les premiers gouvernements à les mettre en place, comme les premières sociétés à offrir de l’électricité à leurs citoyens et à leurs entreprises, auront les plus grandes retombées. En deuxième lieu, le mouvement s’accélère à une vitesse exponentielle. Et en troisième lieu, ce mouvement a pris une envergure internationale qui favorise l’innovation et le partage d’idées. J’ai déjà très hâte de participer à la conférence 2011.

Vidéo :

Jonathan Brun & David Eaves from Open Knowledge Foundation on Vimeo.

Acétates :

Open Data in Canada presentation for Open-Government Data Camp

View more presentations from Jonathan Brun.

Le 4 décembre 2010, des développeurs de Montréal ont créé, amélioré et dévoilé des applications basées sur les données civiques de la ville. Nous souhaitons continuer nos efforts en nous réunissant de nouveau le 29 janvier 2010 (lieu à confirmer).

Bien sûr, les vedettes montréalaises des données ouvertes seront au rendez-vous! Les créateurs de Resto-Net.ca, de Patiner Montréal et celui de l’application Open Parliament participeront à cet évènement.

Développeurs, politiciens et personnes intéressées, venez prendre un café le samedi 29 janvier entre 10 h et 18 h pour rencontrer et partager vos idées parmi un groupe de bénévoles engagé à mettre en valeur les informations civiques de notre ville.